Administrace komentářů

Co s takovýmto archivem chcete dělat? Pokud chcete tento archiv v budoucnu často prohlížet, je lepší mít archiv v jednom kuse, takže není problém ho rozbalit a otevřít v prohlížeči. Pokud víte, že třeba za pár let ho budete potřebovat, zkomprimování a i případné rozkouskování nebude problém, protože pravděpodobně budete mít čas zase 120 GB dat poskládat a rozbalit.

Rozmyslete si, který algoritmus komprese použijete. Jedním z nejhorších je to, co používá „zip“. Často je flexibilnější vytvořit nekomprimovaný archiv (např. tar) a ten dál zkomprimovat, nebo komprimovat soubory jednotlivě. Pro dlouhodobou archivaci bych doporučil gzip, protože ten je celkem rozšířený a asi bude podporovaný hodně dlouho. Pro dekompresi je možné použít i webový prohlížeč, což v případě nebalení do archivu a komprimace jednotlivých souborů dovoluje během prohlížení dekomprimovat jen to, co potřebujete. Jiné kompresní algoritmy nabízejí lepěí kompresní poměr. bzip2 nebo xz bude komprimovat data déle, ale ušetří více místa. zstd je poměrně mladý (a proto i méně podporovaný) algoritmus. zstd je pro tento účel asi nejlepší ze všech zmiňovaných.

Stažené webové stránky dost často obsahují duplicitní soubory. Viděl jsem web, který se po nahrazení duplicit odkazy zmenšil na ± desetinovou velikost, protože pro stahování obrázků byl použitý nějaký querystring, který neovlivňoval získaná data. Kromě duplicitních souborů (na bit stejných) můžete mít stažené i miniatury obrázků. Je-li v názvech jejich souborů pořádek, doporučil bych nahradit miniatury soubory v plné velikosti (nikoliv naopak). Tím zpomalíte prohlížení archivu, ale výrazně snížíte množství dat k uložení.

Pro kompresi a archivaci stažených webů bych doporučil SquashFS. Je to něco mezi archivem (jako zip, tar, …) a souborovým systémem. Vytvoříte ho příkazem mksquashfs. Je možné ho rozbalit jako archiv nebo ho připojit jako read-only souborový systém. Automaticky komprimuje data pomocí zlib, lz4, lzo, nebo xz, dekomprese probíhá až při čtení souboru, vyhledává a slučuje duplicity a pokud detekuje soubor, který kompresí nabyde, což je běžné u obrázků, nekomprimuje ho. Pamatuji-li si to správně, umí vytvořený archiv také rozkouskovat do více souborů.

S časem komprimace není problém. Pokud máte dost času, nechte to běžet, protože s tím nic neuděláte ani kdyby se ten adresář rozkrájel.