Dotaz: Zmenšení Adresáře 120 +GB

[STB]

Dobrý večer mám extrakt webu 120 GB potřeboval bych celý adresář rozdělit nyní jej zipuji ale to potrvá na 8 jádru asi den, dva. Vím o split příkazu ale ten je na soubor ne na adresář. Už jste někdo řešil tento problém ? Díky za help

---

---

Odpovědi

[PetebLazar]

Nepochopil jsem co je tu cílem. Samostatné archivy obsahující části adresáře?

Čím nevyhovuje rozdělený (multi-volume) archiv? Naříklad 7z.

[STB]

Nepochopil protože nečtete, " potřeboval bych celý adresář rozdělit "

[PetebLazar]

A co Vám brání vytvořit filelisty s dílčími seznamy souborů (např. pomocí split z výsledků find) a ty nechat archivovat 7zipy dle obsahu filelistů zvlášť? Rozdělení na celkový_počet_souborů/počet_cílových_archivů asi nedá vzniknout podobně velkým archivům, ale je to to nejednodušší. Asi bych si raději nakonec ověřil, že součet archivovaných souboru v archivech odpovídá celkovému počtu souborů.

Pozn. 7zip má několik stupňů komprese -mx0(store) až -mx9(max), které rychlost komprese značně ovlivňují (default je snad 5).

[rastos]

Tak to si potom niečo nepochopil ty. Adresár je špeciálny súbor, ktorý obsahuje sadu položiek, kde každá položka obsahuje meno súboru a inode súboru a pár iných drobností. To znamená, že aby adresár samotný mal 120GB tak by si v ňom mal asi tak 400 miliónov položiek (súborov). O tom mám isté pochybnosti.

Takže skôr predpokladám, že chceš časť súborov v tvojom adresári dať do iného adresára napr. s názvom A, časť do ďalšieho adresára B atď. To všetko za predpokladu, že tvoj adresár obsahuje len obyčajné súbory a nie ďalšie pod-adresáre. Alebo chceš zo súborov v tom tvojom "120GB adresári" vyrobiť 120GB súbor a ten rozdeliť na časti. Prípadne ho pred rozdelením ešte skomprimovať.

Alebo chceš niečo úplne iné. A keď si ujasníme o čo ti ide, tak potom môžeš dostať radu, čo spraviť, aby to netrvalo X hodín.

[jiwopene]

To, jak funguje adresář (jak vypadá na disku), je implementační detail souborového systému a bez bližšího určení tazatelem jen hádáte, co chtěl říct. Navíc v textu příspěvku vidíte, že „mám extrakt webu 120 GB“, takže opravdu nejde o 120GB metadata.

[Peter Golis]

Nestačilo by použiť kompresný program ktorý pracuje viacvláknovo, napríklad pigz namiesto gzip?

[STB]

Díky já používám 7zip jede to už 12 hodin.. Cílem je udělat menší archivy nic více protože mi v terminálu skript nevezme úkol kvůli velikosti.. Zkusím ten pigz Děkuji A zdravím do SR

[STB]

is a directory -- skipping - takže mi to nějak nefaká.

[Bherzet]

pigz je kompresor, nikoliv archivní program.

V linuxu se tyto úlohy oddělují. tar se používá na "zabalení" adresářové struktury do jednoho souboru, zatímco kompesor komprimuje soubor na menší velikost.

zip, rar, 7z známé z windows tyto úlohy spojují do jedné. (Ano i tar lze použít s parametry -z apod, které současně i komprimují do zvoleného formátu.)

Takže pokud chcete komprimovat adresář do jednoho archivu a využít všechny pocesory, je nutné to spojit:

tar -cf - adresar | pigz > soubor.tar.gz

Místo pigz můžete zvolit třeba pixz a mít tak lepší komprimační poměr (LZMA2, tj to, co používá i ten 7z), nebo zstd a mít tak rychlejší kompresi (dle zvolených parametrů).

[STB]

Ještě jedna věc když bych to chtěl na druhý disk ,? Jinak to zatím faká hezky uvidím jak dlouho to bude trvat , díky

[Heron]

> /mnt/druhy_disk/soubor.tar.gz

znak > je výstup z předchozího příkazu do souboru, soubor lze uvést jak relativní tak i absolutní cestou.

[STB]

Super! Díky šlape to vyřešeno ještě jednou moc díky. Hezký večer

[STB]

Herone, díky zkusím to super info. Zdravím do Olmiku.

[jiwopene]

Co s takovýmto archivem chcete dělat? Pokud chcete tento archiv v budoucnu často prohlížet, je lepší mít archiv v jednom kuse, takže není problém ho rozbalit a otevřít v prohlížeči. Pokud víte, že třeba za pár let ho budete potřebovat, zkomprimování a i případné rozkouskování nebude problém, protože pravděpodobně budete mít čas zase 120 GB dat poskládat a rozbalit.

Rozmyslete si, který algoritmus komprese použijete. Jedním z nejhorších je to, co používá „zip“. Často je flexibilnější vytvořit nekomprimovaný archiv (např. tar) a ten dál zkomprimovat, nebo komprimovat soubory jednotlivě. Pro dlouhodobou archivaci bych doporučil gzip, protože ten je celkem rozšířený a asi bude podporovaný hodně dlouho. Pro dekompresi je možné použít i webový prohlížeč, což v případě nebalení do archivu a komprimace jednotlivých souborů dovoluje během prohlížení dekomprimovat jen to, co potřebujete. Jiné kompresní algoritmy nabízejí lepěí kompresní poměr. bzip2 nebo xz bude komprimovat data déle, ale ušetří více místa. zstd je poměrně mladý (a proto i méně podporovaný) algoritmus. zstd je pro tento účel asi nejlepší ze všech zmiňovaných.

Stažené webové stránky dost často obsahují duplicitní soubory. Viděl jsem web, který se po nahrazení duplicit odkazy zmenšil na ± desetinovou velikost, protože pro stahování obrázků byl použitý nějaký querystring, který neovlivňoval získaná data. Kromě duplicitních souborů (na bit stejných) můžete mít stažené i miniatury obrázků. Je-li v názvech jejich souborů pořádek, doporučil bych nahradit miniatury soubory v plné velikosti (nikoliv naopak). Tím zpomalíte prohlížení archivu, ale výrazně snížíte množství dat k uložení.

Pro kompresi a archivaci stažených webů bych doporučil SquashFS. Je to něco mezi archivem (jako zip, tar, …) a souborovým systémem. Vytvoříte ho příkazem mksquashfs. Je možné ho rozbalit jako archiv nebo ho připojit jako read-only souborový systém. Automaticky komprimuje data pomocí zlib, lz4, lzo, nebo xz, dekomprese probíhá až při čtení souboru, vyhledává a slučuje duplicity a pokud detekuje soubor, který kompresí nabyde, což je běžné u obrázků, nekomprimuje ho. Pamatuji-li si to správně, umí vytvořený archiv také rozkouskovat do více souborů.

S časem komprimace není problém. Pokud máte dost času, nechte to běžet, protože s tím nic neuděláte ani kdyby se ten adresář rozkrájel.

[Peter Golis]

V prípade dlhodobej archivácie by som ja osobne použil niečo, čo pracuje s paritou zabezpečujúcou samoopravné mechanizmy. Síce sa s tým trošku narastie archív, ale pri jeho poškodení sa bude dať zrekonštruovať.

Nemusí to byť tradičný RAR ktorého sláva začala práve kvôli tejto vlastnosti pri (takej akoby) distribúcii multimédií. Môže to byť parchive ktorý sa na toto isté používal už pradávno pri NNTP.

[jiwopene]

Předpokládám, že tazatel se ke svému archivu bude chovat stejně jako k jiným zálohám. Tím mám na mysli to, že by měl mít určitě více než 1 kopii.

[STB]

Přesně tak, děkuji za přínosné podněty mám co studovat.Zatím od včera stále archivuji.Posléze pak zozdělím split em, na menší kousky kvůli rychlosti práce s daty jak jste psal musím také eliminovat duplictity, kterých je nespočet. Děkuji všem Hezký víkend.

[STB]

Díky všem, výsledek je dost prapodivný, ze 120 GB adresáře mám díky tar -cf - a.txt | pigz > soubor.tar.gz cca soubor s 23 +- GB daty a ten jsem úspěšně "splitl" po 4 GB následně zpracoval. Děkuji za pomoc.Vyřešeno