abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 01:11 | Bezpečnostní upozornění

    Red Hat řeší bezpečnostní incident, při kterém došlo k neoprávněnému přístupu do GitLab instance používané svým konzultačním týmem.

    Ladislav Hagara | Komentářů: 0
    včera 23:33 | Nová verze

    Immich byl vydán v první stabilní verzi 2.0.0 (YouTube). Jedná se o alternativu k výchozím aplikacím od Googlu a Applu pro správu fotografií a videí umožňující vlastní hosting serveru Immich. K vyzkoušení je demo. Immich je součástí balíčků open source aplikací FUTO. Zdrojové kódy jsou k dispozici na GitHubu pod licencí AGPL-3.0.

    Ladislav Hagara | Komentářů: 0
    včera 22:33 | IT novinky

    Český telekomunikační úřad vydal zprávy o vývoji cen a trhu elektronických komunikací se zaměřením na rok 2024. Jaká jsou hlavní zjištění? V roce 2024 bylo v ČR v rámci služeb přístupu k internetu v pevném místě přeneseno v průměru téměř 366 GB dat na jednu aktivní přípojku měsíčně – celkově jich tak uživateli bylo přeneseno přes 18 EB (Exabyte). Nejvyužívanějším způsobem přístupu k internetu v pevném místě zůstal v roce 2024 bezdrátový

    … více »
    Ladislav Hagara | Komentářů: 0
    včera 12:11 | Nová verze

    Raspberry Pi OS, oficiální operační systém pro Raspberry Pi, byl vydán v nové verzi 2025-10-01. Přehled novinek v příspěvku na blogu Raspberry Pi a poznámkách k vydání. Jedná o první verzi postavenou na Debianu 13 Trixie.

    Ladislav Hagara | Komentářů: 0
    včera 05:22 | Nová verze

    Byla vydána nová verze 4.6 svobodného notačního programu MuseScore Studio (Wikipedie). Představení novinek v oznámení v diskusním fóru a také na YouTube.

    Ladislav Hagara | Komentářů: 0
    včera 02:22 | Komunita

    Společnost DuckDuckGo stojící za stejnojmenným vyhledávačem věnovala 1,1 milionu dolarů (stejně jako loni) na podporu digitálních práv, online soukromí a lepšího internetového ekosystému. Rozdělila je mezi 29 organizací a projektů. Za 15 let rozdala 8 050 000 dolarů.

    Ladislav Hagara | Komentářů: 4
    1.10. 20:11 | Nová verze

    Svobodný multiplatformní herní engine Bevy napsaný v Rustu byl vydán ve verzi 0.17. Díky 278 přispěvatelům.

    Ladislav Hagara | Komentářů: 0
    1.10. 16:11 | Nová verze

    Bylo vydáno openSUSE Leap 16 (cs). Ve výchozím nastavení přichází s vypnutou 32bitovou (ia32) podporou. Uživatelům však poskytuje možnost ji ručně povolit a užívat si tak hraní her ve Steamu, který stále závisí na 32bitových knihovnách. Změnily se požadavky na hardware. Leap 16 nyní vyžaduje jako minimální úroveň architektury procesoru x86-64-v2, což obecně znamená procesory zakoupené v roce 2008 nebo později. Uživatelé se starším hardwarem mohou migrovat na Slowroll nebo Tumbleweed.

    Ladislav Hagara | Komentářů: 3
    1.10. 16:00 | IT novinky

    Ministerstvo průmyslu a obchodu (MPO) ve spolupráci s Národní rozvojovou investiční (NRI) připravuje nový investiční nástroj zaměřený na podporu špičkových technologií – DeepTech fond. Jeho cílem je posílit inovační ekosystém české ekonomiky, rozvíjet projekty s vysokou přidanou hodnotou, podpořit vznik nových technologických lídrů a postupně zařadit Českou republiku mezi země s nejvyspělejší technologickou základnou.

    … více »
    Ladislav Hagara | Komentářů: 3
    1.10. 12:55 | Nová verze

    Radicle byl vydán ve verzi 1.5.0 s kódovým jménem Hibiscus. Jedná se o distribuovanou alternativu k softwarům pro spolupráci jako např. GitLab.

    Ladislav Hagara | Komentářů: 3
    Jaké řešení používáte k vývoji / práci?
     (40%)
     (47%)
     (14%)
     (16%)
     (18%)
     (14%)
     (18%)
     (14%)
     (14%)
    Celkem 159 hlasů
     Komentářů: 10, poslední dnes 01:37
    Rozcestník

    Dotaz: Zmenšení Adresáře 120 +GB

    25.9.2020 18:58 STB
    Zmenšení Adresáře 120 +GB
    Přečteno: 469×
    Dobrý večer mám extrakt webu 120 GB potřeboval bych celý adresář rozdělit nyní jej zipuji ale to potrvá na 8 jádru asi den, dva. Vím o split příkazu ale ten je na soubor ne na adresář. Už jste někdo řešil tento problém ? Díky za help

    Řešení dotazu:


    Odpovědi

    25.9.2020 19:08 PetebLazar | skóre: 35 | blog: l_eonardovo_odhodlani
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    Nepochopil jsem co je tu cílem. Samostatné archivy obsahující části adresáře?

    Čím nevyhovuje rozdělený (multi-volume) archiv? Naříklad 7z.
    25.9.2020 19:24 STB
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    Nepochopil protože nečtete, " potřeboval bych celý adresář rozdělit "
    25.9.2020 19:43 PetebLazar | skóre: 35 | blog: l_eonardovo_odhodlani
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    A co Vám brání vytvořit filelisty s dílčími seznamy souborů (např. pomocí split z výsledků find) a ty nechat archivovat 7zipy dle obsahu filelistů zvlášť? Rozdělení na celkový_počet_souborů/počet_cílových_archivů asi nedá vzniknout podobně velkým archivům, ale je to to nejednodušší. Asi bych si raději nakonec ověřil, že součet archivovaných souboru v archivech odpovídá celkovému počtu souborů.

    Pozn. 7zip má několik stupňů komprese -mx0(store) až -mx9(max), které rychlost komprese značně ovlivňují (default je snad 5).
    25.9.2020 21:01 rastos | skóre: 63 | blog: rastos
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    Tak to si potom niečo nepochopil ty. Adresár je špeciálny súbor, ktorý obsahuje sadu položiek, kde každá položka obsahuje meno súboru a inode súboru a pár iných drobností. To znamená, že aby adresár samotný mal 120GB tak by si v ňom mal asi tak 400 miliónov položiek (súborov). O tom mám isté pochybnosti.

    Takže skôr predpokladám, že chceš časť súborov v tvojom adresári dať do iného adresára napr. s názvom A, časť do ďalšieho adresára B atď. To všetko za predpokladu, že tvoj adresár obsahuje len obyčajné súbory a nie ďalšie pod-adresáre. Alebo chceš zo súborov v tom tvojom "120GB adresári" vyrobiť 120GB súbor a ten rozdeliť na časti. Prípadne ho pred rozdelením ešte skomprimovať.

    Alebo chceš niečo úplne iné. A keď si ujasníme o čo ti ide, tak potom môžeš dostať radu, čo spraviť, aby to netrvalo X hodín.
    26.9.2020 10:49 jiwopene | skóre: 31 | blog: Od každého trochu…
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    To, jak funguje adresář (jak vypadá na disku), je implementační detail souborového systému a bez bližšího určení tazatelem jen hádáte, co chtěl říct. Navíc v textu příspěvku vidíte, že „mám extrakt webu 120 GB“, takže opravdu nejde o 120GB metadata.
    .sig virus 3.2_cz: Prosím, okopírujte tento text do vaší patičky.
    25.9.2020 19:17 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    Nestačilo by použiť kompresný program ktorý pracuje viacvláknovo, napríklad pigz namiesto gzip?
    25.9.2020 19:20 STB
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    Díky já používám 7zip jede to už 12 hodin.. Cílem je udělat menší archivy nic více protože mi v terminálu skript nevezme úkol kvůli velikosti.. Zkusím ten pigz Děkuji :-) A zdravím do SR :-)
    25.9.2020 19:29 STB
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    is a directory -- skipping - takže mi to nějak nefaká.
    Řešení 1× (Bherzet)
    Heron avatar 25.9.2020 19:42 Heron | skóre: 53 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    pigz je kompresor, nikoliv archivní program.

    V linuxu se tyto úlohy oddělují. tar se používá na "zabalení" adresářové struktury do jednoho souboru, zatímco kompesor komprimuje soubor na menší velikost.

    zip, rar, 7z známé z windows tyto úlohy spojují do jedné. (Ano i tar lze použít s parametry -z apod, které současně i komprimují do zvoleného formátu.)

    Takže pokud chcete komprimovat adresář do jednoho archivu a využít všechny pocesory, je nutné to spojit:
    tar -cf - adresar | pigz > soubor.tar.gz
    Místo pigz můžete zvolit třeba pixz a mít tak lepší komprimační poměr (LZMA2, tj to, co používá i ten 7z), nebo zstd a mít tak rychlejší kompresi (dle zvolených parametrů).
    25.9.2020 20:35 STB
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    Ještě jedna věc když bych to chtěl na druhý disk ,? Jinak to zatím faká hezky uvidím jak dlouho to bude trvat , díky :-)
    Heron avatar 25.9.2020 20:41 Heron | skóre: 53 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    > /mnt/druhy_disk/soubor.tar.gz
    znak > je výstup z předchozího příkazu do souboru, soubor lze uvést jak relativní tak i absolutní cestou.
    25.9.2020 21:16 STB
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    Super! Díky šlape to :-) vyřešeno ještě jednou moc díky. Hezký večer
    25.9.2020 20:26 STB
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    Herone, díky zkusím to super info. :-) Zdravím do Olmiku.
    26.9.2020 11:19 jiwopene | skóre: 31 | blog: Od každého trochu…
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    Co s takovýmto archivem chcete dělat? Pokud chcete tento archiv v budoucnu často prohlížet, je lepší mít archiv v jednom kuse, takže není problém ho rozbalit a otevřít v prohlížeči. Pokud víte, že třeba za pár let ho budete potřebovat, zkomprimování a i případné rozkouskování nebude problém, protože pravděpodobně budete mít čas zase 120 GB dat poskládat a rozbalit.

    Rozmyslete si, který algoritmus komprese použijete. Jedním z nejhorších je to, co používá „zip“. Často je flexibilnější vytvořit nekomprimovaný archiv (např. tar) a ten dál zkomprimovat, nebo komprimovat soubory jednotlivě. Pro dlouhodobou archivaci bych doporučil gzip, protože ten je celkem rozšířený a asi bude podporovaný hodně dlouho. Pro dekompresi je možné použít i webový prohlížeč, což v případě nebalení do archivu a komprimace jednotlivých souborů dovoluje během prohlížení dekomprimovat jen to, co potřebujete. Jiné kompresní algoritmy nabízejí lepěí kompresní poměr. bzip2 nebo xz bude komprimovat data déle, ale ušetří více místa. zstd je poměrně mladý (a proto i méně podporovaný) algoritmus. zstd je pro tento účel asi nejlepší ze všech zmiňovaných.

    Stažené webové stránky dost často obsahují duplicitní soubory. Viděl jsem web, který se po nahrazení duplicit odkazy zmenšil na ± desetinovou velikost, protože pro stahování obrázků byl použitý nějaký querystring, který neovlivňoval získaná data. Kromě duplicitních souborů (na bit stejných) můžete mít stažené i miniatury obrázků. Je-li v názvech jejich souborů pořádek, doporučil bych nahradit miniatury soubory v plné velikosti (nikoliv naopak). Tím zpomalíte prohlížení archivu, ale výrazně snížíte množství dat k uložení.

    Pro kompresi a archivaci stažených webů bych doporučil SquashFS. Je to něco mezi archivem (jako zip, tar, …) a souborovým systémem. Vytvoříte ho příkazem mksquashfs. Je možné ho rozbalit jako archiv nebo ho připojit jako read-only souborový systém. Automaticky komprimuje data pomocí zlib, lz4, lzo, nebo xz, dekomprese probíhá až při čtení souboru, vyhledává a slučuje duplicity a pokud detekuje soubor, který kompresí nabyde, což je běžné u obrázků, nekomprimuje ho. Pamatuji-li si to správně, umí vytvořený archiv také rozkouskovat do více souborů.

    S časem komprimace není problém. Pokud máte dost času, nechte to běžet, protože s tím nic neuděláte ani kdyby se ten adresář rozkrájel.
    .sig virus 3.2_cz: Prosím, okopírujte tento text do vaší patičky.
    26.9.2020 12:01 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    V prípade dlhodobej archivácie by som ja osobne použil niečo, čo pracuje s paritou zabezpečujúcou samoopravné mechanizmy. Síce sa s tým trošku narastie archív, ale pri jeho poškodení sa bude dať zrekonštruovať.

    Nemusí to byť tradičný RAR ktorého sláva začala práve kvôli tejto vlastnosti pri (takej akoby) distribúcii multimédií. Môže to byť parchive ktorý sa na toto isté používal už pradávno pri NNTP.

    26.9.2020 14:36 jiwopene | skóre: 31 | blog: Od každého trochu…
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    Předpokládám, že tazatel se ke svému archivu bude chovat stejně jako k jiným zálohám. Tím mám na mysli to, že by měl mít určitě více než 1 kopii.
    .sig virus 3.2_cz: Prosím, okopírujte tento text do vaší patičky.
    26.9.2020 18:43 STB
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    Přesně tak, děkuji za přínosné podněty mám co studovat.Zatím od včera stále archivuji.Posléze pak zozdělím split em, na menší kousky kvůli rychlosti práce s daty jak jste psal musím také eliminovat duplictity, kterých je nespočet. Děkuji všem :-) Hezký víkend.
    27.9.2020 10:21 STB
    Rozbalit Rozbalit vše Re: Zmenšení Adresáře 120 +GB
    Díky všem, výsledek je dost prapodivný, ze 120 GB adresáře mám díky tar -cf - a.txt | pigz > soubor.tar.gz cca soubor s 23 +- GB daty a ten jsem úspěšně "splitl" po 4 GB následně zpracoval. Děkuji za pomoc.Vyřešeno

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.