abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 04:55 | Nová verze

    OpenJS Foundation, oficiální projekt konsorcia Linux Foundation, oznámila vydání verze 22 otevřeného multiplatformního prostředí pro vývoj a běh síťových aplikací napsaných v JavaScriptu Node.js (Wikipedie). V říjnu se verze 22 stane novou aktivní LTS verzí. Podpora je plánována do dubna 2027.

    Ladislav Hagara | Komentářů: 0
    dnes 04:22 | Nová verze

    Byla vydána verze 8.2 open source virtualizační platformy Proxmox VE (Proxmox Virtual Environment, Wikipedie) založené na Debianu. Přehled novinek v poznámkách k vydání a v informačním videu. Zdůrazněn je průvodce migrací hostů z VMware ESXi do Proxmoxu.

    Ladislav Hagara | Komentářů: 0
    dnes 04:11 | Nová verze

    R (Wikipedie), programovací jazyk a prostředí určené pro statistickou analýzu dat a jejich grafické zobrazení, bylo vydáno ve verzi 4.4.0. Její kódové jméno je Puppy Cup.

    Ladislav Hagara | Komentářů: 0
    včera 22:44 | IT novinky

    IBM kupuje společnost HashiCorp (Terraform, Packer, Vault, Boundary, Consul, Nomad, Waypoint, Vagrant, …) za 6,4 miliardy dolarů, tj. 35 dolarů za akcii.

    Ladislav Hagara | Komentářů: 6
    včera 15:55 | Nová verze

    Byl vydán TrueNAS SCALE 24.04 “Dragonfish”. Přehled novinek této open source storage platformy postavené na Debianu v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    včera 13:44 | IT novinky

    Oznámeny byly nové Raspberry Pi Compute Module 4S. Vedle původní 1 GB varianty jsou nově k dispozici také varianty s 2 GB, 4 GB a 8 GB paměti. Compute Modules 4S mají na rozdíl od Compute Module 4 tvar a velikost Compute Module 3+ a předchozích. Lze tak provést snadný upgrade.

    Ladislav Hagara | Komentářů: 0
    včera 04:44 | Nová verze

    Po roce vývoje od vydání verze 1.24.0 byla vydána nová stabilní verze 1.26.0 webového serveru a reverzní proxy nginx (Wikipedie). Nová verze přináší řadu novinek. Podrobný přehled v souboru CHANGES-1.26.

    Ladislav Hagara | Komentářů: 0
    včera 04:33 | Nová verze

    Byla vydána nová verze 6.2 živé linuxové distribuce Tails (The Amnesic Incognito Live System), jež klade důraz na ochranu soukromí uživatelů a anonymitu. Přehled změn v příslušném seznamu. Tor Browser byl povýšen na verzi 13.0.14.

    Ladislav Hagara | Komentářů: 0
    včera 04:22 | Nová verze

    Byla vydána nová verze 30.0.0 frameworku pro vývoj multiplatformních desktopových aplikací pomocí JavaScriptu, HTML a CSS Electron (Wikipedie, GitHub). Chromium bylo aktualizováno na verzi 124.0.6367.49, V8 na verzi 12.4 a Node.js na verzi 20.11.1. Electron byl původně vyvíjen pro editor Atom pod názvem Atom Shell. Dnes je na Electronu postavena celá řada dalších aplikací.

    Ladislav Hagara | Komentářů: 2
    včera 04:11 | Nová verze

    Byla vydána nová verze 9.0.0 otevřeného emulátoru procesorů a virtualizačního nástroje QEMU (Wikipedie). Přispělo 220 vývojářů. Provedeno bylo více než 2 700 commitů. Přehled úprav a nových vlastností v seznamu změn.

    Ladislav Hagara | Komentářů: 0
    KDE Plasma 6
     (72%)
     (9%)
     (2%)
     (17%)
    Celkem 739 hlasů
     Komentářů: 4, poslední 6.4. 15:51
    Rozcestník

    Dotaz: Komprese velkých dat.

    15.12.2014 14:11 neprihlasenyUzivatel
    Komprese velkých dat.
    Přečteno: 710×
    Ahoj, potřebuji zazálohovat tak 300GB dat ve Windows. Jde mi o to jaký nástroj a do jakého formátu by bylo nejvhodnější soubory uložit. Jedná se o dokumenty, fotky, videa aj. Něco s přijatelnou kompresí a aby bylo možné případně soubor namountovat na linuxu jako fs. Třeba zip je možné namountovat, ale kompresi nemá moc dobrou. Nemáte nějaký návrh? :) děkuji za každou odpověď

    Odpovědi

    15.12.2014 14:32 mhepp
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Jedná se o dokumenty, fotky, videa aj.
    Uvědom si jednu věc: všechny formát jsou v současnosti již komprimované. Následná komprese prostě už nic nepřinese. Tedy alespoň nic, co by bylo zajímavé z hlediska ušetřeného místa.
    15.12.2014 14:35 dustin | skóre: 63 | blog: dustin
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Fotky a videa stejně už víc moc nezkomprimuješ. Použil bych něco vyzkoušeného s dlouhodobou podporou v různých OS, pár giga rozdílu přece nehraje roli.

    Osobně bych to do ničeho nebalil a zkopíroval celou strukturu, poškozený obrovský soubor je náročnější na obnovu, než jednotlivé soubory.
    Jendа avatar 15.12.2014 15:18 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Osobně bych to do ničeho nebalil a zkopíroval celou strukturu, poškozený obrovský soubor je náročnější na obnovu, než jednotlivé soubory.
    Na druhou stranu k jednomu obrovskému souboru lze spočítat třeba pomocí par2 samoopravný kód a taky jde třeba snadno zašifrovat. Na filesystému tohle ještě nikdo neimplementoval (pokud jo, sem s tím, hned použiju!).

    Jakýsi hnusný mezikrok by mohl být soubor, ve kterém se vytvoří filesystém (a třeba ještě předtím šifrované zařízení). Takto občas šifrovaně zálohuji…
    15.12.2014 15:02 Filip Jirsák
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Fotky a videa už jsou dnes zkomprimované, dokumenty DOCX a ODT jsou přímo ZIP soubory. Je možné, že byste jinou kompresí s agresivně nastavenými parametry něco málo ušetřil, za cenu dlouhé doby komprese i dekomprese. Ale podstupovat to celé, abyste nakonec dostal 298 GB dat, to se podle mne nevyplatí. Doporučuji tedy, stejně jako předřečníci, nekomprimovat.
    15.12.2014 15:22 R
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Kedy naposledy boli fotky a videa nekomprimovane?
    Jendа avatar 15.12.2014 15:38 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    pepe_ avatar 15.12.2014 15:47 pepe_ | skóre: 48
    Rozbalit Rozbalit vše Re: Komprese velkých dat.

    bmp :)

    15.12.2014 17:28 Michal2
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Otec ma skener a zasadne mi posila 20+ MiB BMP soubory (protoze to je implicitni fotrmat genialniho skenovaciho softu od Canononu IIRC), klidne i 10 v jednom mailu kdyz ho postihne skenovaci manie a chce mi poslat nejaky "zajimavy clanek" ;-)
    H0ax avatar 16.12.2014 07:14 H0ax | skóre: 36 | blog: Odnikud_nikam
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    A nevadí mu dostávat oblíbené "Undelivered mail returned to sender ... bla bla .. message size 382000000 exceeds size limit 2048000 ..."? :-D
    uid=0(root) gid=0(root) skupiny=0(root)
    15.12.2014 21:01 lertimir | skóre: 64 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Moje DV kamera generuje nekomprimovaný proud video dat. Spíše obráceně, jak dlouho vyrábějí kamery kompresovaná data? Podobně scanery. obvykle to pošlou napřímo a teprve scanovací soft to přepočte do jpeg.
    15.12.2014 21:14 R
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    To mas nejaku divnu DV kameru. Mne zatial z DV kamery vzdy vyslo video s DV kompresiou - kazdy snimok komprimovany samostatne (podobne ako MJPEG).
    Jendа avatar 15.12.2014 22:38 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    To je nějakých 720*576*25*2 = 21 MB/s. Moje DV kamera má tok 28,8 Mb/s.
    16.12.2014 01:47 lertimir | skóre: 64 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Pravda. Nechal jsem se unést tím, že kamera produkuje konstatní datový tok. Podíval jsem se nějaké zdrojové soubory 10 let staré a uploadovací program stríhal datový tok dost přesně 4GB souborů (tehdy na XP) a délka videa je přesně 16:34, takže data o něco více než 4MB/s. Takže souhlasím že kompresované to je. A zkusil jsem na to gzip (s default -6) a vzal cca 7%.
    16.12.2014 13:13 R
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Zvuk je bez kompresie (v PCM), tam moze ten gzip nieco spravit.
    15.12.2014 21:04 lertimir | skóre: 64 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    A mnohdy pokus o LZW komprese takových dat, jako jsou ze ztrátových kompresí audia videa a obrázku vyrobí větší soubory než původní data.
    16.12.2014 12:40 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Tak uplne v pohode je pouzitelny treba WinZip.

    Uvědom si jednu věc: všechny formát jsou v současnosti již komprimované.

    Nikde nebylo receno o jake jde dokumenty a samozrejme to neni pravda. Treba fotky, zvlaste pro profi pouziti, byvaji ve formatu RAW...

    Pokud ale jsou uz komprimovany nic nebrani ve WinZipu, jde to i v linux verzi zipu, zvolit volbu NoCompression ;-)

    No a pokud chces tento archiv mountovat v linuxu tak osobne bych to asi zabalil do ISO image a ten potom namountoval

    mount -o loop /cesta/isofile.iso /nekam/to/pripoj

    Pokud bude pro tebe vysledny soubor velky tak WinZip, pokud se dobre pamatuju, umi vicesvazkovy archiv.

    pavlix avatar 16.12.2014 12:51 pavlix | skóre: 54 | blog: pavlix
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    No a pokud chces tento archiv mountovat v linuxu tak osobne bych to asi zabalil do ISO image a ten potom namountoval
    Pokud je to pro Linux, tak si nejsem úplně jistý proč takový zastaralý formát, který je potřeba i na ty nejzákladnější věci používat s nějakými vzájemně nekompatibilními rozšířeními. Proč ne SquashFS?
    Já už tu vlastně ani nejsem. Abclinuxu umřelo.
    18.12.2014 11:18 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    uvedl jsem to v podstate jako priklad. kazdopadne rozhodnuti a vyber bude na tazateli. pro me potreby by to treba stacilo...
    pavlix avatar 18.12.2014 11:29 pavlix | skóre: 54 | blog: pavlix
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Myslím, že by bohatě stačil ten squashfs bez komplikací :).
    Já už tu vlastně ani nejsem. Abclinuxu umřelo.
    18.12.2014 13:45 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.

    ani ne, ja si to treba nemyslim. zatimco nastroje pro vytvoreni zip archivu a iso image ve win jsou standardne pritomny tak squashfs ne. ten by musel doinstalovat a navic jsou to nejake cygwin binaries jak se pise treba tady http://labalec.fr/erwan/?p=1363

    takze me squashfs ve win, jak pises "bez komplikací :)", urcite neprijde

    osobne bych si radeji vystacil se standardnimi nastroji nez neco dalsiho instalovat

    pavlix avatar 18.12.2014 14:51 pavlix | skóre: 54 | blog: pavlix
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Vzhledem k tomu, že můj komentář začínal pokud je to pro linux, nemá cenu pod ním pitvat Windows.
    Já už tu vlastně ani nejsem. Abclinuxu umřelo.
    18.12.2014 14:54 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Nicmene tazatel resi jiny problem:

    "Ahoj, potřebuji zazálohovat tak 300GB dat ve Windows."

    18.12.2014 15:07 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    ale fakt je, ze si ten squashfs si muze vyrobit az na tom linuxu...
    16.12.2014 13:17 R
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    ZIP je jeden z najhorsich formatov na taketo veci. Velkost archivu je obmedzena a rozdelenie na viac archivov je nekompatibilne medzi implementaciami (otazne je, ci to vobec pojde v Linuxe rozbalit). Nazvy suborov nemaju specifkovane kodovanie, takze zabalit vo Windows subory s diakritikou v nazve a rozbalit inde znamena pruser.
    16.12.2014 13:40 mhepp
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Navíc z mého fotoaparátu leze RAW komprimovaný. Jen na rozdíl od JPEGu je komprimovaný bezztrátově.
    18.12.2014 11:16 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    o tvem pristroji tu neni rec
    16.12.2014 13:40 Filip Jirsák
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Obrazová data v RAWu nejsou komprimovaná ztrátovou kompresí, to ale vůbec neznamená, že nejsou komprimovaná bezeztrátovou kompresí.
    18.12.2014 11:15 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Jak jsi prisel na to, ze jsou komprimovana? To snad zalezi na nastaveni konkretniho pristroje.

    Viz. http://www.nikonusa.com/en/Learn-And-Explore/Article/ftlzi4ri/nikon-electronic-format-nef.html

    Pricemz dulezita je veta

    The NEF file is written to the memory card in either an uncompressed or "lossless" compressed form.

    Takze to znamena, ze vubec neni jiste jestli jsou komprimovana jakoukoli kompresi.

    18.12.2014 13:58 Filip Jirsák
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Nepsal jsem, že jsou RAW soubory vždy komprimované. Rozporoval jsem váš komentář, že RAW nikdy komprimované nejsou.
    18.12.2014 14:51 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.

    original

    "Nikde nebylo receno o jake jde dokumenty a samozrejme to neni pravda. Treba fotky, zvlaste pro profi pouziti, byvaji ve formatu RAW..."

    "Rozporoval jsem váš komentář, že RAW nikdy komprimované nejsou."

    to asi teda bude k jinemu komentari. nikde tam nevidim ani slovo o kompresi. a pokud by sis precetl vse tak bys vedel, ze jsem taky napsal:

    "Pokud ale jsou uz komprimovany nic nebrani ve WinZipu, jde to i v linux verzi zipu, zvolit volbu NoCompression"

    tudiz se miz zda tvuj komentar o (ne)komprimovanem RAWu celkem nepodstatny
    pepe_ avatar 16.12.2014 15:22 pepe_ | skóre: 48
    Rozbalit Rozbalit vše Re: Komprese velkých dat.

    ARJ   http://arj.sourceforge.net/

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.