Dotaz: Komprese velkých dat.

[neprihlasenyUzivatel]

Ahoj, potřebuji zazálohovat tak 300GB dat ve Windows. Jde mi o to jaký nástroj a do jakého formátu by bylo nejvhodnější soubory uložit. Jedná se o dokumenty, fotky, videa aj. Něco s přijatelnou kompresí a aby bylo možné případně soubor namountovat na linuxu jako fs. Třeba zip je možné namountovat, ale kompresi nemá moc dobrou. Nemáte nějaký návrh? :) děkuji za každou odpověď

Odpovědi

[mhepp]

Jedná se o dokumenty, fotky, videa aj.

Uvědom si jednu věc: všechny formát jsou v současnosti již komprimované. Následná komprese prostě už nic nepřinese. Tedy alespoň nic, co by bylo zajímavé z hlediska ušetřeného místa.

[dustin]

Fotky a videa stejně už víc moc nezkomprimuješ. Použil bych něco vyzkoušeného s dlouhodobou podporou v různých OS, pár giga rozdílu přece nehraje roli.

Osobně bych to do ničeho nebalil a zkopíroval celou strukturu, poškozený obrovský soubor je náročnější na obnovu, než jednotlivé soubory.

[Jendа]

Osobně bych to do ničeho nebalil a zkopíroval celou strukturu, poškozený obrovský soubor je náročnější na obnovu, než jednotlivé soubory.

Na druhou stranu k jednomu obrovskému souboru lze spočítat třeba pomocí par2 samoopravný kód a taky jde třeba snadno zašifrovat. Na filesystému tohle ještě nikdo neimplementoval (pokud jo, sem s tím, hned použiju!).

Jakýsi hnusný mezikrok by mohl být soubor, ve kterém se vytvoří filesystém (a třeba ještě předtím šifrované zařízení). Takto občas šifrovaně zálohuji…

[Filip Jirsák]

Fotky a videa už jsou dnes zkomprimované, dokumenty DOCX a ODT jsou přímo ZIP soubory. Je možné, že byste jinou kompresí s agresivně nastavenými parametry něco málo ušetřil, za cenu dlouhé doby komprese i dekomprese. Ale podstupovat to celé, abyste nakonec dostal 298 GB dat, to se podle mne nevyplatí. Doporučuji tedy, stejně jako předřečníci, nekomprimovat.

[R]

Kedy naposledy boli fotky a videa nekomprimovane?

[Jendа]

1973

[pepe_]

bmp :)

[Michal2]

Otec ma skener a zasadne mi posila 20+ MiB BMP soubory (protoze to je implicitni fotrmat genialniho skenovaciho softu od Canononu IIRC), klidne i 10 v jednom mailu kdyz ho postihne skenovaci manie a chce mi poslat nejaky "zajimavy clanek"

[H0ax]

A nevadí mu dostávat oblíbené "Undelivered mail returned to sender ... bla bla .. message size 382000000 exceeds size limit 2048000 ..."?

[lertimir]

Moje DV kamera generuje nekomprimovaný proud video dat. Spíše obráceně, jak dlouho vyrábějí kamery kompresovaná data? Podobně scanery. obvykle to pošlou napřímo a teprve scanovací soft to přepočte do jpeg.

[R]

To mas nejaku divnu DV kameru. Mne zatial z DV kamery vzdy vyslo video s DV kompresiou - kazdy snimok komprimovany samostatne (podobne ako MJPEG).

[Jendа]

To je nějakých 720*576*25*2 = 21 MB/s. Moje DV kamera má tok 28,8 Mb/s.

[lertimir]

Pravda. Nechal jsem se unést tím, že kamera produkuje konstatní datový tok. Podíval jsem se nějaké zdrojové soubory 10 let staré a uploadovací program stríhal datový tok dost přesně 4GB souborů (tehdy na XP) a délka videa je přesně 16:34, takže data o něco více než 4MB/s. Takže souhlasím že kompresované to je. A zkusil jsem na to gzip (s default -6) a vzal cca 7%.

[R]

Zvuk je bez kompresie (v PCM), tam moze ten gzip nieco spravit.

[lertimir]

A mnohdy pokus o LZW komprese takových dat, jako jsou ze ztrátových kompresí audia videa a obrázku vyrobí větší soubory než původní data.

[rich]

Tak uplne v pohode je pouzitelny treba WinZip.

Uvědom si jednu věc: všechny formát jsou v současnosti již komprimované.

Nikde nebylo receno o jake jde dokumenty a samozrejme to neni pravda. Treba fotky, zvlaste pro profi pouziti, byvaji ve formatu RAW...

Pokud ale jsou uz komprimovany nic nebrani ve WinZipu, jde to i v linux verzi zipu, zvolit volbu NoCompression

No a pokud chces tento archiv mountovat v linuxu tak osobne bych to asi zabalil do ISO image a ten potom namountoval

mount -o loop /cesta/isofile.iso /nekam/to/pripoj

Pokud bude pro tebe vysledny soubor velky tak WinZip, pokud se dobre pamatuju, umi vicesvazkovy archiv.

[pavlix]

No a pokud chces tento archiv mountovat v linuxu tak osobne bych to asi zabalil do ISO image a ten potom namountoval

Pokud je to pro Linux, tak si nejsem úplně jistý proč takový zastaralý formát, který je potřeba i na ty nejzákladnější věci používat s nějakými vzájemně nekompatibilními rozšířeními. Proč ne SquashFS?

[rich]

uvedl jsem to v podstate jako priklad. kazdopadne rozhodnuti a vyber bude na tazateli. pro me potreby by to treba stacilo...

[pavlix]

Myslím, že by bohatě stačil ten squashfs bez komplikací :).

[rich]

ani ne, ja si to treba nemyslim. zatimco nastroje pro vytvoreni zip archivu a iso image ve win jsou standardne pritomny tak squashfs ne. ten by musel doinstalovat a navic jsou to nejake cygwin binaries jak se pise treba tady http://labalec.fr/erwan/?p=1363

takze me squashfs ve win, jak pises "bez komplikací :)", urcite neprijde

osobne bych si radeji vystacil se standardnimi nastroji nez neco dalsiho instalovat

[pavlix]

Vzhledem k tomu, že můj komentář začínal pokud je to pro linux, nemá cenu pod ním pitvat Windows.

[rich]

Nicmene tazatel resi jiny problem:

"Ahoj, potřebuji zazálohovat tak 300GB dat ve Windows."

[rich]

ale fakt je, ze si ten squashfs si muze vyrobit az na tom linuxu...

[R]

ZIP je jeden z najhorsich formatov na taketo veci. Velkost archivu je obmedzena a rozdelenie na viac archivov je nekompatibilne medzi implementaciami (otazne je, ci to vobec pojde v Linuxe rozbalit). Nazvy suborov nemaju specifkovane kodovanie, takze zabalit vo Windows subory s diakritikou v nazve a rozbalit inde znamena pruser.

[mhepp]

Navíc z mého fotoaparátu leze RAW komprimovaný. Jen na rozdíl od JPEGu je komprimovaný bezztrátově.

[rich]

o tvem pristroji tu neni rec

[Filip Jirsák]

Obrazová data v RAWu nejsou komprimovaná ztrátovou kompresí, to ale vůbec neznamená, že nejsou komprimovaná bezeztrátovou kompresí.

[rich]

Jak jsi prisel na to, ze jsou komprimovana? To snad zalezi na nastaveni konkretniho pristroje.

Viz. http://www.nikonusa.com/en/Learn-And-Explore/Article/ftlzi4ri/nikon-electronic-format-nef.html

Pricemz dulezita je veta

The NEF file is written to the memory card in either an uncompressed or "lossless" compressed form.

Takze to znamena, ze vubec neni jiste jestli jsou komprimovana jakoukoli kompresi.

[Filip Jirsák]

Nepsal jsem, že jsou RAW soubory vždy komprimované. Rozporoval jsem váš komentář, že RAW nikdy komprimované nejsou.

[rich]

original

"Nikde nebylo receno o jake jde dokumenty a samozrejme to neni pravda. Treba fotky, zvlaste pro profi pouziti, byvaji ve formatu RAW..."

"Rozporoval jsem váš komentář, že RAW nikdy komprimované nejsou."

to asi teda bude k jinemu komentari. nikde tam nevidim ani slovo o kompresi. a pokud by sis precetl vse tak bys vedel, ze jsem taky napsal:

"Pokud ale jsou uz komprimovany nic nebrani ve WinZipu, jde to i v linux verzi zipu, zvolit volbu NoCompression"

tudiz se miz zda tvuj komentar o (ne)komprimovanem RAWu celkem nepodstatny

[pepe_]

ARJ   http://arj.sourceforge.net/