abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 17:00 | Nová verze

Byl vydán Docker 1.13. Přehled novinek na YouTube a v poznámkách k vydání na GitHubu. Docker umožňuje běh aplikací v softwarových kontejnerech (Wikipedia).

Ladislav Hagara | Komentářů: 1
včera 15:51 | Komunita

Mozilla.cz informuje, že nástroje pro webové vývojáře se možná oddělí od Firefoxu a stanou doplňkem. Nástroje pro webové vývojáře prošly velkým přepisem a tým, který se stará o jejich vývoj, by uvítal možnost jejich častějších aktualizacích nezávisle na vydávání nových verzí Firefoxu.

Ladislav Hagara | Komentářů: 2
včera 07:00 | Humor

Čtenářům AbcLinuxu vše nejlepší k dnešnímu Dni zvýšení povědomí o tučňácích (Penguin Awareness Day).

Ladislav Hagara | Komentářů: 0
včera 06:00 | Komunita

Bylo spuštěno hlasování o přednáškách a workshopech pro letošní InstallFest, jenž proběhne o víkendu 4. a 5. března v Praze. Současně byla oznámena změna místa. InstallFest se letos vrací zpět na Karlovo náměstí do budovy E.

Ladislav Hagara | Komentářů: 0
včera 02:48 | Komunita

Greg Kroah-Hartman potvrdil, že Linux 4.9 je jádrem s prodlouženou upstream podporou (LTS, Long Term Support). Podpora je plánována do ledna 2019. Aktuální jádra s prodlouženou podporou jsou tedy 3.2, 3.4, 3.10, 3.12, 3.16, 3.18, 4.1, 4.4 a 4.9.

Ladislav Hagara | Komentářů: 0
včera 00:11 | Zajímavý článek

Výrobce síťových prvků, společnost Netgear, spustila nový program, který slibuje vývojářům, expertům, ale i běžným uživatelům vyplacení finanční odměny za nalezení bezpečnostních chyby v jejich produktech. Za nalezení zranitelnosti v hardware, API nebo mobilní aplikaci nabízí odměnu od 150 do 15 tisíc dolarů (dle závažnosti).

Michal Makovec | Komentářů: 0
včera 00:08 | Pozvánky

V sobotu 18. 2. se v Praze v prostorách VŠE uskuteční od 9:30 již 4. ročník největší české konference o open source redakčním systému WordPress (WP) - WordCamp Praha 2017.

… více »
smíťa | Komentářů: 0
19.1. 23:58 | Komunita

Kryptoměnová komunita zahájila nový rok spuštěním projektu Blockchain.cz, jehož cílem je kolektivně nalézt ideální překlad pro čím dál frekventovanější slovo „blockchain“. Přispět návrhem může kdokoli. Sběr bude trvat až do konce září 2017. Následně bude probíhat dvoutýdenní veřejné hlasování, které bude zakončeno výběrem toho nejlepšího návrhu.

xHire | Komentářů: 9
19.1. 15:55 | Bezpečnostní upozornění

Společnost Oracle vydala čtvrtletní bezpečnostní aktualizaci svých softwarových produktů (CPU, Critical Patch Update). Opraveno je celkově 270 bezpečnostních chyb. V Oracle Java SE je například opraveno 17 bezpečnostních chyb. Vzdáleně zneužitelných bez autentizace je 16 z nich. V Oracle MySQL je opraveno 27 bezpečnostních chyb. Vzdáleně zneužitelných bez autentizace je 5 z nich.

Ladislav Hagara | Komentářů: 0
19.1. 02:48 | Nová verze

Po půl roce od vydání verze 9.0 (zprávička) byla vydána verze 10.0 zvukového serveru PulseAudio. Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 35
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (10%)
 (2%)
 (73%)
 (3%)
 (11%)
Celkem 345 hlasů
 Komentářů: 25, poslední dnes 13:34
    Rozcestník
    Reklama

    Dotaz: Komprese velkých dat.

    15.12.2014 14:11 neprihlasenyUzivatel
    Komprese velkých dat.
    Přečteno: 638×
    Ahoj, potřebuji zazálohovat tak 300GB dat ve Windows. Jde mi o to jaký nástroj a do jakého formátu by bylo nejvhodnější soubory uložit. Jedná se o dokumenty, fotky, videa aj. Něco s přijatelnou kompresí a aby bylo možné případně soubor namountovat na linuxu jako fs. Třeba zip je možné namountovat, ale kompresi nemá moc dobrou. Nemáte nějaký návrh? :) děkuji za každou odpověď

    Odpovědi

    15.12.2014 14:32 mhepp
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Jedná se o dokumenty, fotky, videa aj.
    Uvědom si jednu věc: všechny formát jsou v současnosti již komprimované. Následná komprese prostě už nic nepřinese. Tedy alespoň nic, co by bylo zajímavé z hlediska ušetřeného místa.
    15.12.2014 14:35 dustin | skóre: 60 | blog: dustin
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Fotky a videa stejně už víc moc nezkomprimuješ. Použil bych něco vyzkoušeného s dlouhodobou podporou v různých OS, pár giga rozdílu přece nehraje roli.

    Osobně bych to do ničeho nebalil a zkopíroval celou strukturu, poškozený obrovský soubor je náročnější na obnovu, než jednotlivé soubory.
    Jendа avatar 15.12.2014 15:18 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Osobně bych to do ničeho nebalil a zkopíroval celou strukturu, poškozený obrovský soubor je náročnější na obnovu, než jednotlivé soubory.
    Na druhou stranu k jednomu obrovskému souboru lze spočítat třeba pomocí par2 samoopravný kód a taky jde třeba snadno zašifrovat. Na filesystému tohle ještě nikdo neimplementoval (pokud jo, sem s tím, hned použiju!).

    Jakýsi hnusný mezikrok by mohl být soubor, ve kterém se vytvoří filesystém (a třeba ještě předtím šifrované zařízení). Takto občas šifrovaně zálohuji…
    „To jsem nedávno zjistil, že naše televize jde ovládat po síti. Docela mě to překvapilo.“ „Jo? A kdo vám ji ovládal?“
    15.12.2014 15:02 Filip Jirsák
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Fotky a videa už jsou dnes zkomprimované, dokumenty DOCX a ODT jsou přímo ZIP soubory. Je možné, že byste jinou kompresí s agresivně nastavenými parametry něco málo ušetřil, za cenu dlouhé doby komprese i dekomprese. Ale podstupovat to celé, abyste nakonec dostal 298 GB dat, to se podle mne nevyplatí. Doporučuji tedy, stejně jako předřečníci, nekomprimovat.
    15.12.2014 15:22 R
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Kedy naposledy boli fotky a videa nekomprimovane?
    Jendа avatar 15.12.2014 15:38 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    1973
    „To jsem nedávno zjistil, že naše televize jde ovládat po síti. Docela mě to překvapilo.“ „Jo? A kdo vám ji ovládal?“
    pepe_ avatar 15.12.2014 15:47 pepe_ | skóre: 46
    Rozbalit Rozbalit vše Re: Komprese velkých dat.

    bmp :)

    15.12.2014 17:28 Michal2
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Otec ma skener a zasadne mi posila 20+ MiB BMP soubory (protoze to je implicitni fotrmat genialniho skenovaciho softu od Canononu IIRC), klidne i 10 v jednom mailu kdyz ho postihne skenovaci manie a chce mi poslat nejaky "zajimavy clanek" ;-)
    H0ax avatar 16.12.2014 07:14 H0ax | skóre: 36 | blog: Odnikud_nikam
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    A nevadí mu dostávat oblíbené "Undelivered mail returned to sender ... bla bla .. message size 382000000 exceeds size limit 2048000 ..."? :-D
    LinuxWay | blog |  LiCo
    15.12.2014 21:01 lertimir | skóre: 59 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Moje DV kamera generuje nekomprimovaný proud video dat. Spíše obráceně, jak dlouho vyrábějí kamery kompresovaná data? Podobně scanery. obvykle to pošlou napřímo a teprve scanovací soft to přepočte do jpeg.
    15.12.2014 21:14 R
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    To mas nejaku divnu DV kameru. Mne zatial z DV kamery vzdy vyslo video s DV kompresiou - kazdy snimok komprimovany samostatne (podobne ako MJPEG).
    Jendа avatar 15.12.2014 22:38 Jendа | skóre: 73 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    To je nějakých 720*576*25*2 = 21 MB/s. Moje DV kamera má tok 28,8 Mb/s.
    „To jsem nedávno zjistil, že naše televize jde ovládat po síti. Docela mě to překvapilo.“ „Jo? A kdo vám ji ovládal?“
    16.12.2014 01:47 lertimir | skóre: 59 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Pravda. Nechal jsem se unést tím, že kamera produkuje konstatní datový tok. Podíval jsem se nějaké zdrojové soubory 10 let staré a uploadovací program stríhal datový tok dost přesně 4GB souborů (tehdy na XP) a délka videa je přesně 16:34, takže data o něco více než 4MB/s. Takže souhlasím že kompresované to je. A zkusil jsem na to gzip (s default -6) a vzal cca 7%.
    16.12.2014 13:13 R
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Zvuk je bez kompresie (v PCM), tam moze ten gzip nieco spravit.
    15.12.2014 21:04 lertimir | skóre: 59 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    A mnohdy pokus o LZW komprese takových dat, jako jsou ze ztrátových kompresí audia videa a obrázku vyrobí větší soubory než původní data.
    16.12.2014 12:40 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Tak uplne v pohode je pouzitelny treba WinZip.

    Uvědom si jednu věc: všechny formát jsou v současnosti již komprimované.

    Nikde nebylo receno o jake jde dokumenty a samozrejme to neni pravda. Treba fotky, zvlaste pro profi pouziti, byvaji ve formatu RAW...

    Pokud ale jsou uz komprimovany nic nebrani ve WinZipu, jde to i v linux verzi zipu, zvolit volbu NoCompression ;-)

    No a pokud chces tento archiv mountovat v linuxu tak osobne bych to asi zabalil do ISO image a ten potom namountoval

    mount -o loop /cesta/isofile.iso /nekam/to/pripoj

    Pokud bude pro tebe vysledny soubor velky tak WinZip, pokud se dobre pamatuju, umi vicesvazkovy archiv.

    pavlix avatar 16.12.2014 12:51 pavlix | skóre: 53 | blog: pavlix
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    No a pokud chces tento archiv mountovat v linuxu tak osobne bych to asi zabalil do ISO image a ten potom namountoval
    Pokud je to pro Linux, tak si nejsem úplně jistý proč takový zastaralý formát, který je potřeba i na ty nejzákladnější věci používat s nějakými vzájemně nekompatibilními rozšířeními. Proč ne SquashFS?
    Gentoo – Jsem open source vývojář, nikoli markeťák ⇒ názory zde uvedené jsou jen mé vlastní.
    18.12.2014 11:18 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    uvedl jsem to v podstate jako priklad. kazdopadne rozhodnuti a vyber bude na tazateli. pro me potreby by to treba stacilo...
    pavlix avatar 18.12.2014 11:29 pavlix | skóre: 53 | blog: pavlix
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Myslím, že by bohatě stačil ten squashfs bez komplikací :).
    Gentoo – Jsem open source vývojář, nikoli markeťák ⇒ názory zde uvedené jsou jen mé vlastní.
    18.12.2014 13:45 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.

    ani ne, ja si to treba nemyslim. zatimco nastroje pro vytvoreni zip archivu a iso image ve win jsou standardne pritomny tak squashfs ne. ten by musel doinstalovat a navic jsou to nejake cygwin binaries jak se pise treba tady http://labalec.fr/erwan/?p=1363

    takze me squashfs ve win, jak pises "bez komplikací :)", urcite neprijde

    osobne bych si radeji vystacil se standardnimi nastroji nez neco dalsiho instalovat

    pavlix avatar 18.12.2014 14:51 pavlix | skóre: 53 | blog: pavlix
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Vzhledem k tomu, že můj komentář začínal pokud je to pro linux, nemá cenu pod ním pitvat Windows.
    Gentoo – Jsem open source vývojář, nikoli markeťák ⇒ názory zde uvedené jsou jen mé vlastní.
    18.12.2014 14:54 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Nicmene tazatel resi jiny problem:

    "Ahoj, potřebuji zazálohovat tak 300GB dat ve Windows."

    18.12.2014 15:07 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    ale fakt je, ze si ten squashfs si muze vyrobit az na tom linuxu...
    16.12.2014 13:17 R
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    ZIP je jeden z najhorsich formatov na taketo veci. Velkost archivu je obmedzena a rozdelenie na viac archivov je nekompatibilne medzi implementaciami (otazne je, ci to vobec pojde v Linuxe rozbalit). Nazvy suborov nemaju specifkovane kodovanie, takze zabalit vo Windows subory s diakritikou v nazve a rozbalit inde znamena pruser.
    16.12.2014 13:40 mhepp
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Navíc z mého fotoaparátu leze RAW komprimovaný. Jen na rozdíl od JPEGu je komprimovaný bezztrátově.
    18.12.2014 11:16 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    o tvem pristroji tu neni rec
    16.12.2014 13:40 Filip Jirsák
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Obrazová data v RAWu nejsou komprimovaná ztrátovou kompresí, to ale vůbec neznamená, že nejsou komprimovaná bezeztrátovou kompresí.
    18.12.2014 11:15 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Jak jsi prisel na to, ze jsou komprimovana? To snad zalezi na nastaveni konkretniho pristroje.

    Viz. http://www.nikonusa.com/en/Learn-And-Explore/Article/ftlzi4ri/nikon-electronic-format-nef.html

    Pricemz dulezita je veta

    The NEF file is written to the memory card in either an uncompressed or "lossless" compressed form.

    Takze to znamena, ze vubec neni jiste jestli jsou komprimovana jakoukoli kompresi.

    18.12.2014 13:58 Filip Jirsák
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Nepsal jsem, že jsou RAW soubory vždy komprimované. Rozporoval jsem váš komentář, že RAW nikdy komprimované nejsou.
    18.12.2014 14:51 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.

    original

    "Nikde nebylo receno o jake jde dokumenty a samozrejme to neni pravda. Treba fotky, zvlaste pro profi pouziti, byvaji ve formatu RAW..."

    "Rozporoval jsem váš komentář, že RAW nikdy komprimované nejsou."

    to asi teda bude k jinemu komentari. nikde tam nevidim ani slovo o kompresi. a pokud by sis precetl vse tak bys vedel, ze jsem taky napsal:

    "Pokud ale jsou uz komprimovany nic nebrani ve WinZipu, jde to i v linux verzi zipu, zvolit volbu NoCompression"

    tudiz se miz zda tvuj komentar o (ne)komprimovanem RAWu celkem nepodstatny
    pepe_ avatar 16.12.2014 15:22 pepe_ | skóre: 46
    Rozbalit Rozbalit vše Re: Komprese velkých dat.

    ARJ   http://arj.sourceforge.net/

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.