abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 14:15 | Komunita

Daniel Stenberg, autor nástroje curl, na svém blogu oznámil, že obdržel letošní Polhemovu cenu, kterou uděluje Švédská inženýrská asociace za „technologickou inovaci nebo důvtipné řešení technického problému“.

marbu | Komentářů: 1
dnes 13:40 | Pozvánky

Cílem Social Good Hackathonu, který se uskuteční 21. a 22. října v Brně, je vymyslet a zrealizovat projekty, které pomůžou zlepšit svět kolem nás. Je to unikátní příležitost, jak představit nejrůznější sociální projekty a zrealizovat je, propojit aktivní lidi, zástupce a zástupkyně nevládních organizací a lidi z prostředí IT a designu. Hackathon pořádá brněnská neziskovka Nesehnutí.

… více »
Barbora | Komentářů: 0
dnes 00:44 | Pozvánky

V sobotu 21. října 2017 se na půdě Elektrotechnické fakulty ČVUT v Praze uskuteční RT-Summit – setkání vývojářů linuxového jádra a uživatelů jeho real-time verze označované jako preempt-rt.

… více »
Pavel Píša | Komentářů: 5
včera 23:44 | Bezpečnostní upozornění

V Linuxu byla nalezena bezpečnostní chyba CVE-2017-15265 zneužitelná k lokální eskalaci práv. Jedná se o chybu v části ALSA (Advanced Linux Sound Architecture).

Ladislav Hagara | Komentářů: 1
včera 22:44 | Komunita

Greg Kroah-Hartman informuje na svém blogu, že do zdrojových kódu linuxového jádra bylo přidáno (commit) prohlášení Linux Kernel Enforcement Statement. Zdrojové kódy Linuxu jsou k dispozici pod licencí GPL-2.0. Prohlášení přidává ustanovení z GPL-3.0. Cílem je chránit Linux před patentovými trolly, viz například problém s bývalým vedoucím týmu Netfilter Patrickem McHardym. Více v často kladených otázkách (FAQ).

Ladislav Hagara | Komentářů: 4
včera 22:04 | Pozvánky

Rádi bychom vás pozvali na přednášku o frameworku Avocado. Jedná se o testovací framework další generace, inspirovaný Autotestem a moderními vývojovými nástroji, jako je třeba git. Přednáška se bude konat 23. října od 17 hodin na FEL ČVUT (Karlovo náměstí, budova E, auditorium K9 – KN:E 301). Více informací na Facebooku.

… více »
mjedlick | Komentářů: 0
včera 21:44 | Bezpečnostní upozornění

Nový útok na WPA2 se nazývá KRACK a postihuje prakticky všechna Wi-Fi zařízení / operační systémy. Využívá manipulace s úvodním handshake. Chyba by měla být softwarově opravitelná, je nutné nainstalovat záplaty operačních systémů a aktualizovat firmware zařízení (až budou). Mezitím je doporučeno používat HTTPS a VPN jako další stupeň ochrany.

Václav HFechs Švirga | Komentářů: 3
15.10. 00:11 | Zajímavý projekt

Server Hackaday představuje projekt RainMan 2.0, aneb jak naučit Raspberry Pi 3 s kamerovým modulem pomocí Pythonu a knihovny pro rozpoznávání obrazu OpenCV hrát karetní hru Blackjack. Ukázka rozpoznávání karet na YouTube. Zdrojové kódy jsou k dispozici na GitHubu.

Ladislav Hagara | Komentářů: 0
14.10. 15:11 | IT novinky

Online obchod s počítačovými hrami a elektronickými knihami Humble Bundle byl koupen společností IGN. Dle oficiálních prohlášení by měl Humble Bundle dále fungovat stejně jako dosud.

Ladislav Hagara | Komentářů: 8
14.10. 06:00 | Zajímavý článek

Brendan Gregg již v roce 2008 upozornil (YouTube), že na pevné disky se nemá křičet, že jim to nedělá dobře. Plotny disku se mohou rozkmitat a tím se mohou prodloužit časy odezvy pevného disku. V září letošního roku proběhla v Buenos Aires konference věnovaná počítačové bezpečnosti ekoparty. Alfredo Ortega zde demonstroval (YouTube, pdf), že díky tomu lze pevný disk použít také jako nekvalitní mikrofon. Stačí přesně měřit časy odezvy

… více »
Ladislav Hagara | Komentářů: 8
Těžíte nějakou kryptoměnu?
 (6%)
 (2%)
 (15%)
 (76%)
Celkem 718 hlasů
 Komentářů: 24, poslední 27.9. 08:30
    Rozcestník

    Dotaz: Komprese velkých dat.

    15.12.2014 14:11 neprihlasenyUzivatel
    Komprese velkých dat.
    Přečteno: 653×
    Ahoj, potřebuji zazálohovat tak 300GB dat ve Windows. Jde mi o to jaký nástroj a do jakého formátu by bylo nejvhodnější soubory uložit. Jedná se o dokumenty, fotky, videa aj. Něco s přijatelnou kompresí a aby bylo možné případně soubor namountovat na linuxu jako fs. Třeba zip je možné namountovat, ale kompresi nemá moc dobrou. Nemáte nějaký návrh? :) děkuji za každou odpověď

    Odpovědi

    15.12.2014 14:32 mhepp
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Jedná se o dokumenty, fotky, videa aj.
    Uvědom si jednu věc: všechny formát jsou v současnosti již komprimované. Následná komprese prostě už nic nepřinese. Tedy alespoň nic, co by bylo zajímavé z hlediska ušetřeného místa.
    15.12.2014 14:35 dustin | skóre: 61 | blog: dustin
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Fotky a videa stejně už víc moc nezkomprimuješ. Použil bych něco vyzkoušeného s dlouhodobou podporou v různých OS, pár giga rozdílu přece nehraje roli.

    Osobně bych to do ničeho nebalil a zkopíroval celou strukturu, poškozený obrovský soubor je náročnější na obnovu, než jednotlivé soubory.
    Jendа avatar 15.12.2014 15:18 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Osobně bych to do ničeho nebalil a zkopíroval celou strukturu, poškozený obrovský soubor je náročnější na obnovu, než jednotlivé soubory.
    Na druhou stranu k jednomu obrovskému souboru lze spočítat třeba pomocí par2 samoopravný kód a taky jde třeba snadno zašifrovat. Na filesystému tohle ještě nikdo neimplementoval (pokud jo, sem s tím, hned použiju!).

    Jakýsi hnusný mezikrok by mohl být soubor, ve kterém se vytvoří filesystém (a třeba ještě předtím šifrované zařízení). Takto občas šifrovaně zálohuji…
    15.12.2014 15:02 Filip Jirsák
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Fotky a videa už jsou dnes zkomprimované, dokumenty DOCX a ODT jsou přímo ZIP soubory. Je možné, že byste jinou kompresí s agresivně nastavenými parametry něco málo ušetřil, za cenu dlouhé doby komprese i dekomprese. Ale podstupovat to celé, abyste nakonec dostal 298 GB dat, to se podle mne nevyplatí. Doporučuji tedy, stejně jako předřečníci, nekomprimovat.
    15.12.2014 15:22 R
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Kedy naposledy boli fotky a videa nekomprimovane?
    Jendа avatar 15.12.2014 15:38 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    pepe_ avatar 15.12.2014 15:47 pepe_ | skóre: 47
    Rozbalit Rozbalit vše Re: Komprese velkých dat.

    bmp :)

    15.12.2014 17:28 Michal2
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Otec ma skener a zasadne mi posila 20+ MiB BMP soubory (protoze to je implicitni fotrmat genialniho skenovaciho softu od Canononu IIRC), klidne i 10 v jednom mailu kdyz ho postihne skenovaci manie a chce mi poslat nejaky "zajimavy clanek" ;-)
    H0ax avatar 16.12.2014 07:14 H0ax | skóre: 36 | blog: Odnikud_nikam
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    A nevadí mu dostávat oblíbené "Undelivered mail returned to sender ... bla bla .. message size 382000000 exceeds size limit 2048000 ..."? :-D
    LinuxWay | blog |  LiCo
    15.12.2014 21:01 lertimir | skóre: 60 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Moje DV kamera generuje nekomprimovaný proud video dat. Spíše obráceně, jak dlouho vyrábějí kamery kompresovaná data? Podobně scanery. obvykle to pošlou napřímo a teprve scanovací soft to přepočte do jpeg.
    15.12.2014 21:14 R
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    To mas nejaku divnu DV kameru. Mne zatial z DV kamery vzdy vyslo video s DV kompresiou - kazdy snimok komprimovany samostatne (podobne ako MJPEG).
    Jendа avatar 15.12.2014 22:38 Jendа | skóre: 74 | blog: Výlevníček | JO70FB
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    To je nějakých 720*576*25*2 = 21 MB/s. Moje DV kamera má tok 28,8 Mb/s.
    16.12.2014 01:47 lertimir | skóre: 60 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Pravda. Nechal jsem se unést tím, že kamera produkuje konstatní datový tok. Podíval jsem se nějaké zdrojové soubory 10 let staré a uploadovací program stríhal datový tok dost přesně 4GB souborů (tehdy na XP) a délka videa je přesně 16:34, takže data o něco více než 4MB/s. Takže souhlasím že kompresované to je. A zkusil jsem na to gzip (s default -6) a vzal cca 7%.
    16.12.2014 13:13 R
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Zvuk je bez kompresie (v PCM), tam moze ten gzip nieco spravit.
    15.12.2014 21:04 lertimir | skóre: 60 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    A mnohdy pokus o LZW komprese takových dat, jako jsou ze ztrátových kompresí audia videa a obrázku vyrobí větší soubory než původní data.
    16.12.2014 12:40 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Tak uplne v pohode je pouzitelny treba WinZip.

    Uvědom si jednu věc: všechny formát jsou v současnosti již komprimované.

    Nikde nebylo receno o jake jde dokumenty a samozrejme to neni pravda. Treba fotky, zvlaste pro profi pouziti, byvaji ve formatu RAW...

    Pokud ale jsou uz komprimovany nic nebrani ve WinZipu, jde to i v linux verzi zipu, zvolit volbu NoCompression ;-)

    No a pokud chces tento archiv mountovat v linuxu tak osobne bych to asi zabalil do ISO image a ten potom namountoval

    mount -o loop /cesta/isofile.iso /nekam/to/pripoj

    Pokud bude pro tebe vysledny soubor velky tak WinZip, pokud se dobre pamatuju, umi vicesvazkovy archiv.

    pavlix avatar 16.12.2014 12:51 pavlix | skóre: 54 | blog: pavlix
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    No a pokud chces tento archiv mountovat v linuxu tak osobne bych to asi zabalil do ISO image a ten potom namountoval
    Pokud je to pro Linux, tak si nejsem úplně jistý proč takový zastaralý formát, který je potřeba i na ty nejzákladnější věci používat s nějakými vzájemně nekompatibilními rozšířeními. Proč ne SquashFS?
    18.12.2014 11:18 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    uvedl jsem to v podstate jako priklad. kazdopadne rozhodnuti a vyber bude na tazateli. pro me potreby by to treba stacilo...
    pavlix avatar 18.12.2014 11:29 pavlix | skóre: 54 | blog: pavlix
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Myslím, že by bohatě stačil ten squashfs bez komplikací :).
    18.12.2014 13:45 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.

    ani ne, ja si to treba nemyslim. zatimco nastroje pro vytvoreni zip archivu a iso image ve win jsou standardne pritomny tak squashfs ne. ten by musel doinstalovat a navic jsou to nejake cygwin binaries jak se pise treba tady http://labalec.fr/erwan/?p=1363

    takze me squashfs ve win, jak pises "bez komplikací :)", urcite neprijde

    osobne bych si radeji vystacil se standardnimi nastroji nez neco dalsiho instalovat

    pavlix avatar 18.12.2014 14:51 pavlix | skóre: 54 | blog: pavlix
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Vzhledem k tomu, že můj komentář začínal pokud je to pro linux, nemá cenu pod ním pitvat Windows.
    18.12.2014 14:54 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Nicmene tazatel resi jiny problem:

    "Ahoj, potřebuji zazálohovat tak 300GB dat ve Windows."

    18.12.2014 15:07 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    ale fakt je, ze si ten squashfs si muze vyrobit az na tom linuxu...
    16.12.2014 13:17 R
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    ZIP je jeden z najhorsich formatov na taketo veci. Velkost archivu je obmedzena a rozdelenie na viac archivov je nekompatibilne medzi implementaciami (otazne je, ci to vobec pojde v Linuxe rozbalit). Nazvy suborov nemaju specifkovane kodovanie, takze zabalit vo Windows subory s diakritikou v nazve a rozbalit inde znamena pruser.
    16.12.2014 13:40 mhepp
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Navíc z mého fotoaparátu leze RAW komprimovaný. Jen na rozdíl od JPEGu je komprimovaný bezztrátově.
    18.12.2014 11:16 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    o tvem pristroji tu neni rec
    16.12.2014 13:40 Filip Jirsák
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Obrazová data v RAWu nejsou komprimovaná ztrátovou kompresí, to ale vůbec neznamená, že nejsou komprimovaná bezeztrátovou kompresí.
    18.12.2014 11:15 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Jak jsi prisel na to, ze jsou komprimovana? To snad zalezi na nastaveni konkretniho pristroje.

    Viz. http://www.nikonusa.com/en/Learn-And-Explore/Article/ftlzi4ri/nikon-electronic-format-nef.html

    Pricemz dulezita je veta

    The NEF file is written to the memory card in either an uncompressed or "lossless" compressed form.

    Takze to znamena, ze vubec neni jiste jestli jsou komprimovana jakoukoli kompresi.

    18.12.2014 13:58 Filip Jirsák
    Rozbalit Rozbalit vše Re: Komprese velkých dat.
    Nepsal jsem, že jsou RAW soubory vždy komprimované. Rozporoval jsem váš komentář, že RAW nikdy komprimované nejsou.
    18.12.2014 14:51 rich
    Rozbalit Rozbalit vše Re: Komprese velkých dat.

    original

    "Nikde nebylo receno o jake jde dokumenty a samozrejme to neni pravda. Treba fotky, zvlaste pro profi pouziti, byvaji ve formatu RAW..."

    "Rozporoval jsem váš komentář, že RAW nikdy komprimované nejsou."

    to asi teda bude k jinemu komentari. nikde tam nevidim ani slovo o kompresi. a pokud by sis precetl vse tak bys vedel, ze jsem taky napsal:

    "Pokud ale jsou uz komprimovany nic nebrani ve WinZipu, jde to i v linux verzi zipu, zvolit volbu NoCompression"

    tudiz se miz zda tvuj komentar o (ne)komprimovanem RAWu celkem nepodstatny
    pepe_ avatar 16.12.2014 15:22 pepe_ | skóre: 47
    Rozbalit Rozbalit vše Re: Komprese velkých dat.

    ARJ   http://arj.sourceforge.net/

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.