Dotaz: Online komprese souborů

[Radek Hladik]

Zdravim, rad bych se přeptal, zda někdo používáte nějaký nástroj na online komprimaci souborů. Mám záložní server, kam rsyncem replikuju jendou denně hlavní server. Rád bych soubory na disku měl komprimované, protože se jedná především o logy, php kódy atd... Víceméně mi je jedno, jestli to bude na úrovni filesystému, blokového zařízení nebo někde jinde. Potřebuju ale, aby to bylo spolehlivé (i na úkor výkonu a míry komprese), nerad bych v případě potřeby zálohy zjistil, že je záloha naprd

Podle strýčka googla jsem našel několik projektů, nejvyspělejší se zdál compFUSEd. Když jsem ho zkoušel, tak jsem ovšem objevil několik zádrhelů. Musel jsem lehce šahat do zdrojáků, zlobil se soubory většími 2GB a nakonec se mi finálně zhroutil při snaze smazat symlink, který shodou okolností ukazoval mimo namountovaný FS.

Proto bych se rád zeptal, zda někdo něco takového používate a jaké s tím máte zkušenosti.

Odpovědi

[Mandarinka]

/Přísahám, že nechci začínat nesmyslnou hádku, provokovat, nebo dělat to, co tu nazývaj troll (no, to často bejvá taky prosté vlastnění nepohodlného názoru)./

Nedávno jsem se zajímal o něco podobného na desktop - mám na přenosném málo místa, a šiklo by se mít komprimovanou dokumentaci, man a podobně, zvlášť když dělá hodně slack space. Ale na nic, co by nebylo v experimentálním stádiu sem nenašel. Nic z toho se taky asi široce nepoužívá - takže o spolehlivosti se tam z principu nedá mluvit.

Nakonec jsem to vzdal, ale vidím to takhle - na NTFS funguje transparentní komprese (není solid, asi je to základní zip), používá se to na spoustě win mašin, já sám jsem nikdy neměl problém. Takže jestli to jde rozchodit na linuxu, tak to bude paradoxně nejschůdnější řešení. NTFS taky tuším nedělá tolik slackspace jako ext3, ale to může být jen moje iluze.

Reiser4 má mít podporu kompresních a kryptovacích pluginů, ale vůbec netuším, do jaké míry je to plánovaná featura, nebo už hotová věc. Ale reiser4 není v jádře, nikdo ho tam nechce mrsknout, netestuje se to (a ten plugin už asi vůbec) a všechno. Myslím, že ačkoliv je to po těch letech odladěné celkově, minimálně ta komprese (pokud je) ještě připravená na vážné použití není.

[Josef Kufner]

Když už jsi zmínil ty kryptovací pluginy, tak možná by nebylo od věci se kouknout po něčem, co by spolupracovalo s cryptoloop... IMHO by to nemělo být moc složité, ale spolehlivé by to být mohlo.

[Radek Hladik]

Mám pocit, že někde jsem zahlédl náznak řešení s dm_crypt, ale nechtěl jsem se pouštět do "větších akcí" než se zeptám . To, že to už dávno umí NTFS vím, ale nevím, jestli chci riskovat nějaký zápis, u kterého nevím, jak je spolehlivý a ještě s kompresí.

Ten compfused vypadá přesně tak, jak bych si to představoval, přes fuse, krásně má adresář, kam si každý soubor jednoduše zakomprimuje,.... Možná bych mohl věnovat nějaký čas jeho doladění, ale při mých znalostech C to bude zajímavé...

Druhá možnost je nějak ukecat rsync, aby každý soubor po přenesení zabalil a před porovnáním rozbalil nečo jako beforeCompare: gzip -d $soubor, afterTransfer: gzip $soubor. Ale zdá se, že nic takového neumí....

[onion]

A co skusit napsat nejaky wrapper kolem rsyncu, treba v Pythonu? Je to jen nerealizovany napad, ale vzhledem k nedostupnosti rozumnych reseni se mi to zda, jako nejschudnejsi reseni. Navic to ma tu vyhodu, ze tam prilis neni moc pokazit (zadny novy neodzkouseny software).

[Milan Svoboda]

Zkousel jsi FuseCompress? www.miio.net/fusecompress

[Radek Hladik]

Koukal jsem na stránku projektu, ale odradily mě hlášky typu:

This is highly experimental software, don't use it unless you are a developer!

New version available! It has been completly rewritten, it's now in C++ and it's design is much better than design of the previous versions. And yeah, file format has been changed again...

Version 0.9.1 is buggy. Please don't use it. I'm working on new version, which I hope will be bug-free.

File format has been changed! Version 0.9.1 is not compatible with previous releases. Please accept my apologies and upgrade to 0.9.1.

Asi nemá smysl se tě ptát, jestli s tím máš nějaké zkušenosti , tak se spíš zeptám, jestli nejnovější verze (1.99.14) je natolik stabilní, aby bez problému fungovala - t.j. klidně ať má horší kompresní poměr, vyšší zátěž procesoru, ale ať po roce používání nezjistím, že mám na disku místo dat několik giga náhodných bájtů....

Každopádně vyzkouším a dám vědět výsledek.....

[Milan Svoboda]

No, ty hlasky jsou tam z minulosti a taky aby byla jistota ze kdyz to nekdo uz zacne pouzivat tak ze si to pred tim nejdrive vyzkousi.

Pokud pouzijes verzi 1.99.14 a po roce to zkusis cist zase pomoci verze 1.99.14 tak muj kvalifikovany odhad je ten ze s tim nebudou problemy

Rad bych se dozvedel vysledky tveho testovani...