Dotaz: Výběr filesystemu

[fsecko.je.jinak]

Zdravim, nedavno jsem udelal chybku ve scriptu a vzniklo mi v adresari odhadem snad nekolik milionu souboru o velikosti 0-2kb. Bylo to na ext3 a mazalo se to v MC asi pul dne (rm -rf /path/to/bordel/* odmitl mazat kvuli Argument is too long :))) ) a ten stroj (1procesorove bezne kancelarske PC) byl totalne tuhy kvuli "I/O wait" :(. Je to pochopitelne, neco jsem o mazani souboru v ext3 cetl a tak chapu ze to dyl trva, vsimam si toho i u mazani napriklad nekolikagigovych souboru, to trva taky. Prosim doporucte mi nejaky jiny FS ktery by nemel problemy s mazanim, nebo mi prosim doporucte nejakou rychlejsi metodu jak na ext3 rychle odstrihnout adresar a zapomenout na soubory v nem nejlepe bez mazani. Ty soubory jsou logy atd, a to logovani bylo proste asi mesic zapnute naplno a tak vzniklo to co vzniklo :) Pokud mi doporucite nejaky jiny FS, prosim pokud bude umet nejak snadno a hodne rychle vytvaret snapshoty, tak by to bodlo. Diky za jakoukoliv informaci, odkaz, navrh, radu.. :) (pokud to necemu pomuze, jedna se o Ubuntu desktop)

Odpovědi

[Kenji]

Snapshoty sám o sobě neumí snad žádný FS, nepočítáme-li ZFS. Pokud chceš snapshoty, tak si nahoď LVM.
Na malé soubory je ideální ReiserFS, sám ho používám na většině oddílech v kombinaci s EXT4.
Na laptopu se Solarisem mám ale samozřejmě ZFS, který považuji za nejlepší filesystém současnosti (především featurama, které prostě žádný jiný FS nemá).

[alblaho]

ReiserFS je (oproti ext3) na malé soubory opravdu dobrý (mám ho všude). Pomalu ale přecházím na ext4, který je taktéž rychlý a do budoucna víc podporovaný. Navíc umí líp zvětšování/zmenšování na LVM.

Úplně nejrychlejší je Reiser4, ale to je trochu overkill .

[ph0enix]

Jen pro doplneni. Snapshot ti umozni delat i vxfs od Veritasu, ale je to spise na urovni volume manageru, nez filesystemu. Navic to neni zadarmo, takze to asi nebude to co chces.

[Tarmaq]

zkus misto

rm -rf /path/to/bordel/*

napsat jen

rm -rf /path/to/bordel/

Nejen ze by to melo byt o trochu rychlejsi, ale taky by to nemelo rvat "Argument is too long"

[chochi]

Na "Argument is too long" zarucene pomaha: echo /path/to/bordel/* | xargs rm (pokud z nejakych duvodu nechcete smazat cely adresar, napr. maska neni *)

[fsecko.je.jinak]

+ mozna v kombinaci taky s renice aby to melo nizsi prioritu a dalo se s tim PC behem mazani i delat.. A nebo ty logy proste radsi zapisovat do databaze.

[Heron]

To spíš ionice.

[cronin]

... co je zarucena kravina, lebo k expanzii hviezdicky dojde uz na prikazovom riadku, takze ak bol zoznam argumentov dlhy pre rm, tak bude dlhy aj pre echo. Da sa to zvladnut aj bez v jednom procese bez rury:

find /path/to/bordel/ -type f -delete

[linuxik]

hmm a co tohle

rm -r /path/to/bordel/ && mkdir /path/to/bordel/

Co se tyce filesystemu, tak neni moc na vyber EXT3 EXT4 XFS nebo Reiser. Ja osobne pouzivam vsude ext3, kdyz se zapnou sparvne featury, tak je rychly i v adresarich se spoustou souboru, nebo XFS pro velke datove disky.

[Heron]

Co takhle samostatný oddíl pouze pro ten logovací adresář? Lze též udělat FS uvnitř souboru a namountovat pomocí loop. Mazání by se pak udělalo jednoduše odpojením, vytvořením čistého souborového systému a připojením. Na mazání není optimalizovaný žádný systém souborů, odstřihnout adresář také není jen tak. Stále ty soubory zabírají bloky na FS a k jejich odstranění jednou dojít musí.

A nepoužívat MC, jak radili ostatní rm -rf adresar je mnohem rychlejší (--realy --fast ).

Pokud to lze ukládat to DB, máte myslím vyhráno. DELETE FROM nebude o moc rychlejší než mazání souborů, ale mazání celé tabulky (TRUNCATE) je dostatečně rychlá operace. S těmi volnými bloky si pak DB server poradí.

[fsecko.je.jinak]

nad tim specialnim fs v souboru jsem taky premyslel.. MC jsem pouzil jako jedine reseni ktere v tu chvili fungovalo .. :). Nicmene jsou to vlastni scripty, takze predelat to do sql neni neresitelne a bude spise vice nez uzitecne ..

jinak vsem diky za prispevky...

[pht]

Prosim doporucte mi nejaky jiny FS ktery by nemel problemy s mazanim

FAT

[Max]

16, nebo 32? :P
Zdar Max

[pht]

Imho je to jedno, asi podle velikosti disku.

[cronin]

Dlho netrvalo mazanie; dlho trvalo to, ze MC kazdy subor vypisoval do progress baru. Ten IO load nebol na disku, ale na konzole.