Dotaz: Shell program problém s rychlosti příkazu ls -c

[Lukas]

Dobrý den,

potřebuji vytvořit program který vymaže x nejstarších souborů. Zkusil jsem

rm -f $(ls *.jpg -c | head -n500)

Příkaz funguje dobře, jen do doby než vzroste počet souborů v dané složce. Program spouštím na routeru, který nemá výkonu na rozdávání. Už při cca. 5000 souborech je toto řešení nepoužitelné - router se zahltí a sám se restartuje. :(.

Nevíte, prosím, někdo jak by toto šlo řešit elegantněji a hlavně s menší zátěží systému?

Předem děkuji

---

---

Odpovědi

[Petr Šobáň]

Nebude lepší hledat soubory pomocí find a mazat soubory starší jak X.Y ?

Potom určitě za jeden den se jich nebude mazat 500 a měl by to stíhat ?

[Lukas]

Na to jsem taky myslel, ale doufal jsem v nejake lepsi reseni. Rad bych mazal nejstarsi soubory, nikoliv starsi nez x dni.

[Michal Kubeček]

To zadání je opravdu zvláštní a tak trochu mi zavání domácím úkolem. Chápal bych, kdybyste si chtěl nechat n nejnovějších, ale v mazání n nejstarších při nejlepší vůli smysl nevidím.

[Lukas]

Děkuji za rady. Abych osvětlil můj záměr. Mám kameru, která ukládá data (jpg obrázky) na usb disk připojený k routeru. Kamera ukládá co sekundu jeden soubor. Napsal jsem program, který při 90% zaplnění disku odmaže nejstarší soubory. Narážím ale na velkou náročnost operací s tak velkým počtem souborů.

:(

[Michal Kubeček]

V tom případě bych to asi řešil tak, že si odhadnete, kolik obrázků si můžete (s nějakou rezevou) dovolit na disku mít, a budete podle toho mazat obrázky starší než určitý vhodně zvolený interval. Podle toho, co píšete, se obrázky generují konstantním tempem a jejich velikost asi také půjde celkem dobře odhadnout, takže nebude problém to naplánovat. Pokud navíc nebudete obrázky ukládat do jednoho obřího adresáře, ale budete je třídit do podadresářů třeba po hodinách, obejdete se i bez toho prohledávání (prostě smažete celý příslušný adresář).

[Lukas]

Jeste pro doplneni, ocekavam az 50 000 souboru v dane slozce :(

[Matlák]

find je o mnoho rychlejší než ls nad velkým počtem souborů..

[branchman]

Preco by mal byt? (pytam sa len preto, ze by som nedokazal napisat rychlejsi find ako ls a ani ma nenapada nejaka rozumna optimalizacia, ktora by u findu fungovala a u ls nie)

[l4m4]

find nic netřídí.

[Kit]

find třídí, ale neřadí.

[l4m4]

Ano, děkuji.

[Michal Kubeček]

Protože find neřadí, takže to zvládne na jeden průchod. Oproti tomu ls defaultně výsledky řadí, což je náročnější na čas i na paměť. Při takovémto (poněkud zvláštním) zadání to ale bez řazení (aspoň částečného) nepůjde.

[branchman]

Podla mna sa router nezahlti; shell len moze mat problem s riadkom dlhsim ako napr. 10 000 znakov (to sa deje pri expanzii v ls a potom pri predavani do rm). Preto by som skusil namiesto spominaneho skusil nieco ako ls . -c | grep ".jpg$" | head -n500 | xargs rm -f (pozor, najskor si to precitaj a skus na test datach, za nic nerucim).

[branchman]

Pisal som ze za nic nerucim, tak tu mam opravu po pohlade na kod: ls . -c | grep '\.jpg$' | head -n500 | xargs rm -f

[Lukas]

Toto take vede k resetu routeru - kdyz sleduji TOP tak se postupne zaplnuje pamet az se to otoci

[Michal Kubeček]

ls . -c

Tohle nešťastný zlozvyk, který byste se měl ve vlastním zájmu odnaučit. Jinak se budete divit, až jednou budete na systému s nastavenou proměnnou POSIXLY_CORRECT nebo na takovém, který se chová korektně i bez ní.

[branchman]

Ked myslite tu prehodenu bodku a -c, tak to som (bohuzial bez rozmyslania) kopiroval z toho povodneho, kedze tam to funguje. Alebo je tam iny problem?

[Michal Kubeček]

Ano, myslel jsem ten přepínač na konci. Přehlédl jsem, že je to tak už v původním příspěvku, jinak bych reagoval přímo na něj.

[Lukas]

Děkuji za rady. Abych osvětlil můj záměr. Mám kameru, která ukládá data (jpg obrázky) na usb disk připojený k routeru. Kamera ukládá co sekundu jeden soubor. Napsal jsem program, který při 90% zaplnění disku odmaže nejstarší soubory. Narážím ale na velkou náročnost operací s tak velkým počtem souborů.

:(

[branchman]

Ak bezi ta kamera nonstop, tak by sa dalo lahko odpocitat, kolko poslednych obrazkov je treba a pouzit find na zmazanie ostatnych.

[Lukas]

Tak asi nakonec skoncim u find /mnt/Data -name "*.jpg" -mtime +10 -print | xargs rm Na projiti 10 000 souboru to ale i tak potrebuje 20minut. Budu asi muset vymyslet nejake sofistikovanejsi reseni. Vsem moc dekuji

[Kit]

Řešení už bylo naznačeno: Například každou hodinu vytvořit nový podadresář a data ukládat do něj. Při nedostatku místa smazat nejstarší podadresář.

[Lukas]

Ano, všem moc děkuji. Tímto je problém vyřešen :)