abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 12:00 | Zajímavý projekt

Projekt Termbox umožňuje vyzkoušet si linuxové distribuce Ubuntu, Debian, Fedora, CentOS a Arch Linux ve webovém prohlížeči. Řešení je postaveno na projektu HyperContainer. Podrobnosti v často kladených dotazech (FAQ). Zdrojové kódy jsou k dispozici na GitHubu [reddit].

Ladislav Hagara | Komentářů: 7
dnes 11:00 | Bezpečnostní upozornění

Byly zveřejněny informace o bezpečnostní chybě CVE-2016-8655 v Linuxu zneužitelné k lokální eskalaci práv. Chyba se dostala do linuxového jádra v srpnu 2011. V upstreamu byla opravena minulý týden [Hacker News].

Ladislav Hagara | Komentářů: 0
včera 22:00 | Komunita

Přibližně před měsícem bylo oznámeno, že linuxová distribuce SUSE Linux Enterprise Server (SLES) běží nově také Raspberry Pi 3 (dokumentace). Obraz verze 12 SP2 pro Raspberry Pi 3 je ke stažení zdarma. Pro registrované jsou po dobu jednoho roku zdarma také aktualizace. Dnes bylo oznámeno, že pro Raspberry Pi 3 je k dispozici také nové openSUSE Leap 42.2 (zprávička). K dispozici je hned několik obrazů.

Ladislav Hagara | Komentářů: 5
včera 06:00 | Zajímavý software

OMG! Ubuntu! představuje emulátor terminálu Hyper (GitHub) postavený na webových technologiích (HTML, CSS a JavaScript). V diskusi k článku je zmíněn podobný emulátor terminálu Black Screen. Hyper i Black Screen používají framework Electron, stejně jako editor Atom nebo vývojové prostředí Visual Studio Code.

Ladislav Hagara | Komentářů: 41
včera 06:00 | Zajímavý článek

I letos vychází řada ajťáckých adventních kalendářů. QEMU Advent Calendar 2016 přináší každý den nový obraz disku pro QEMU. Programátoři se mohou potrápit při řešení úloh z kalendáře Advent of Code 2016. Kalendáře Perl Advent Calendar 2016 a Perl 6 Advent Calendar přinášejí každý den zajímavé informace o programovacím jazyce Perl. Stranou nezůstává ani programovací jazyk Go.

Ladislav Hagara | Komentářů: 9
3.12. 16:24 | Nová verze

Byla vydána Mageia 5.1. Jedná se o první opravné vydání verze 5, jež vyšla v červnu loňského roku (zprávička). Uživatelům verze 5 nepřináší opravné vydání nic nového, samozřejmě pokud pravidelně aktualizují. Vydání obsahuje všechny aktualizace za posledního téměř půldruhého roku. Mageia 5.1 obsahuje LibreOffice 4.4.7, Linux 4.4.32, KDE4 4.14.5 nebo GNOME 3.14.3.

Ladislav Hagara | Komentářů: 17
3.12. 13:42 | Pozvánky

V Praze probíhá konference Internet a Technologie 16.2, volné pokračování jarní konference sdružení CZ.NIC. Konferenci lze sledovat online na YouTube. K dispozici je také archiv předchozích konferencí.

Ladislav Hagara | Komentářů: 0
2.12. 22:44 | Komunita

Joinup informuje, že Mnichov používá open source groupware Kolab. V srpnu byl dokončen dvouletý přechod na toto řešení. V provozu je asi 60 000 poštovních schránek. Nejenom Kolabu se věnoval Georg Greve ve své přednášce Open Source: the future for the European institutions (SlideShare) na konferenci DIGITEC 2016, jež proběhla v úterý 29. listopadu v Bruselu. Videozáznam přednášek z hlavního sálu je ke zhlédnutí na Livestreamu.

Ladislav Hagara | Komentářů: 25
2.12. 15:30 | Zajímavý projekt

Společnost Jolla oznámila v příspěvku Case study: Sailfish Watch na svém blogu, že naportovala Sailfish OS na chytré hodinky. Využila a inspirovala se otevřeným operačním systémem pro chytré hodinky AsteroidOS. Použita je knihovna libhybris. Ukázka ovládání hodinek na YouTube.

Ladislav Hagara | Komentářů: 18
2.12. 14:15 | Nová verze

Byla vydána verze 7.1.0 skriptovacího jazyka PHP používaného zejména k vývoji dynamických webových stránek. Jedná se o první stabilní verzi nejnovější větvě 7.1. Přehled novinek v dokumentaci. Podrobnosti v ChangeLogu. K dispozici je také příručka pro přechod z PHP 7.0.x na PHP 7.1.x.

Ladislav Hagara | Komentářů: 6
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 775 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: zpracování VELMI velkého množství souborů - rm, find, mv - omezení?

Pavel Čejka avatar 10.5.2004 19:29 Pavel Čejka | skóre: 28 | blog: tosinezaslouzijmeno
zpracování VELMI velkého množství souborů - rm, find, mv - omezení?
Přečteno: 1401×
Narazil jsem na drobný problém s příkazy rm, find a mv. Nedopatřením se mi na serveru nahromadilo více souborů, přibližně něco lehce přes 450000 (slovy: čtyřista padesát tisíc souborů) a potřebuju je přesunou, smazat a třídit. Tj. viz. subject - něco přesunout pomocí kombinace mv a find s parametrem ctime (případně cmin), něco smazat definitivně. Velikost adresáře se pohybuje okolo 16MB (šestnáct megabytů) a takových adresářů mám na disku několik. Velikost jednotlivých souborů nepřekračuje 1MB, většinou tak okolo 300kB. Jenomže se ukázalo, že všechny jmenované příkazy mají limit v počtu zpracovávaných souborů. Zatím nevím jaký, tím se budu zabývat později večer, ale ten limit je menší než malý zlomek výše uvedeného počtu (odhaduji na jednotky tisíc). Pakliže je limit překročen, ohlásí chybu (nepamatuji si přesně, u serveru nesedím) ve smyslu "příliš dlouhý seznam" - "list is too long", nebo tak nějak. Zkusil jsem soubory zpracovávat po částech zadáváním jména s častí nahrazenou otazníky, ale je to příliš zdlouhavé a za půl hodiny jsem zpracoval sotva 100000 souborů a to ještě ne moc efektivně. Ale to není zásadní, to se dá vyřešit skriptem a cyklem, který vytvoří jména souborů, která bude mazat ... Důležité je, aby se situace nemohla opakovat. Parametry stroje jsou: Pentium 4 HT 3GHz, 512MB DDR RAM, 480GB HDD (2x 250GB v stripu na SATA 150), 200GB PATA ... Na disku se soubory (raid) je ReiserFS. Distribuce Linuxu Gentoo 2004.0, poslední dva měsíce neaktualizovaná, jádro vanilla 2.6.3 pouze s potřebnými moduly. Otázka zní, setkali jste se s tímto problémem?
Za jakých okolností?
Jaký je limit zmiňovaných programů?
Je závislý na použitém filesystému?
Proč? Copak nestačí omezení volnou RAM?

Odpovědi

10.5.2004 19:33 Michal Čihař | skóre: 61 | blog: Bláboly | Praha
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
Je omezena maximální velikosti příkazové řádky (tuším 32kb), použij xargs (nejspíš v kombinaci s find).
Pavel Čejka avatar 10.5.2004 19:41 Pavel Čejka | skóre: 28 | blog: tosinezaslouzijmeno
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
Problém není v příkazové řádce. Kdyby byl, tak bych smazal možná nejvýše několik desítek souborů naráz, ale já jich smažu třeba 500 (což by vycházelo na cca 60 znaků na jméno souboru), jenže i tak jich tam mám skoro tisíckrát víc. Příklad příkazu, který jsem zadal:
rm cam10404*jpg ... nějak mi to nedochází, ale to asi nebude 32kB, že. Přece není možné, aby bylo množství zpracovávaných souborů omezeno na délku příkazové řádky? Tomu nechci věřit.
10.5.2004 19:46 unchallenger | skóre: 69 | blog: unchallenger
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
Možné to je docela dobře ;)
Pavel Čejka avatar 10.5.2004 19:51 Pavel Čejka | skóre: 28 | blog: tosinezaslouzijmeno
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
No jo, jenže tak veliké množství souborů se mi nahromadilo právě kvůli tomu, že limit byl tak nízko a jako první zkolaboval příkaz find (používal jsem ho k tomu, abych spolu s parametrem ctime vytřídil soubory starší jedné hodiny), pak už se to jen nabalovalo až to došlo do současného stavu.
10.5.2004 20:07 unchallenger | skóre: 69 | blog: unchallenger
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
Find tímto způsobem nemůže zkolabovat, protože find ty soubory prostě vypisuje na stdout. Právě jsem findem z legrace vypsal 800000 souborů (víc jich nemám po ruce ;) a nijak mu to neublížilo. Proč bys chtěl dávat findu 450000 souborů jako argumenty?

BTW ten limit je 32 stránek, což je 128 kB na i386. ./configure různých programů sice vypisuje 32 kB, ale jedna polovina je tím, že vypisuje záměrně poloviční hodnotu a druhá nejspíš tím, že nespouští built-in test shellu, ale externí...
10.5.2004 19:42 unchallenger | skóre: 69 | blog: unchallenger
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
Řada příkazů, které s tím počítají (např. tar) má také možnost načíst seznam souborů ze souboru -- mv, cp a rm mezi nimi tedy nejsou, ale u nich zase obvykle nebývá s xargs problém (u taru by byl).
10.5.2004 19:38 ivok
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
Pokud se nepletu, tak ten limit je 20kB a je to limit pro délku přikazové řádky shellu...

Jinak nezmiňujete příkaz xargs, pokud ho neznáte, mohl by vám pomoci. Pokud ani ten nepomůže, tak nevím :-)
Pavel Čejka avatar 10.5.2004 19:48 Pavel Čejka | skóre: 28 | blog: tosinezaslouzijmeno
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
Existenci xargs jsem skutečně přehlédl. Zrovna koukám do manuálu, ale ani tak nenacházím nic co by mohlo mít pozitivní vliv v mém případě, protože počet znaků lze tak akorát zmenšit, případně nastavit nejvýše do 20k (tisíc, nebo kilobytů? - nevím, asi kilobytů, ale i tak je to málo). Možná zvětšit počet řádek? Jenže příkaz zabírá jen jeden řádek a ještě velmi krátký.

Mohl bych to řešit nějakým cyklem v shellu, ale to se mi vůbec nelíbí, postrádá to eleganci.
10.5.2004 20:11 unchallenger | skóre: 69 | blog: unchallenger
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
xargs přece dělá ten cyklus.

find adresář -type f -print0 | xargs -0 rm

smaže všechny soubory v adresáři (adresáře nechá), i kdyby jich bylo deset milionů, a spustí si rm, kolikrát je zapotřebí.
Pavel Čejka avatar 11.5.2004 16:05 Pavel Čejka | skóre: 28 | blog: tosinezaslouzijmeno
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
Pro zajímavost:
Vytvořil jsem si adresář obsahující cca 17000 souborů, takže výrazně méně než bylo v původním, kde problém nastal a zkouším to na SuSE 8.2 skoro beze změn oproti defaultní instalaci.
  • ls - zobrazí obsah standartním způsobem
  • ls * - zobrazí chybu "bash: /bin/ls: Příliš dlouhý seznam argumentů"
  • find adresar - zavolaný z nadřazeného adresáře funguje korektně
  • find * - v adresáři s těmi 17000 soubory ohlásí chybu, viz. ls *
  • find adresar/* - stejně jako find *
  • find adresar | xargs -0 cat /dev/null - po odeslání ohlásí v podstatě stejnou chybu jako ls *, ale anglicky "xargs: arguments line too long", bez parametru -0 ohlásí "xargs: /bin/echo: terminated by signal 13" což je jak jsem si našel SIGPIPE "Broken pipe" - viz. man 7 signal
... takže to není zrovna to co by bylo možné akceptovat, ještě se tím budu zabývat. Evidentně to opravdu je omezením délky příkazového řádku, ale jak to obejít?
11.5.2004 16:24 Yeti
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
,Cokoli *` selže, tím se nemá smysl zabývat, na konkrétním příkazu nezáleží.

xargs -0 patří k -print0 u findu, pokud nepíšeš -print0, nepiš ani argument -0 xargsu

cat /dev/null má být cat >/dev/null?

IMHO děláš něco špatně, ale nepoznám co.

Vyrobil jsem si přes 19k souborů (prázdných) v jednom adresáři, celková délka jmen je přes 200 kB.

find | xargs cat

proběhne v pořádku a hned (nic nevypíše, protože jsou prázdné).

find | xargs echo | wc -l

proběhne v pořádku a hned a navíc se dozvím, že se echo spustilo dvacetkrát (bez wc je pěkně vypíše).

find -type f | xargs ls

je vypíše stejně dobře, a pomocí

find -type f | xargs rm

jsem je zase všechny smazal.

Zkrátka všechno funguje, jak má. Porucha je zřejmě na vašem přijímači...
11.5.2004 16:27 Peter Golis | skóre: 53 | Bratislava
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
>find adresar | xargs -0 cat /dev/null -
zeby:
find adresar | xargs -i echo rm -v {}
ja som to pouzival takto ;-?
11.5.2004 16:44 Leoš Literák | skóre: 74 | blog: LL | Praha
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
ja radsi:

find . -exec rm {} ";"

Jo, to je klasicky Unix - urcite se najde dalsich X lidi, ktery popisi sve oblibene triky, jak dosahnout efektivne tehoz. Tomu rikam svoboda volby! :-)
Zakladatel tohoto portálu. Twitter, LinkedIn, blog, StackOverflow
12.5.2004 12:32 Pavel Čejka
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
Něco podobného mi už funguje taky. Postupně jsem se dopracoval k např. find $SOURCEDIR -type f -exec mv {} $TARGETDIR \;
find $SOURCEDIR -type f -exec -name "jmé*boru" mv {} $TARGETDIR \;
12.5.2004 12:37 Yeti
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
Proč ne

find $SOURCEDIR -type -f | xargs mv --target=directory=$TARGETDIR

o kterém jsem tu psal už dávno?
11.5.2004 17:30 Zaphod | skóre: 36
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
xargs odovzda cely retazec volanemu programu, preto znovu ta ista chyba. Malo by pomoct
find adresar -print0 | xargs -0 -l1 cat >/dev/null
- xargs odovzda volanemu programu iba jeden parameter

pripadne pre zrychlenie skusat co prikazovy riadok znesie (-l=20, 50, 100?)
11.5.2004 17:45 Michal Marek (twofish) | skóre: 55 | blog: { display: blog; } | Praha
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
Minimalne GNU xargs se chova chytre a spousti procesy s takovou delkou radky, aby se to veslo do limitu. Ale kdyz nekdo zada ze parametry budou oddelene nulou a pak tam nacpe nekolik MB dlouhy retezec bez nuly, tak je to problem...
11.5.2004 22:46 Petr Mika | skóre: 8
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
Problem je v tomto pripade spusobeny expansi vyrazu

pokud hledate soubory pomoci napr. hvezdickove konvence *blabla provede se to ze shell se snazi vyhledat veskere odpovidajici zaznamy a tepve pote z nich vytvori seznam parametru ktery predava spoustenemu programu, tedy napr.

mv 1* nekde/jinde/

provede to ze se shell snazi najit vsechny odpovidajici soubory a ty potom tlaci prikazu mv jako spoustu parametru, pote spusteni zkape prave na tom ze seznam argumentu je prilis dlouhy

pokud potrebujete zpracovat velke mnozstvi soubru v zavislosti na nejakych pravidlech, napr.:

1. vsechny nulove soubory smazat

2. vsechny soubory mezi 1K a 1Mb presunout do slozky aaa/

3. vsechny soubory vetsi nez 1Mb zabalit a presunout do slozky bbb/

tak nejlip asi udelate pokud si pro kazde pravidlo napisete odpovidajici sekvenci pro find a pouzijete parametr -exec
12.5.2004 08:20 unchallenger | skóre: 69 | blog: unchallenger
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
Může mi někdo vysvětlit, proč tu tolik lidí tvrdošíjně doporučuje -exec, když xargs udělá obvykle totéž, jenže lépe, protože ten program spustí jen tolikrát, kolikrát je zapotřebí, a ne na každý soubor zvlášť?

-exec je krajní řešení pro situace, kdy nejde použít rouru, ať už přes xargs nebo přes něco jiného (nebo kdy je zapotřebí otestovat soubor způsobem, který find sám neumí).

Všechny nulové soubor smazat:

find adr -type f -size 0c | xargs rm

Všechny soubory mezi 1kB a 1MB přesunout do adresáře aaa:

find adr -type f -size +1k -size -1024k | xargs mv --target-directory=aaa

Všechny soubory větší než 1MB zabalit a přesunout do adresáře bbb:

find adr -type f -size +1024k | tar -cf bbb/archiv.tar -T -
12.5.2004 10:17 Tomas
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení?
#!/bin/bash
find . -name '*.dat' -ctime 1 | \
 while read fname ; do 
   echo $fname
   # libovolne dalsti testy a operace s $fname 
 done
lze případně přímo napsat na jeden (delší) příkazový řádek
12.5.2004 12:44 Michal Marek (twofish) | skóre: 55 | blog: { display: blog; } | Praha
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
Chudak Yeti :)

Navic tohle selze na soubory s mezerou nebo tab v nazvu a na soubory s newline v nazvu to spusti telo toho cyklu na kazdou radku nazvu zvlast.

Hint: find -print0 | xargs -0
12.5.2004 12:48 Yeti
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení
Já asi tento thread vzdávám... aspoň že zatím nikdo nepřišel s třicetiřádkovým skriptem v bashi [nedokonale] emulujícím find... ;-)
12.5.2004 12:47 Pavel Čejka
Rozbalit Rozbalit vše Re: zpracování VELMI velkého množství souborů - rm, find, mv - omezení?
Díky všem, pochopeno, problém vyřešen.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.