abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 05:55 | Nová verze

Po 10 týdnech vývoje od vydání Linuxu 5.2 oznámil Linus Torvalds vydání Linuxu 5.3 (LKML). Přehled nových vlastností a vylepšení na stránce Linux Kernel Newbies. Nově je například povolen síťový rozsah 0.0.0.0/8. Kódové jméno Linuxu 5.3 zůstává Bobtail Squid.

Ladislav Hagara | Komentářů: 2
dnes 04:44 | Komunita

Mozilla nabídne firmám placenou podporu Firefoxu. Cena by se měla pohybovat okolo 10 dolarů za podporovanou instalaci.

Ladislav Hagara | Komentářů: 2
13.9. 22:00 | Nová verze

Po roce a čtvrt od vydání verze 12.0 byla vydána verze 13.0 zvukového serveru PulseAudio. Přehled novinek v poznámkách k vydání. Zmínit lze například podporu Dolby TrueHD a DTS-HD Master Audia.

Ladislav Hagara | Komentářů: 2
13.9. 16:33 | Zajímavý projekt

Blockchainový projekt Tezos nedávno prošel procesem hard-forku a zrodil se nový projekt Dune Network. Držitelé XTZ tokenů si již bezpečně mohou vyzvednout své DUN tokeny a delegovat je na nějakou z veřejných Dune baker služeb jako je třeba Dune Whale.

Mark Stopka | Komentářů: 6
12.9. 23:33 | Komunita

Na Humble Bundle lze zdarma na Steamu získat Endless Space Collection, tj. počítačové hry Endless Space a Endless Space - Disharmony. Endless Space Collection je oficiálně pro Windows a macOS. Díky Protonu ale také pro Linux. Speciální akce končí v sobotu v 19:00.

Ladislav Hagara | Komentářů: 3
12.9. 20:44 | Bezpečnostní upozornění

Společnost AdaptiveMobile Security zveřejnila informace o možných útocích na SIM kartu. Útočník může pomocí SMS řídit SIM kartu a skrze ní mobilní telefon oběti. Více na stránce Simjacker.

Ladislav Hagara | Komentářů: 15
12.9. 19:44 | Nová verze

Po půl roce vývoje od vydání verze 3.32 bylo vydáno GNOME ve verzi 3.34 s kódovým názvem Thessaloniki. Videoukázka na YouTube. Vydání obsahuje 23 929 změn od přibližně 777 přispěvatelů. Přehled novinek i s náhledy v již přeložených poznámkách k vydání a v novinkách pro vývojáře a správce systémů.

Ladislav Hagara | Komentářů: 13
12.9. 11:22 | Pozvánky

Největší česká linuxácká akce LinuxDays 2019 má hotový program. Těšit se můžete na přednášky, workshopy, stánky a spoustu doprovodného programu. Zároveň s programem byla také spuštěna registrace účastníků, takže se můžete přihlašovat. Vstup je jako obvykle zdarma. Konference LinuxDays se uskuteční 5. a 6. října v pražských Dejvicích na FIT ČVUT.

Petr Krčmář | Komentářů: 7
11.9. 23:14 | Pozvánky

Spolu se společnou celosvětovou stávkou za klima proběhne 20. září také digitální stávka za klima, které se může snadno zúčastnit každý web. Česká odnož iniciativy podporuje akci Týden pro klima, v jejímž rámci probíhá mnoho aktivit po celé ČR. Zájemci o účast najdou dokumentaci a technickou podporu na českém webu akce.

milosk | Komentářů: 381
11.9. 22:11 | Komunita

Richard Hughes na svém blogu informuje, že se společnost Acer zapojila do projektu LVFS (Linux Vendor Firmware Service). Uživatelé zařízení od Aceru tak budou moci provádět aktualizace firmwarů přímo z Linuxu. Prvním podporovaným zařízením je notebookem Aspire A315. Přehled všech podporovaných zařízení na stránkách LVFS.

Ladislav Hagara | Komentářů: 0
Kdy jste naposledy viděli počítač s připojeným běžícím CRT monitorem?
 (23%)
 (2%)
 (12%)
 (31%)
 (30%)
 (2%)
Celkem 121 hlasů
 Komentářů: 15, poslední včera 16:45
Rozcestník

Dotaz: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam

2.4.2018 10:28 Jirka
Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
Přečteno: 599×
Ahoj, potřeboval bych projít všechny soubory ze zadaného adresáře a jeho podadresářů a pokud v obsahu souboru (ne v názvu) je zadané klíčové slovo, tak soubor přesunout do jiného umístění.
Nedaří se mi to, pokud název souboru obsahuje diakritiku, pomlčky nebo jiné nestandardní znaky, tak ho to vůbec nezpracuje.
Jak by se to mělo udělat správně, aby to procházelo všechny soubory nezávisle na jejich názvu a bylo to co nejrychlejší?
Díky

Odpovědi

2.4.2018 11:58 Kit | skóre: 43 | Brno
Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
Zřejmě jsi zapomněl dát uvozovky kolem názvů proměnných.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
2.4.2018 13:40 NN
Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
No a jak to teda mas ted?
2.4.2018 19:34 Jirka
Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
Ted to mam takhle - nefunguje:

searchFolder="$1"

destinationFolder="$2"

if [ -d "$searchFolder" ] && [ -d "$destinationFolder" ] ; then

cd "$searchFolder"

for f in $(find $searchFolder -type f) ; do

echo -e " \e[31mProcessing: $f\e[39m"

if grep -q "KLICOVE SLOVO" "$f" ; then

echo -e "\e[32m Found: $f\e[39m"

echo "===========mv=============="

mkdir --parents "$(dirname "$destinationFolder${f/$searchFolder}")"

mv "$f" "$(dirname "$destinationFolder${f/$searchFolder}")"

fi

done

else

echo "Bad arguments"

fi
2.4.2018 20:44 NN
Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
Par poznamek. Kdyz se presunes do searchFolder, tak find nic nenajde pokud nebude searchfolder uvedene celou cestou:
cd "$searchFolder"
for f in $(find $searchFolder -type f) ; do 
Ten mkdir by asi slo napsat jednoduseji:
mkdir --parents "$(dirname $destinationFolder/$f/$searchFolder)" 
Zase vystup $f u find je bez leading /, ale searchFolder muze byt s / nazacatku nebo bez a potom to bude problem. Takze toto nemusi uplne fungovat a to puvodni ma problem i u destinationFolder bez koncoveho /:
$destinationFolder/$f/$searchFolder
Pokud se nepletu tak tento grep bude fungovat na cely vystup find = celou cestu, ne jen na nazev souboru jako takovy, takze by to chtelo asi udelat jinak:
if grep -q "KLICOVE SLOVO" "$f" ; then
No a konecne napriklad rsync by to cele mohl zvladnout s dobrym filtrem na jeden radek..
rsync --include [regexp] /A /B
3.4.2018 14:32 Jirka
Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
To cd je tam zbytecne (pozustatek ze starsi verze), oba dva argumenty budou zadavany jako plna cesta, script se bude volat pres ssh z GUI rozhrani. Z toho duvodu nebude potreba resit osetreni uzivatelskych vstupu na serveru, kde script pobezi, to udela obsluzny program u klienta.

Nemuzu pouzit rsync, protoze ten neumi soubory jen presunout (Kopirovani a nasledne mazani je nekolikanasobne pomalejsi). Pri presunuti je take potreba zachovat adresarovou strukturu.

Cilem je, aby byl script co nejrychlejsi (bude prochazet cca 10TB dat) a nemel problemy s diakritikou a nazvy souboru/slozek zacinajicich "--".
wamba avatar 3.4.2018 21:45 wamba | skóre: 38 | blog: wamba
Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
Tak můžeš zkusit něco takového
rg -wl 'slovo' .|parallel mkdir -p ../jine_umisteni/{//}\; mv -t ../jine_umisteni/{//} -- {}
ale při 10TB to bude vždycky pomalé. Používá to ripgrep.
This would have been so hard to fix when you don't know that there is in fact an easy fix.
4.4.2018 15:25 Jirka
Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
Neudela to tu adresarovou strukturu v kazdem pripade? Potrebuju ji vytvorit jen u presunutych souboru, ne celou.
wamba avatar 4.4.2018 20:32 wamba | skóre: 38 | blog: wamba
Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
ne, udělá ji jen u těch, co se budou přesouvat
This would have been so hard to fix when you don't know that there is in fact an easy fix.
3.4.2018 23:35 Kit | skóre: 43 | Brno
Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
Zkus místo
for f in $(find $searchFolder -type f) ; do
...
done 
použít
find "$searchFolder" -type f -name "*.sh" -exec \
    grep -l 'KLICOVE SLOVO' '{}' + |
    while read f; do
        echo -e "\e[32m Found: $f\e[39m"
        destination="$(dirname "$destinationFolder${f/$searchFolder}")"
        mkdir --parents "$destination"
        mv "$f" "$destination"
    done
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
4.4.2018 15:42 Jirka
Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
Dekuji, zda se, ze to funguje. Pro uplnost cely kod:
searchFolder="$1"
destinationFolder="$2"
if [ -d "$searchFolder" ] && [ -d "$destinationFolder" ] ; then
  find "$searchFolder" -type f -exec \
    grep -l 'KLICOVE SLOVO' '{}' + |
    while read f; do
        echo -e "\e[32m Found: $f\e[39m"
        destination="$(dirname "$destinationFolder${f/$searchFolder}")"
        mkdir --parents "$destination"
        mv "$f" "$destination"
    done
else
  echo "Bad arguments"
fi
Jen mi prijdou zvlastni ty uvozovky na radku 8:

destination="$(dirname "$destinationFolder${f/$searchFolder}")"

Neni potom v uvozovkach jen dirname a zavorka na konci?
4.4.2018 17:10 Kit | skóre: 43 | Brno
Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
To jsem normálně opsal od tebe, protože to funguje podle předpokladu. Symbol $( přepíná kontext, takže dirname v uvozovkách není, ale za příslušnou ) už zase je - proto se musí na konci uvozovkou uzavřít.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
6.4.2018 15:31 Jirka
Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
Omlovam se, zmatl me zvyraznovac syntaxe.
4.4.2018 20:50 RM
Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
Dá se to udělat i v pajpě pomocí find, grep a xargs. Jen je trochu problém s tím vytvářením adresářů. No, já jsem to nakonec vymyslet takhle:
mkdirstdin(){ while read f; do mkdir --parents -- "$1${f%/*}"; printf "%s\n%s\n" "$f" "$1${f%/*}"; done; }
find  ./sourcedir -name "*.txt" -type f -exec grep -l 'najdivzor' {} \; | mkdirstdin /tmp/targetdir/ | xargs -P4 -L2 -d"\n" mv --
a zdá se že je to rychlejší, než zde uváděný skriptík. S ripgrep jsem to neporovnával (nemám zatím nainstalovaný rust).
wamba avatar 4.4.2018 22:00 wamba | skóre: 38 | blog: wamba
Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
U mě na adresáři z dokumenty je rozdíl výrazný. Přinejmenším bych nahradil, pokud jde o rychlost, kombinaci find, grep za grep -r.
[wamba@wamba-X220 Dokumentujo]$ time rg -uul 'slovo' | wc -l
19

real    0m0,162s
user    0m0,254s
sys     0m0,276s
[wamba@wamba-X220 Dokumentujo]$ time find  . -type f -exec grep -l 'slovo' {} \;|wc -l
19

real    0m55,467s
user    0m37,120s
sys     0m17,049s
[wamba@wamba-X220 Dokumentujo]$ time grep -rl 'slovo' |wc -l
19

real    0m0,512s
user    0m0,314s
sys     0m0,196s
This would have been so hard to fix when you don't know that there is in fact an easy fix.
4.4.2018 22:08 Kit | skóre: 43 | Brno
Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
grep -r je nepoužitelný, pokud nechceš prohledávat všechy soubory, např. chceš jen soubory s určitou příponou.

Také jsem si všiml, že jsi na konec příkazu find nedal +, ale \; , což je řádově pomalejší.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
6.4.2018 15:29 Jirka
Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
To by nevadilo, potrebuji prohledat vsechny soubory. Nakonec jsem zjistil, ze NAS, na kterem to chci spoustet, je malo vykonny, takze je rychlejsi prohledavat data vzdalene SMB pristupem z vykonnejsiho PC. V pripade vyrazneho zrychleni by se to ale pouzit dalo.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.