abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

    včera 23:36 | Nová verze
    Student kyberbezpečnosti na SSPŠ vydal verzi 1.0.1 distribuce LuxOS, která stojí na Arch Linuxu a pod povrchem používá Xfce upravené do podoby macOS. … více »
    Luxopes | Komentářů: 5
    včera 21:02 | Zajímavý software
    Open source projekt BUI zpřístupňuje legendární, bleskurychlé a optimalizované uživatelské rozhraní 3D editoru Blender coby samostatnou GUI knihovnu pro jazyky Python, Rust, JavaScript a C/C++, případně pro knihovnu Dear ImGui. … více »
    👻 | Komentářů: 0
    včera 20:31 | Zajímavý software
    Vývoj je pomalý, ale desktopové prostředí MATE je stále živé. Podľa správy z OSNews.com tu máme nový správca okien pre MATE. Viac informácií nájdeš na GitHub stránke Polo od autora KeremSoke. Je to naozaj skvelá správa pre používateľov MATE a aj vybrané meno Polo podľa Marca Pola je cool.
    lukve | Komentářů: 0
    včera 08:57 | Komunita

    Skotský vývojář Mike Lothian pozastavil vývoj svého otevřeného ovladače Vino (nedostupné) pro dokovací stanice DisplayLink poté, co mu Synaptics v reakci na žádost o pomoc pohrozil žalobou kvůli údajnému porušování patentů. Firma nejprve předložila seznam 125 patentů bez specifikace, které konkrétně měl ovladač porušovat, a následně požadovala 25 tisíc dolarů za náklady na jejich přiřazení ke kódu s hrozbou, že se tato částka bude

    … více »
    👻 | Komentářů: 9
    19.11. 20:14 | Zajímavý software
    RunWisp je jedna Go binárka, ktorá spúšťa crony aj udržiava dlho bežiace procesy z jedného TOML súboru. Pri každom behu si uloží logy, exit code, trvanie, využitie CPU a RAM a všetko sa dá pozrieť vo webovom rozhraní alebo v TUI už počas behu. Vie poslať notifikácie na Slack, Discord, Telegram, na telefón atď. Licencia GPL-3.0, funguje na Linuxe, macOS aj WSL.
    Riki | Komentářů: 4
    19.11. 20:12 | Zajímavý software
    BenchUp (původně KetchUp) je open-source alternativa k proprietárnímu software SketchUp, zaměřená především na 3D návrh nábytku a práci se dřevem. Tento editor funguje v prohlížeči i jako desktopová aplikace pro Linux, Windows a macOS. Zdrojový kód projektu (převážně Rust) je dostupný na GitHubu, pod licencí MIT.
    👻 | Komentářů: 10
    19.11. 20:09 | Pozvánky
    Pražský MobileLinux Hackday je zpět, tentokrát už s devátým pokračováním! Už tento pátek 20. listopadu od 10:00 se opět sejdeme v Praze v SUSE. Přijďte si popovídat o Linuxu na telefonech, poslechnout si pár krátkých přednášek a hlavně si společně něco rozběhat, opravit nebo naprogramovat.… více »
    lkocman | Komentářů: 0
    19.11. 20:04 | Humor
    Po serii zero-day zranitelností vyšla nejfatálnější zranitelnost všech dob s CVSS 10.0. Autoři nálezu jí pojmenovali sleep2shell a týká se všech systémů.
    Max | Komentářů: 16
    8.11. 00:33 | Nová verze

    Byla vydána OpenIndiana 2026.10. Unixový operační systém OpenIndiana (Wikipedie) vychází z OpenSolarisu (Wikipedie).

    Ladislav Hagara | Komentářů: 23
    8.11. 00:22 | IT novinky

    Americký výrobce polovodičů onsemi (ON Semiconductor) zrušil plány na rozšíření výroby v rožnovském závodě v Česku za dvě miliardy dolarů (podle aktuálního kurzu zhruba 43,5 mld. Kč). Důvodem je vývoj na trhu.

    Ladislav Hagara | Komentářů: 76
    Které desktopové prostředí na Linuxu používáte?
     (8%)
     (7%)
     (4%)
     (21%)
     (30%)
     (9%)
     (5%)
     (2%)
     (14%)
     (20%)
    Celkem 3079 hlasů
     Komentářů: 36, poslední 11.11. 22:38
    Rozcestník

    Dotaz: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam

    2.4.2018 10:28 Jirka
    Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
    Přečteno: 798×
    Ahoj, potřeboval bych projít všechny soubory ze zadaného adresáře a jeho podadresářů a pokud v obsahu souboru (ne v názvu) je zadané klíčové slovo, tak soubor přesunout do jiného umístění.
    Nedaří se mi to, pokud název souboru obsahuje diakritiku, pomlčky nebo jiné nestandardní znaky, tak ho to vůbec nezpracuje.
    Jak by se to mělo udělat správně, aby to procházelo všechny soubory nezávisle na jejich názvu a bylo to co nejrychlejší?
    Díky

    Odpovědi

    2.4.2018 11:58 Kit | skóre: 46 | Brno
    Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
    Zřejmě jsi zapomněl dát uvozovky kolem názvů proměnných.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    2.4.2018 13:40 NN
    Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
    No a jak to teda mas ted?
    2.4.2018 19:34 Jirka
    Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
    Ted to mam takhle - nefunguje:

    searchFolder="$1"

    destinationFolder="$2"

    if [ -d "$searchFolder" ] && [ -d "$destinationFolder" ] ; then

    cd "$searchFolder"

    for f in $(find $searchFolder -type f) ; do

    echo -e " \e[31mProcessing: $f\e[39m"

    if grep -q "KLICOVE SLOVO" "$f" ; then

    echo -e "\e[32m Found: $f\e[39m"

    echo "===========mv=============="

    mkdir --parents "$(dirname "$destinationFolder${f/$searchFolder}")"

    mv "$f" "$(dirname "$destinationFolder${f/$searchFolder}")"

    fi

    done

    else

    echo "Bad arguments"

    fi
    2.4.2018 20:44 NN
    Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
    Par poznamek. Kdyz se presunes do searchFolder, tak find nic nenajde pokud nebude searchfolder uvedene celou cestou:
    cd "$searchFolder"
    for f in $(find $searchFolder -type f) ; do 
    
    Ten mkdir by asi slo napsat jednoduseji:
    mkdir --parents "$(dirname $destinationFolder/$f/$searchFolder)" 
    
    Zase vystup $f u find je bez leading /, ale searchFolder muze byt s / nazacatku nebo bez a potom to bude problem. Takze toto nemusi uplne fungovat a to puvodni ma problem i u destinationFolder bez koncoveho /:
    $destinationFolder/$f/$searchFolder
    
    Pokud se nepletu tak tento grep bude fungovat na cely vystup find = celou cestu, ne jen na nazev souboru jako takovy, takze by to chtelo asi udelat jinak:
    if grep -q "KLICOVE SLOVO" "$f" ; then
    
    No a konecne napriklad rsync by to cele mohl zvladnout s dobrym filtrem na jeden radek..
    rsync --include [regexp] /A /B
    
    3.4.2018 14:32 Jirka
    Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
    To cd je tam zbytecne (pozustatek ze starsi verze), oba dva argumenty budou zadavany jako plna cesta, script se bude volat pres ssh z GUI rozhrani. Z toho duvodu nebude potreba resit osetreni uzivatelskych vstupu na serveru, kde script pobezi, to udela obsluzny program u klienta.

    Nemuzu pouzit rsync, protoze ten neumi soubory jen presunout (Kopirovani a nasledne mazani je nekolikanasobne pomalejsi). Pri presunuti je take potreba zachovat adresarovou strukturu.

    Cilem je, aby byl script co nejrychlejsi (bude prochazet cca 10TB dat) a nemel problemy s diakritikou a nazvy souboru/slozek zacinajicich "--".
    wamba avatar 3.4.2018 21:45 wamba | skóre: 38 | blog: wamba
    Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
    Tak můžeš zkusit něco takového
    rg -wl 'slovo' .|parallel mkdir -p ../jine_umisteni/{//}\; mv -t ../jine_umisteni/{//} -- {}
    
    ale při 10TB to bude vždycky pomalé. Používá to ripgrep.
    This would have been so hard to fix when you don't know that there is in fact an easy fix.
    4.4.2018 15:25 Jirka
    Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
    Neudela to tu adresarovou strukturu v kazdem pripade? Potrebuju ji vytvorit jen u presunutych souboru, ne celou.
    wamba avatar 4.4.2018 20:32 wamba | skóre: 38 | blog: wamba
    Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
    ne, udělá ji jen u těch, co se budou přesouvat
    This would have been so hard to fix when you don't know that there is in fact an easy fix.
    3.4.2018 23:35 Kit | skóre: 46 | Brno
    Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
    Zkus místo
    for f in $(find $searchFolder -type f) ; do
    ...
    done 
    použít
    find "$searchFolder" -type f -name "*.sh" -exec \
        grep -l 'KLICOVE SLOVO' '{}' + |
        while read f; do
            echo -e "\e[32m Found: $f\e[39m"
            destination="$(dirname "$destinationFolder${f/$searchFolder}")"
            mkdir --parents "$destination"
            mv "$f" "$destination"
        done
    
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    4.4.2018 15:42 Jirka
    Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
    Dekuji, zda se, ze to funguje. Pro uplnost cely kod:
    searchFolder="$1"
    destinationFolder="$2"
    if [ -d "$searchFolder" ] && [ -d "$destinationFolder" ] ; then
      find "$searchFolder" -type f -exec \
        grep -l 'KLICOVE SLOVO' '{}' + |
        while read f; do
            echo -e "\e[32m Found: $f\e[39m"
            destination="$(dirname "$destinationFolder${f/$searchFolder}")"
            mkdir --parents "$destination"
            mv "$f" "$destination"
        done
    else
      echo "Bad arguments"
    fi
    
    Jen mi prijdou zvlastni ty uvozovky na radku 8:

    destination="$(dirname "$destinationFolder${f/$searchFolder}")"

    Neni potom v uvozovkach jen dirname a zavorka na konci?
    4.4.2018 17:10 Kit | skóre: 46 | Brno
    Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
    To jsem normálně opsal od tebe, protože to funguje podle předpokladu. Symbol $( přepíná kontext, takže dirname v uvozovkách není, ale za příslušnou ) už zase je - proto se musí na konci uvozovkou uzavřít.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    6.4.2018 15:31 Jirka
    Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
    Omlovam se, zmatl me zvyraznovac syntaxe.
    4.4.2018 20:50 RM
    Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
    Dá se to udělat i v pajpě pomocí find, grep a xargs. Jen je trochu problém s tím vytvářením adresářů. No, já jsem to nakonec vymyslet takhle:
    mkdirstdin(){ while read f; do mkdir --parents -- "$1${f%/*}"; printf "%s\n%s\n" "$f" "$1${f%/*}"; done; }
    find  ./sourcedir -name "*.txt" -type f -exec grep -l 'najdivzor' {} \; | mkdirstdin /tmp/targetdir/ | xargs -P4 -L2 -d"\n" mv --
    
    a zdá se že je to rychlejší, než zde uváděný skriptík. S ripgrep jsem to neporovnával (nemám zatím nainstalovaný rust).
    wamba avatar 4.4.2018 22:00 wamba | skóre: 38 | blog: wamba
    Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
    U mě na adresáři z dokumenty je rozdíl výrazný. Přinejmenším bych nahradil, pokud jde o rychlost, kombinaci find, grep za grep -r.
    [wamba@wamba-X220 Dokumentujo]$ time rg -uul 'slovo' | wc -l
    19
    
    real    0m0,162s
    user    0m0,254s
    sys     0m0,276s
    [wamba@wamba-X220 Dokumentujo]$ time find  . -type f -exec grep -l 'slovo' {} \;|wc -l
    19
    
    real    0m55,467s
    user    0m37,120s
    sys     0m17,049s
    [wamba@wamba-X220 Dokumentujo]$ time grep -rl 'slovo' |wc -l
    19
    
    real    0m0,512s
    user    0m0,314s
    sys     0m0,196s
    
    This would have been so hard to fix when you don't know that there is in fact an easy fix.
    4.4.2018 22:08 Kit | skóre: 46 | Brno
    Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
    grep -r je nepoužitelný, pokud nechceš prohledávat všechy soubory, např. chceš jen soubory s určitou příponou.

    Také jsem si všiml, že jsi na konec příkazu find nedal +, ale \; , což je řádově pomalejší.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    6.4.2018 15:29 Jirka
    Rozbalit Rozbalit vše Re: Bash - projit vsechny soubory v podadresarich a pokud obsahuji klic. slovo, presunout jinam
    To by nevadilo, potrebuji prohledat vsechny soubory. Nakonec jsem zjistil, ze NAS, na kterem to chci spoustet, je malo vykonny, takze je rychlejsi prohledavat data vzdalene SMB pristupem z vykonnejsiho PC. V pripade vyrazneho zrychleni by se to ale pouzit dalo.

    Založit nové vlákno • Nahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.