Dotaz: Jak spustit v bashi dva procesy najednou (paralelně)

[Myšpulín]

Mám skript na zpracování souborů a potřeboval bych udělat, aby to spustilo dva procesy nejednou a ne aby to čekalo až jeden zkončí a pak to pustilo druhý. Chtěl bych pustit paralelně dvě smyčky, které by mi provedly konverzi wav souborů na mp3 pralelně ve dvou adresářích (kvůli úspoře času). Obávám se, že když ve smyčkách pustím proces na pozadí, tak mi to vytvoří najednou tolik procesů, kolik je v adresáři souborů. Nevíte někdo, jak na to? Děkuji

---

---

Odpovědi

[Messa]

Pustit něco na pozadí můžeš pomocí ampersandu (&), jak ses jistě dočetl v man stránce bashe.

[Myšpulín]

No to jo, ale co to udělá ve smyčce typu for i in *.wav? Nespustí to náhodou počet procesů odpovídající počtu wav souborů? To by mi zahltilo pc. Potřebuji nějak udělat, aby to spustilo dvě úlohy najednou a ne aby to čekalo až první skončí a pak spustilo druhou. Nebo jak by se dalo ošetřit, aby se třetí proces spustil až ty první dva skončí?

[Messa]

To záleží na tom, jak na to půjdeš. Říkáš převést mp3 ve dvou adresářích, jo?

(for x in prvniadresar/*; do prevednamp3 "$x"; done) & for x in druhyadresar/*; do prevednamp3 "$x"; done; wait

[Myšpulín]

Tohle vypadá celkem zajímavě. Jen bych potřeboval trochu ujasnit několik věcí. Proč je mezi těmi dvěma cykly jen jenen & ? Všude jsem četl, že pro řetězení příkazů se používají dva. Proč v není druhá smyčka v závorkách? A jakou funkci plní wait? Čeká až doběhne smyčka? Něco takového by mi asi stačilo.

[cronin]

Precitaj si manual! Jeden ampersand nie je to iste co dva. Zatial co dva su logicky AND (druhy prikaz sa spusti iba ak prvy skoncil uspechom), jeden ampersand prave spusta prikaz na pozadi.

[Messa]

Závorka má za důsledek spuštění v ní uvedených příkazů v novém procesu bashe. Za tím je ampersand, aby se nečekalo na dokončení tohoto procesu. Pak je druhý cyklus, který probíhá v aktuálním procesu (netřeba spouštět nový), a na konci wait, aby se případně počkalo na proces s prvním cyklem, pokud ještě nedoběhl.

[kulik]

No tak jak to popisujes to staci pustit skript na pozadi dvakrat, pro kazdy adresar jednou. Pripadne pokud nechces dva adresare muzes sestavit seznam souboru a predchodit jednomu procesu liche a druhemu sude. Nejsou to optimalni postupy (jeden proces ti muze skoncit driv a ve zbytku casu uz pojede jen jeden), ale jsou relativne jednoduche.

[marek]

Dobry den.

Napsal jsem si na podobne pripay mustr:

#!/bin/bash
POTOMKU=5 #tady se nastavyje kolik tam potomku
TMPFILE="$(mktemp -t -d ${0/*\//}.XXXXXXXXXX)" || exit 1
mkfifo "$TMPFILE/fifo"
#Ted bychom meli mit fifo v nasem tempu

#Napoustime si potomky
for ((y=1;y<=${POTOMKU};y++))
do
        while i=$(cat "$TMPFILE/fifo" 2> /dev/null)
        do
                [ "${i}" ] && (
                #VASE FUNKCE
                echo  "${y}->${i}<-"
                )
        done &
done
#Ze standartniho vstupu cteme po radcich a cpeme jednotlive do fifo
while read radka; do
        echo ${radka} > "$TMPFILE/fifo"
        sleep 0 #zpozdeni je nutno naladit, aby to predavalo potomkum pokud mozno po jednom radku, me staci ta nula
done
#pockame si, az se postupne dostanou vsechny potomci do faze, kdy cekaji na cat a tam je zabijeme
ps --ppid $$ -o "%p %c" --no-headers | sed -e "s/\([0-9]\+\) ${0/*\//}$/\1/ p" -ed |\
while read i; do
        until   kill $(ps --ppid "$(ps --ppid ${i} -o "%p" --no-headers)" -o "%p %c" --no-headers | sed -e "s/\([0-9]\+\) cat$/\1/ p" -ed) 2>/dev/null; do sleep 0.1; done
done
wait
rm "$TMPFILE/fifo"
rmdir $TMPFILE

Ma to ale nekolik ALE:

VASE FUNKCE musi ucekavat, ze prijde vice nez jeden radek. - je tam proste jednoduse neresitelna race condition

Je to radkove orientovano - souborovy system ale povoluje vyceradkove nazvy souboru.

Vyplati se to jen nekdy .....

ocekava to na stdin, takze to spustite treba: ls ../ | ./worker, pokud si to teda nazvete worker

Marek

[pht]

To je dobré, ale ten make to dělá přecejen líp a jednodušeji.

Cca takto:

WAV=$(wildcard *.wav)
MP3=$(WAV:.wav=.mp3)
LAMEOPTS=--preset studio

all: $(MP3)

%.mp3: %.wav
        @echo '$@'
        @lame $(LAMEOPTS) $< $@

Pak třeba:

cd wavy; make -f /moje/Makefile -j 2

[dustin]

Jojo, make umí spoustu užitečných věcí, jenom je boj pokaždé studovat, jak se ty vychytávky do makefilu přesně zapisují.

[Bedňa]

Možno sa mýlim, ale má zmysel nejaké lepšie fjučúry ešte písať v bashy? Potom sú tie skripty fakt škaredé a keď sa k ním časom vrátiš, už ani nevieš čo je to a prečo je tam ten divný znak.

[chrono]

Problém, že človek nevie, čo presne niektoré riadky robia, môže nastať v čomkoľvek (a nie len v Bash skriptoch).

[Bedňa]

Ja som skôr narážal na syntax bashu, ak je tam niečo zlotejšie, tak to vyzerá fakt dosť hnusne.

[AraxoN]

Čo je hnusné a čo nie - to je subjektívna záležitosť.

[Ash]

Smysl to má. Zkuste perl, Bash vám pak bude připadat přehledný.

[Bedňa]

V rámci naučenia sa Perlu som pred pár rokmi spravil jednoduchý web a syntax mi nepripadala neprehľadná, asi je to fakt vec vkusu.

[chrono]

Možno by sa dal použiť program make (otázne je, či sa ale oplatí vytvárať univerzálnejší súbor Makefile, hlavne ak ide o jednorázovú konverziu).

[graviton]

[cosi co generuje seznam souboru] | xargs -P 2 -n 1 preved_na_mp3.sh

vylepseni: generujici cosi je find s -print0, xargs ma navic jeste -0 (resi ruzne mezery a jine uchylne znaky v nazvech)