Dotaz: pid hlavního procesu na pozadí

[MilanC]

Ahoj,

ve svém skriptu mám následující volání (zjednodušeno, vypuštěné parametry pro encoding...)

sudo -u $DAEMONUSER ffmpeg -loglevel quiet -i $source -vn ... \ -f mpegts - | sudo -u $DAEMONUSER ffmpeg -loglevel quiet \ -f mpegts -i - -c copy ... $dst $index \ -f mpegts -c copy -f mpegts udp://@$udp_dst & echo $! > $PIDFILE

Podle všeho se mi takto do $PIDFILE uloží číslo až toho podřízeného procesu, úpotřebuji ale toho hlavního, abych to v případě potřeby mohl sestřelit jedním killem komplet.

Zkoušel jsem to hodit za první ffmpeg, tj. těsně před pajpu dávám & echo $! > $PIDFILE A za celým příkazem jsem nechal & (zkoušeno i bez), výsledkem je vypisování non ASCII znaků do konzole. Nemůžu na to přijít. :(

Děkuji.

---

---

Odpovědi

[MilanC]

Ještě jednou pro lepší čitelnost...

sudo -u $DAEMONUSER ffmpeg -loglevel quiet -i $source -vn ... \
 -f mpegts - | sudo -u $DAEMONUSER ffmpeg -loglevel quiet \
 -f mpegts -i - -c copy ... $dst $index \
 -f mpegts -c copy -f mpegts udp://@$udp_dst & echo $! > $PIDFILE

[RM]

Hádám, že to sestřelí jen poslední ffmpeg a předchozí běží vesele dál. Pokud používáte bash, pak by mohlo být řešením

${PIPESTATUS[@]}

což vám vrátí všechny PID procesů, které jsou spojené rourou. Ty pak pozabíjíte jedním killnutím.

Bez bashe je zjištění všech PID složitější -- vyžaduje větší znalost file deskriptorů. Přičemž bude takové řešení výrazně nepřehlednější (pokud to má být stále one-liner). Další způsob (méně spolehlivý) je: zjistit poslední PID pomocí !$ (tak jak to máte) a pomocí utilitky ps a programu awk nebo sed si vytáhnout všechny PID u stejného subprocesu.

[RM]

Beru zpět. ${PIPESTATUS[@]} vám vrátí jen status 0 1 a ne PID. Tím to tedy nepůjde.

[RM]

Tady jsou různá řešení. Řešení 4 je ono zmíněné s file deskriptory, které byste mohl použít jako one-liner.

[RM]

V bashi použijte ${PIPEPID[@]}. Já věděl že něco takového musí existovat, jen jsem to zaměnil za ${PIPESTATUS[@]} . Takže tak ;).

[MilanC]

Ahoj, zní to zajímavě, ale nedohledal jsem žádný ukázkový příklad a sám vůlbec nevím jak na to. Mimochodem, nestačilo by ukládat pid toho prvního procesu? Předpokládám, že po jeho sestřelení se zabije i ten další co visí na té pajpě? Jde o init skript. Díky.

[MilanC]

Jde mi také o to jak to řešit, jestli do pid file "nějak" uložit všechny ty pidy pod sebe? Aby pak na to šel zavolat kill.

[RM]

Ahoj, zní to zajímavě, ale nedohledal jsem žádný ukázkový příklad

Když on ${PIPEPID[n]} skutečně neexistuje, jak tak znovu na to koukám s otevřeným manuálem. Takhle to tedy nepůjde. ${PIPESTATUS[n]} existuje, ale ten vám nepomůže. Takže si jedině pohrát s file deskriptory.
Tohle není běžné chování. Normálně při ukončení programu za rourou se posílá signál SIGPIPE a ten ukončí proces, který do pipe zapisuje. Proč to tak u ffmpeg není netuším. Zkusit zabít jen první by také stálo za zkoušku, ale k tomu si stejně musíte nějak vytáhnout pid prvního.

[RM]

Ještě než se pustíte do zabíjení separé, můžete zkusit zabalit vše do dalšího subshellu. Pokud zabijete tento subshell, mělo by to ukončit všechny jeho dítka. Jediné co musíte provést je, že výraz dáte do závorek:

( ffmpeg..|ffmpeg.. )& echo $!

Nevím proč mi to nenapadlo dřív :).

[MilanC]

Ahoj,

zkusil jsem to ozávorkovat. Takto to do pid souboru uloží pid toho init skriptu.

# cat /var/run/ffmpeg/109.pid
28767

28767 ?        S      0:00 /bin/sh /etc/init.d/ffmpeg-hls-restream start

Vypadá to takto:

28767 ?        S      0:00 /bin/sh /etc/init.d/ffmpeg-hls-restream start
28768 ?        S      0:00  \_ sudo -u vlc /usr/local/bin/ffmpeg -loglevel quiet -i udp://@...
28769 ?        S      0:00  \_ /usr/local/bin/ffmpeg -loglevel quiet -f mpegts -i - -c copy ...

Po killu 28767 zmizí jen ten jeden řádek, ale ty ffmpegy si žijou dál. Divný. :(

[RM]

Nepomohlo by kill -9 28767 ?

[MilanC]

Dělám to v podstatě tak.

start-stop-daemon --stop --signal 9 --oknodo --pidfile "$PIDFILE" --exec /usr/local/bin/ffmpeg

[Fuky]

Hoď do přílohy celý init.d skript, ať máme kompletní nezkreslené info.

[MilanC]

Tady je: http://devel.chvalsiny.net/init-skript.txt

[Fuky]

Předpokládám, že sudo využíváš pouze pro přepnutí na jiného uživatele. Místo sudo bych použil přímo start-stop-daemon a ffmpeg rouru by jsem spouštěl ze skriptu $DAEMON_WRAPPER:

start-stop-daemon --start --quiet --pidfile $PIDFILE
 --chuid $DAEMONUSER --background --make-pidfile --exec $DAEMON_WRAPPER -- $ARGS

Vše poté zabiješ pomocí:

pkill -P $(cat $PIDFILE)

[MilanC]

jj, sudo je jen aby to neběželo pod rootem. Ten pkill tedy místo start-stop-daemon --stop

Ale to spouštění nějak nechápu, celé to stávající včetně argumentů mám nacpat do $DAEMON_WRAPPER? Nebo to ještě rozdělit do ARGS? Píšeš jen o té rouře, jak potom s tím hlavním ffmpeg procesem? A mám to nechat ozávorkované?

Sry, já ten start-stop-daemon neznám tak možná úplně nehcápu. Dík

[Fuky]

Proměná $ARGS se využívá k předání parametrů skriptu $DAEMON_WRAPPER, je na tobě co všechno mu budeš předávat. Wrapper bude zajišťovat spuštění pouze jedné instace ffmpeg roury, v init.d skriptu máš cyklus for, který postupně spouští X různých instací. Závorky zruš, stejně jako sudo a ukládání PID do PIDFILE na konci roury, to zařídí start-stop-daemon. Pod pojmem "ffmpeg roura" mám na mysli (tj. celou jednu instaci):

FFMPEG1 PARAM_1 PARAM_N |FFMPEG2 PARAM_2 PARAM_N

start-stop-daemon zařídí forknutí wrapperu na pozadí, spuštění pod definovaným uživatelem, vytvoření $PIDFILE, kde bude PID právě tohoto forknutého wrapperu, ve kterém budeš spouštět ffmpeg rouru bez přesunu na pozadí (tj. žádný ampersand na konci roury), ffmpeg roura má jako rodiče právě wrapper, takže když pozabíjíš jeho potomky, máš vyřešeno. Ano, uděláš to příkazem pkill místo "start-stop-daemon --stop", protože rodič se ukončí sám, jakmile budou pozabíjeni potomci, protože nedělá nic jiného než, že čeká na jejich dokončení. Na vhodném místě si ještě smaž PIDFILE, třeba v init.d skriptu po pozabíjení potomků. Můžeš jim nejprve poslat SIGTERM, vyčkat, sjistit pomocí pgrep zda-li ještě potomci běží a případně jim poslat SIGKILL, pokud budou běžet i po uplynutí definované doby.

$ man start-stop-daemon

[RM]

zajímavé, třeba se k těmto výšinám na úrovni init.d také jednou dostanu :). Musím si to někam poznamenat.

[MilanC]

Ahoj, dost se s tím peru, ale zatím bez úspěchu.

Mít vše včetně argumentů v DAEMON_WRAPPER nejde, vždy první parametr křičí jako ilegal. Tak jsem to trhnul - DAEMON_WRAPPER=binárka a vše ostatní do ARGS.

Dal jsem si echo a když to nakopčim do řádku tak to jede ok. Nicméně když to spouští init skript, tak se sice ffmpeg pokouší nahodit, ale hned se ukončí/popadá.

DAEMON_WRAPPER /usr/local/bin/ffmpeg ARGS: -i udp://@239.7.0.109:1234 ... -f mpegts - | /usr/local/bin/ffmpeg -f mpegts -i - -c copy -f mpegts -c copy -f mpegts udp://@239.7.1.109:1234

Aktuální skript po úpravě: http://devel.chvalsiny.net/init-skript2.txt

Děkuji.

[Fuky]

Ne, takto jsem to vůbec nemyslel. Psal jsem, ať si uděláš skript $DAEMON_WRAPPER, do kterého vložíš spouštění ffmpeg a případné potřebné argumenty mu předáš pomocí proměné $ARG. Možná ti níže uvedený fragment pomůže v pochopení jak jsem to myslel.

# vim init.d/ffmpeg-hls-restream
...
DAEMON_WRAPPER=/usr/local/bin/ffmpeg_wrapper.sh
...
do_start() {
...
    start-stop-daemon --start --quiet --pidfile $PIDFILE --chuid $DAEMONUSER --background --make-pidfile --exec $DAEMON_WRAPPER -- $ARGS
...
do_stop() {
...
    pkill -P $(cat $PIDFILE)
...

# vim /usr/local/bin/ffmpeg_wrapper.sh
...
        if [ $vcodec ]; then
            /usr/local/bin/ffmpeg -loglevel quiet -i $source -flags -global_header -profile:v baseline -c:v $vcodec -b:v $bitrate -maxrate $vbvmaxrate -bufsize $vbvbufsize \
             -deinterlace -vf "crop=in_w$vcrop:in_h$vcrop,scale=$width:$height" -keyint_min $keyint_min -g $gop -c:a $acodec -b:a $abitrate -ar $asrate \
             -f mpegts - | /usr/local/bin/ffmpeg -loglevel quiet \
             -f mpegts -i - -c copy -hls_time $seglen -hls_list_size $numsegs -hls_base_url $index_url -hls_flags delete_segments -hls_segment_filename $dst $index \
             -f mpegts -c copy -f mpegts udp://@$udp_dst
...

[MilanC]

Tak jasné, už jsem pochopil pointu. Funguje to perfektně, děkuji moc!

[RM]

Jinak jestli chcete vytáhnout všechny pid a zkusit je pozabíjet separé, pak : ffmpeg ... | ffmpeg .... | ffmpeg ... & ps -o "%p %c" --no-headers --ppid $$ | sed -n '/ffmpeg\|vlc/{s/ffmpeg//;s/vlc//;p}' | tr -d '\n' > pid.txt Řešení s file deskriptory bych vám také mohl nabídnout, ale jelikož to máte stejně ve skriptu, který spouštíte (tj. máte rodiče a jeho pid se nechá získat pomocí $$), není nutné to hned hrotit :); tohle by mělo vrátit co potřebujete. Stačit by mělo už jen kill -9 $(cat pid.txt).

á propós, máte vůbec práva k tomu tyhle procesy zabít ;). Vidím tam všude sudo. Nestačilo by tedy se stávajícím sudo kill ...