Dotaz: Python a subprocess

[pepik]

mám tento kód:

download=["pacman","-S","--noconfirm","program"]
process = subprocess.Popen(download, stdin = subprocess.PIPE, stdout = subprocess.PIPE)
    while 1<2:
        print process.stdout.readline()

Jak jsem se dočetl, readline() čeká na výstup z programu. Program vypíše první řádky vpořádku, ale když by měl zobrazovat progressbar, tak ze stdout nic neleze. Je to asi tím, že výstup se jakoby neustále překresluje. Je nějaký způsob jak zachytit veškerý výstup?

Odpovědi

[Fuky]

Je potřeba si uvědomit, že progressbar není "standartní" výstup. Pro vykreslování se používá knihovna ncurses a je to asi jako kdyby jsi chtěl přesměrovat do souboru výstup mc, schválně si to zkus:

$ mc &> /tmp/mc.out
$ less /tmp/mc.out

Pro "práci s písmenky" (mazání, vykreslování na dané pozici, obarvení) se používají speciální řídící sekvence, které terminál musí podporovat. Navíc některé programy jsou chytré a když zjistí, že terminál tyto sekvence nepodporuje, tak změní typ výstupu. Mezi ně patří např. wget.

$ wget http://www.abclinuxu.cz &> /tmp/wget.out
$ cat /tmp/wget.out

[pepik]

# pacman -S --noconfirm k3b &> txt.txt

vypíše akorát statické texty. Progressbar tam není.

[Tomas]

Pokud je to standartni textovy progressbar v prikazove radce (a ne, jak bylo psano vyse, vykreslovany treba pres ncurses), tak textovy progress se obvykle dela takto:

write("#######")

a prekresluje se smazanim aktualniho radku pres <CR>a jeho opetovnym vypsanim:

write("\r#########")

a kdyz ma 100% tak zapise <LF> a pise dalsi radky:

write("\n")

- a dokud se nevyresly az do 100% tak tam neni zadny konec radku, takze readline() porad ceka na ten konec radku az do 100%, takze pokud ho chces cist, tak musis po jednotlivych znacich a pocitat s tim, ze vlastne nevis kolik tech znaku prijde (protoze nevis kolik ma zrovna procent).

[Tomas]

vetsinou vypisuje na konci "<cislo>%", tak to mas jednoduche, protoze ctes po znacich a kdyz narazis na kombinaci "cisla procento" tak to zpracujes a dal ctes po znacich dokud nenarazis na konec radku.

[Jan Martinek]

Řekněme, že máme program z názvem "druha.py" a v tom se vykresluje progressbar, jak psal Tomas:

#!/usr/bin/python
import time, sys

for i in range(40):
    sys.stdout.write("#" * i + '\r')
    sys.stdout.flush()
    time.sleep(0.2)
print

A výstup chci zachytávat jiným programem:

#!/usr/bin/python
import subprocess, sys

process = subprocess.Popen(['./druha.py',], stdout = subprocess.PIPE)
while True:
    znak = process.stdout.read(1)
    if not znak:
        break
    sys.stdout.write(znak)
    sys.stdout.flush()

Tak to funguje, ale musí se číst po znacích. Ale jak psal Fuky, není jisté, jestli to Pacman dělá taky tak.

[pepik]

U Pacmanu, když progressbar dosáhne hodnoty 100%, skočí sice na další řádek, čímž by se měla zavolat readline(), ale není tomu tak. Je to asi vykreslováno přez ncurses, jak psal Fuky.

[pepik]

Zrovna jsem vyzkoušel váš kód a vypíše vše až na progressbar

[Fuky]

--noprogressbar
    Do not show a progress bar when downloading files. This  can  be
    useful for scripts that call pacman and capture the output.

Není tento výstup lepší?

[pepik]

Toto jsem také zkoušel. Má to vliv akorát na to, že se nezobrazuje progressbar. Jenže se mi nezobrazuje ani při vynechání tohoto parametru.

[pepik]

Lze tedy text vykreslovaný přez ncurses nějak načítat?

[Fuky]

Ano lze Podívej se do zdrojáků frontendu napsaného v Pythonu gtkpacman. Jestli se nepletu, tak po letmém pohledu to vypadá, že to zařizuje modul vte.

$ aptitude show python-vte
The VTE library inserts terminal capability strings into a trie, and then uses it to determine if data received from a pseudo-terminal is a control sequence or just random data. The sample program "interpret" illustrates more or less what the widget sees after it filters incoming data.

This package contains the Python bindings for the VTE library.

[pepik]

Jestli se nepletu, modul vte je součástí GTK. Nerad bych byl závislý na 2 konkurenčních knihovnách.

[Fuky]

Jak to myslíš? Tak, že děláš frontend v Qt? V tom případě se mrkni do zdrojáků pakman tj. frontend napsaný v Qt

[Fuky]

Taky by to mělo jít vyřešit rovnou pomocí knihovny ncurses...

[libchavak]

Ahoj, nevíte někdo jak odstranit tuto podivnost při používání subprocess.wait(). PYTHON = 2.4 System = SunOS

prog=SUB.Popen(cmd, stderr=SUB.PIPE, stdout=SUB.PIPE) retval=prog.wait()

Traceback (most recent call last): File "av_rizeni.py", line 283, in ? main() File "av_rizeni.py", line 180, in main retval=prog.wait() File "/usr/local/lib/python2.4/subprocess.py", line 1007, in wait pid, sts = os.waitpid(self.pid, 0) OSError: [Errno 10] No child processes