Dotaz: Python, prijem dat ze stdin

[Rezka Cervena]

Zdravim,

pokud mam skript v pythonu, ktery obsahuje jen radek:

sys.argv[1];

Tedy vypise svuj prvni parametr. Jakym zpusobem musim skript upravit, aby fungoval obemi temito moznostmi:

$ ./skript test
test
$ echo test | ./skript
test

---

---

Odpovědi

[moira]

Tak aby se podíval do sys.argv a pak na standardní vstup. Jsou to dvě naprosto odlišné záležitosti. Víc neporadím, Python jde mimo mě.

[Pavel Stárek]

Zajímá tě objekt sys.stdin.

Příklad, mějme soubor pokus.py:

#!/bin/env python
import sys
nejakadatazestdin = sys.stdin.readlines()
print nejakadatazestdin

a pro otestovaní:

echo pokus.py | ./pokus.py

[Rezka Cervena]

Ja potrebuji ten skript pouzit takto:

$ ./cti_prubeh | grep "udalost1 "| ./mujskript

Kde cti_prubeh je skript, ktery kazdou sekundu vypisuje urcite zpravy, z nich si pres grep filtruji pouze urcite udalosti a mujskript by mel delat to, ze jen vytiskne to co mu posle grep (pozdeji samozrejme bude mit urcitou funkcionalitu, ale toto je zaklad).

S vasim resenim to bohuzel nefunguje (misto cti_prubeh muzete pouzit treba tcpdump nebo jakykoliv jiny program kteri pravidelne neco vypisuje do konsole).

Jakym zpusobem tedy mohu takovy skript udelat v pythonu?

[l4m4]

Ale funguje. Akorát předchozí příklad ukazuje, jak se načte stdin celý naráz, kdežto ty to chceš po řádcích

for line in sys.stdin:
    dělej něco...

což by ze znalosti, že souborový objekt odpovídající stdin je sys.stdin, mělo jít odvodit...

[Rezka Cervena]

Zkuste si to sam, mejme skript test.sh:

#!/bin/bash

while [ 1 ]; do
echo "Tik"
sleep 1
done 

Nyni chci napsat skript test.py takovy, aby to fungovalo takto:

$ ./test.sh | ./test.py
Tik
Tik
Tik
Tik
^C 

coz s tim vasim resenim nefunguje.

[Andrej Herceg]

Môžeš vyskúšať

while True:
    print sys.stdin.readline()

(funkcia readline ale na konci reťazca necháva znak \n)

[Rezka Cervena]

Ok, dekuji, toto opravdu funguje, pro odstraneni zbytecneho \n jsem pouzil vypise pres [0:-1]. Narazil jsem vsak na dalsi problem. Ten skript s "Tik" byl jen demonstracni, ve skutenosti to pouzivam takto:

$ sudo tcpdump -A -s 1400 'dst port 80' -i wlan0 | grep GET | ./skript.py

Tedy vypisuji HTTP GET pozadavky, ktere litaji pres wlan0 rozhrani. V tomto pripade se nejedna o periodicke vypise a dany skript nefunguje:/ Vi prosim nekdo proc?

[Fuky]

Skript funguje, ale data visí v bufferu a jelikož jich nepřišlo takové množství, aby se buffer vyprázdnil, tak si myslíš, že to nešlape. Nažeň tam víc dat a uvidíš, že to jde. Nejlépe by jsi udělal kdyby jsi přesně popsal co potřebuješ, aby se případně dalo nadhodit vhodnější řešení.

[Rezka Cervena]

$ sudo tcpdump -A -s 1400 'dst port 80' -i wlan0 | grep GET

Mi vypisuje jednotlive GET pozadavky, ktere chodi pres wlan0. Co radek, to pozadavek. Pozavek se do konzole vypise vzdy ihned pote co dorazi na wlan0 interface.

Ja potrebuji pouze python script, ktery ty retezce (GET pozadavky) bude dostavat na stdin a ihned je vypisovat (pak skript samozrejme upravim, aby i neco s tema retezcema delal).

Tzn, chci dosahnout toho, aby prikazy

$ sudo tcpdump -A -s 1400 'dst port 80' -i wlan0 | grep GET

i

$ sudo tcpdump -A -s 1400 'dst port 80' -i wlan0 | grep GET | ./skript.py

mely stejny vystup.

[Fuky]

Šlo mi spíš o nějaké reálné nasazení, možná by Ti totiž místo tcpdump vyhovoval více přímo modul do Pythonu Pcapy (je součástí Lennyho, třeba bude přímo i v Tvé distibuci).

[Rezka Cervena]

No jde mi o to v realnem case vypisovat do konzole HTTP GET pozadavky a ty rovnou prevadet do url DECODED podoby. pcapy se mi zda pro takovy jednoduchy pozadavek prilis slozity.

[l4m4]

tcpdump -l

viz tcpdump(8).

[Rezka Cervena]

Ani s timto mi to nefunguje:/

[l4m4]

Tak to máš nějaké rozbité. S

import sys
while True:
    print sys.stdin.readline().strip()

musí

tcpdump -l

dělat totéž co

tcpdump -l | ./test.py

Tentokrát i ověřeno.

[l4m4]

První tcpdump to -l samozřejmě nepotřebuje, protože výstup jde na terminál, který je řádkově bufferovaný. Ale neškodí tam.

[azurIt]

Toto ti logicky nemoze ist, pretoze skript test.py sa spusti az potom, ako sa skript test.sh ukonci. Ten ale bude bezat navzdy.

[l4m4]

Toto je blud a kdyby to tak opravdu fungovalo, roury by byly dost naprd. To jen tak pro případ, že by tuto diskusi ještě někdo četl...

[Fuky]

Myslím, že došlo k nedorozumnění, AzurItovi šlo spíš o to, že fce readlines() vrátí svůj výsledek teprve po ukončení skriptu (přesněji uzavření jeho stdout), který plní stdin (druhého skriptu pomocí roury), a má v tom samozřejmě pravdu.

[l4m4]

Pokud to tak myslel, tak to napsal dost nešťastně...

V každém případě mě zklamalo for line in sys.stdin: ..., což mělo být nejčitější a nejpythonovější řešení. Konstrukce sice používá lazy evaluation, jenže souborové objekty kvůli efektivitě provádějí jakěsi vnitřní bufferování, takže člověk ty řádky stejně nedostane po jednom. Nezjistil jsem, jak/zda se dá vypnout.

[Rezka Cervena]

Tak konecne vyreseno! Viz:

sudo tcpdump -l -A -s 1400 'dst port 80' -i eth0 | grep --line-buffered GET | ./skript.py

Dulezity je parametr -l u tcpdumpu a --line-buffered u grepu. Dekuji vsem za pomoc.