abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 06:00 | Zajímavý software

OMG! Ubuntu! představuje emulátor terminálu Hyper (GitHub) postavený na webových technologiích (HTML, CSS a JavaScript). V diskusi k článku je zmíněn podobný emulátor terminálu Black Screen. Hyper i Black Screen používají framework Electron, stejně jako editor Atom nebo vývojové prostředí Visual Studio Code.

Ladislav Hagara | Komentářů: 10
dnes 06:00 | Zajímavý článek

I letos vychází řada ajťáckých adventních kalendářů. QEMU Advent Calendar 2016 přináší každý den nový obraz disku pro QEMU. Programátoři se mohou potrápit při řešení úloh z kalendáře Advent of Code 2016. Kalendáře Perl Advent Calendar 2016 a Perl 6 Advent Calendar přinášejí každý den zajímavé informace o programovacím jazyce Perl. Stranou nezůstává ani programovací jazyk Go.

Ladislav Hagara | Komentářů: 4
3.12. 16:24 | Nová verze

Byla vydána Mageia 5.1. Jedná se o první opravné vydání verze 5, jež vyšla v červnu loňského roku (zprávička). Uživatelům verze 5 nepřináší opravné vydání nic nového, samozřejmě pokud pravidelně aktualizují. Vydání obsahuje všechny aktualizace za posledního téměř půldruhého roku. Mageia 5.1 obsahuje LibreOffice 4.4.7, Linux 4.4.32, KDE4 4.14.5 nebo GNOME 3.14.3.

Ladislav Hagara | Komentářů: 10
3.12. 13:42 | Pozvánky

V Praze probíhá konference Internet a Technologie 16.2, volné pokračování jarní konference sdružení CZ.NIC. Konferenci lze sledovat online na YouTube. K dispozici je také archiv předchozích konferencí.

Ladislav Hagara | Komentářů: 0
2.12. 22:44 | Komunita

Joinup informuje, že Mnichov používá open source groupware Kolab. V srpnu byl dokončen dvouletý přechod na toto řešení. V provozu je asi 60 000 poštovních schránek. Nejenom Kolabu se věnoval Georg Greve ve své přednášce Open Source: the future for the European institutions (SlideShare) na konferenci DIGITEC 2016, jež proběhla v úterý 29. listopadu v Bruselu. Videozáznam přednášek z hlavního sálu je ke zhlédnutí na Livestreamu.

Ladislav Hagara | Komentářů: 25
2.12. 15:30 | Zajímavý projekt

Společnost Jolla oznámila v příspěvku Case study: Sailfish Watch na svém blogu, že naportovala Sailfish OS na chytré hodinky. Využila a inspirovala se otevřeným operačním systémem pro chytré hodinky AsteroidOS. Použita je knihovna libhybris. Ukázka ovládání hodinek na YouTube.

Ladislav Hagara | Komentářů: 8
2.12. 14:15 | Nová verze

Byla vydána verze 7.1.0 skriptovacího jazyka PHP používaného zejména k vývoji dynamických webových stránek. Jedná se o první stabilní verzi nejnovější větvě 7.1. Přehled novinek v dokumentaci. Podrobnosti v ChangeLogu. K dispozici je také příručka pro přechod z PHP 7.0.x na PHP 7.1.x.

Ladislav Hagara | Komentářů: 4
2.12. 12:55 | Nová verze

Google Chrome 55 byl prohlášen za stabilní. Nejnovější stabilní verze 55.0.2883.75 tohoto webového prohlížeče přináší řadu oprav a vylepšení (YouTube). Opraveno bylo také 36 bezpečnostních chyb. Mariusz Mlynski si například vydělal 22 500 dolarů za 3 nahlášené chyby (Universal XSS in Blink).

Ladislav Hagara | Komentářů: 4
2.12. 11:55 | Pozvánky

Máte rádi svobodný software a hardware nebo se o nich chcete něco dozvědět? Přijďte na 135. sraz spolku OpenAlt, který se bude konat ve čtvrtek 8. prosince od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Sraz bude tentokrát tématický. Bude retro! K vidění budou přístroje jako Psion 5mx nebo Palm Z22. Ze svobodného hardwaru pak Openmoko nebo čtečka WikiReader. Přijďte se i vy pochlubit svými legendami, nebo alespoň na pivo. Moderní hardware má vstup samozřejmě také povolen.

xkucf03 | Komentářů: 1
2.12. 00:10 | Nová verze

Byla vydána verze 3.2 svobodného systému pro detekci a prevenci průniků a monitorování bezpečnosti počítačových sítí Suricata. Z novinek lze zmínit například podporu protokolů DNP3 a CIP/ENIP, vylepšenou podporu TLS a samozřejmě také aktualizovanou dokumentaci.

Ladislav Hagara | Komentářů: 0
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 772 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Python - select.select() a stdin buffer

3.8.2012 19:32 lukas
Python - select.select() a stdin buffer
Přečteno: 258×
Cau,

Mam program A ktery pouzije pty.fork() a v childu hodi sub.call("program B")

A i B jsou python skripty.

A zapise data to 'fd' vraceny pty.fork() - zapise moc dat a pak prestane zapisovat.

B periodicky zjistuje jestli maka nejaka data na stdin a muze z nej cist rlist,_,_ = select.select([sys.stdin],[],[],1) a kdyz je sys.stdin v rlist, tak se pouzije sys.stdin.read(1024) a sys.stdin je v non-blocking modu

Muze se ted stat ze A zapise data do PTY, v programu B se zapisou do bufferu sys.stdin ... sys.stdin.read() nevrati vsechny z bufferu (to znamena jeste jsou nejaka data v bufferu) ale select.select pak uz neinformuje ze je mozno cist ze sys.stdin protoze do nej od te doby nebylo nic zapsano?

dik

Odpovědi

3.8.2012 19:33 lukas
Rozbalit Rozbalit vše Re: Python - select.select() a stdin buffer
Zkus o vikendu napsat maly skript na kterem bych to ilustroval (ono totiz v realu je tam jeste ssh mezi PTY a tim programem co v nem bezi :-) ) ...
4.8.2012 01:19 anon
Rozbalit Rozbalit vše Re: Python - select.select() a stdin buffer
tak jo - tady mam ukazku ktera se mi tak chova

master.py
from select import select
import pty 
import os,sys
import subprocess as sub 
import time

(pid,fd) = pty.fork()
if pid == 0:
    sub.call("python slave.py",shell=True)
else:
    time.sleep(0.5)
    sent = 0 
    while True:
        for i in range(0,10):
            select([],[fd],[])
            size = os.write(fd,"x"*1000)    
            #os.write(fd,"\n")
            sent += size
            print(str(sent))
        time.sleep(5)
slave.py
import fcntl
import os,sys
from select import select
import tty

sys.stdout = open("log","w",0)

# make stdin a non-blocking file
fd = sys.stdin.fileno()
fl = fcntl.fcntl(fd, fcntl.F_GETFL)
fcntl.fcntl(fd, fcntl.F_SETFL, fl | os.O_NONBLOCK)
#
tty.setraw(fd)
#
#sys.stdin = os.fdopen(sys.stdin.fileno(), 'r', 0)

bytes_read = 0
print("on")
while True:
    rlist,_,_ = select([sys.stdin],[],[],1)
    if sys.stdin in rlist:
        string = sys.stdin.read(200)
        bytes_read += len(string)
        print(str(bytes_read))
    else:
        print("not ready")
a ted kdyz pustim 'python master.py' a v terminalu vedle 'tail -f log' tak vidim ze poslednich 800 poslanych bytu zustane v bufferu, select rika ze sys.stdin neni ready pro cteni (protoze master.py nezapsala zadny novy data) a tech 800 bytu z buffer se precte az potom co master.py posle dalsi data do PTY

Kdyz odkomentuju tu lajnu v slave.py ktera nastavuje velikost bufferu na 0 tak to jede hezky.

Tohle pak vedlo k deadlocku v tom programku co pisu.
4.8.2012 01:53 anon
Rozbalit Rozbalit vše Re: Python - select.select() a stdin buffer
Tady davam jeste priklad jak tento problem vse zablokuje.

master.py
from select import select
import pty 
import os,sys
import subprocess as sub 
import time

(pid,fd) = pty.fork()
if pid == 0:
    sub.call("python slave.py",shell=True)
else:
    time.sleep(0.5)
    sent = 0
    while True:
        os.write(fd,"DATA")
        os.write(fd,"DATA")
        os.write(fd,"DATA")
        os.write(fd,"DATA")
        os.write(fd,"DATA")
        os.write(fd,"YOYO")
        select([fd],[],[])
        string = os.read(fd,1024)
        if string == "YOYO":
            print("master received: YOYO\n")
        else:
            print("master:DEAD")

slave.py
import fcntl
import os,sys
from select import select
import tty

log = open("log","w",0)

# make stdin a non-blocking file
fd = sys.stdin.fileno()
fl = fcntl.fcntl(fd, fcntl.F_GETFL)
fcntl.fcntl(fd, fcntl.F_SETFL, fl | os.O_NONBLOCK)
#
tty.setraw(fd)
#
#sys.stdin = os.fdopen(sys.stdin.fileno(), 'r', 0)

data_read = ""
log.write("on\n")
while True:
    rlist,_,_ = select([sys.stdin],[],[],1)
    if sys.stdin in rlist:
        data_read += sys.stdin.read(10)
        while len(data_read) >= 4:
            msg = data_read[:4]
            data_read = data_read[4:]
            log.write("slave: received "+msg+"\n")
            if msg == "YOYO":
                log.write("slave: sending YOYO\n")
                sys.stdout.write("YOYO")
                sys.stdout.flush()
    else:
        log.write("not ready\n")
Kdyz pustite master.py a tail -f log tak vydite ze se zpracuji pouze prvni dve zpravy "DATA" a vse se zasekne.

Pokud zmenite sys.stdin.read(10) v slave.py na sys.stdin.read(24) vse bude fungovat krasne v nekonecnem loopu. Pokud odkomentujete v slave.py radek sys.stdin = os.fdopen(sys.stdin.fileno(), 'r', 0) tak vsechno bude chodit krasne v loopu i kdyz nechate sys.stdin.read(10)

A ted moje otazka: Proc to tak je ... je toto chovani nekde zdokumentovano? Tyka se to pouze PTY ? A hlavne proc select nerika "jo sys.stdin je ready ke cteni" kdyz vi ze jsou v bufferu sys.stdin data ktera sys.stdin.read muze precist?
4.8.2012 02:15 anon
Rozbalit Rozbalit vše Re: Python - select.select() a stdin buffer
stejny v pythonu 3.2.3
pavlix avatar 4.8.2012 02:17 pavlix | skóre: 53 | blog: pavlix
Rozbalit Rozbalit vše Re: Python - select.select() a stdin buffer
Psát céčko v Pythonu? Dá se.

Chyba je tady:
sys.stdin.read(10)
Tohle nemůže se selectem dobře fungovat, je to vysokoúrovňové bufferující API, podobně jako funkce ANSI C nad FILE strukturama.

Volání select.select je nízkoúrovňové API a lze kombinovat pouze s nízkoúrovňovým čtením, tedy os.read.

Jako hraní super, ale Python na něco takového absolutně není určený. Doporučuju zůstat jen u pokusů, případně si ty pokusy udělat i v céčku. Na skutečné asynchronní aplikace je lepší použít nějakou pythoní knihovnu, která to celé poskládá, případě si céčkovskou asynchronní knihovnu napsat a implementovat v ní pythoní rozhraní, pokud už to člověk musí nutně zkoušet na vlastní kůži.
GentooFedoraSCRAM – Jsem open source vývojář, nikoli markeťák ⇒ názory zde uvedené jsou jen mé vlastní.
4.8.2012 15:33 lukas
Rozbalit Rozbalit vše Re: Python - select.select() a stdin buffer
Souhlas, ideal na to co pisu by byl python+twisted ale twisted bohuzel neumim. Treba to jednou do twisted prepisu.

Mimochodem, ono to je jen takhle na ukazku par radku - zbytek programu uz je python :-). Tady to takto lowlevel byt musi kvuli PTY a non-blocking non-buffering stdio (ale treba to fcntl je jen copy&paste). A tohle byla jedina vec ktera me v pythonu nachytala a v C by se nestala (ale taky jsem na tomhle stravil asi 10h :-) ) ale i tak by mi to v C trvalo aspon petkrat tak dlouho nez v pythonu a nejspis bych to nikdy nedokoncil.

Kdyz mas sys.stdin jako priklad primo v python docs tady tak me to zmatlo dobre. Imho bude sys.stdin fungovat dobre se select pokud neni v PTY.

No kazdopadne ted uz jsem se poucil a a priste si budu davat pozor kombinovat select s high level objekty. Diky.

...

Jo a to co kodim bych hranim nenazyval :-), ono je to uzitecny a kodim to jen proto ze jsem zadny program co by resil stejny problem nenasel - a sam bych to na vlastni kuzi taky raci nezkousel ale jak rikam, neumim twisted.
4.8.2012 15:36 lukas
Rozbalit Rozbalit vše Re: Python - select.select() a stdin buffer
Jeste me napadlo ze ten select bude nejspis dobre fungovat s stdin i v PTY pokud se nenastavi tty na RAW
pavlix avatar 4.8.2012 16:21 pavlix | skóre: 53 | blog: pavlix
Rozbalit Rozbalit vše Re: Python - select.select() a stdin buffer
Těžko. Jako možná se to dá ovládnout, ale musel bys v první řadě ovládnout chování těch ANSI funkcí a jejich buffrování. Ale je to zbytečné.

Když chci asynchronně volat read, tak prostě volám systémový read a ne fread, který obsahuje cyklus a snaží se bufferovat.
GentooFedoraSCRAM – Jsem open source vývojář, nikoli markeťák ⇒ názory zde uvedené jsou jen mé vlastní.
4.8.2012 16:49 lukas
Rozbalit Rozbalit vše Re: Python - select.select() a stdin buffer
Jde o to ze "\n" je specialni pro stdio buffer v pythonu a stejne tak pro select pokud neni tty v RAW modu. Proto to fungovat bude.
pavlix avatar 4.8.2012 17:30 pavlix | skóre: 53 | blog: pavlix
Rozbalit Rozbalit vše Re: Python - select.select() a stdin buffer
Tak což o to, to lze přepout. Mimochodem, nevím jak současné verze, ale pythoní file API vždy trpělo chybami souvisejícími teď nevím jestli s EOF, ale každopádně software v pythonu se mi nikdy při vstupu z terminálu nechoval správně. Tuším, že bylo potřeba CTRL+D mačkat vícekrát, než je potřeba.

Na nízkoúrovňové čtení bych radši zůstal u nízkoúrovňových funkcí. ty dokonce fungují i bez přepnutí fd do neblokujícího režimu (testováno v C).
GentooFedoraSCRAM – Jsem open source vývojář, nikoli markeťák ⇒ názory zde uvedené jsou jen mé vlastní.
4.8.2012 18:30 lukas
Rozbalit Rozbalit vše Re: Python - select.select() a stdin buffer
Na nízkoúrovňové čtení bych radši zůstal u nízkoúrovňových funkcí. ty dokonce fungují i bez přepnutí fd do neblokujícího režimu (testováno v C).
Jo, ted uz jsem se poucil a priste to presne takhle resit budu :-)
pavlix avatar 4.8.2012 16:19 pavlix | skóre: 53 | blog: pavlix
Rozbalit Rozbalit vše Re: Python - select.select() a stdin buffer
jedina vec ktera me v pythonu nachytala a v C by se nestala
To je tím, že python používá pro funkce namespacing, ať už pomocí modulů nebo tříd, popřípadě i objektů (to umí C taky, ale i tak funkce musí mít název alespoň na úrovni modulu).

Takže se více funkcí jmenuje read, přitom jsou principiálně odlišné a pracují na odlišné úrovni.
ale i tak by mi to v C trvalo aspon petkrat tak dlouho nez v pythonu a nejspis bych to nikdy nedokoncil.
Tak pokud ty céčkoviny zabírají jen nějaký jeden malý modul, takto může být jednodušší než se učit pythoní C API.
Kdyz mas sys.stdin jako priklad primo v python docs tady tak me to zmatlo dobre.
To se dá buď brát jako chyba v manuálu nebo jako popis příliš spoléhající na znalosti čtenáře.

On si totiž select umí ten deskriptor zřejmě z objektu vytáhnout sám, takže file objekt je sám o sobě ok. Problém je v implementaci file.read(), která i podle manuálu spouští fread(), což nemusí fungovat. Prostě se počítá s tím, že čtení bude realizováno takto:
os.read(f.fileno())
Imho bude sys.stdin fungovat dobre se select pokud neni v PTY.
To těžko.
Jo a to co kodim bych hranim nenazyval :-), ono je to uzitecny a kodim to jen proto ze jsem zadny program co by resil stejny problem nenasel - a sam bych to na vlastni kuzi taky raci nezkousel ale jak rikam, neumim twisted.
Twisted umí být komplikovaný, ale dá se naučit. Jednou jsem v tom něco zkoušel. Problém je, že twisted nejde dobře kombinovat s jinými a spoustu věcí neumí.

Ale na asynchronní přístup v C se mi osvědčil glib. V Pythonu se dá použít gobject introspection, takže můžeš pracovat jak v C tak v Pythonu, aniž byses učil pythoní C API.
GentooFedoraSCRAM – Jsem open source vývojář, nikoli markeťák ⇒ názory zde uvedené jsou jen mé vlastní.
4.8.2012 17:03 lukas
Rozbalit Rozbalit vše Re: Python - select.select() a stdin buffer
Tak pokud ty céčkoviny zabírají jen nějaký jeden malý modul, takto může být jednodušší než se učit pythoní C API.
Jeste to tak abych se ucil :-) me uplne staci jak vypada popis funkce forkpty() v C a naproti tomu pty.fork() v pythonu :-) ... a jeste to kompilovat pro cygwin apod. tady me budes tezko presvedcovat ze jsem to mel psat v C :-)
Imho bude sys.stdin fungovat dobre se select pokud neni v PTY.

To těžko.
Pokud tam pude stdin pres pajpu. To by pak vysvetlovalo ten manual. Jestli v tom manualu mysleli pouzite sys.stdin v select a pak ctete os.read(0,1024) tak je to dost nekonzistetni.
Problém je, že twisted nejde dobře kombinovat s jinými a spoustu věcí neumí.
To byl dalsi duvod proc jsem se mu vyhnul.
pavlix avatar 4.8.2012 17:43 pavlix | skóre: 53 | blog: pavlix
Rozbalit Rozbalit vše Re: Python - select.select() a stdin buffer
Jeste to tak abych se ucil :-) me uplne staci jak vypada popis funkce forkpty() v C a naproti tomu pty.fork() v pythonu :-) ... a jeste to kompilovat pro cygwin apod. tady me budes tezko presvedcovat ze jsem to mel psat v C :-)
Tak cygwin je unix jako každý jiný, že :), linuxové distribuci je prostředí cygwinu dost blízké.

Jinak bacha, kdybys používal Python přímo na windows, tak spousta věcí funguje trochu jinak. Zvlášť těch nízkoúrovňových. Ono se na první pohled zdá, že vespod je úplně stejná unixovská vrstva, ale není to úplně pravda.

Dělal jsem začátečnické školení Pythonu ve firmě se smíšenou výbavou účastnických počítačů a ty Windows jsme dost řešili. Ale všechno nějak vyřešit šlo.
To byl dalsi duvod proc jsem se mu vyhnul.
To je obecný problém kombinace synchronních a asynchronních API, bez ohledu na jazyk. Problém je v tom, že Python je většinou tvůrců knihoven vnímán jako skriptovací jazyk a pro ten sjou synchronní API typická.

Problém je, že z asynchronního API jde synchronní vyrobit celkem lehce (v dynamickém jazyce zvlášť), zatímco naopak to nejde a jedinou možností je vláknovat.

Spousta vývojářů i core pythoních věcí zase neřeší vlánka, tak se pro jistotu zamyká celý interpret a paralelní zpracování pythoních vláken je z principu vyloučené, tudíž multiprocessing vychází v pythonu mnohem rychlejší než multithreading.

Paradoxem ovšem je, že komunikace mezi procesy je synchronní a tudíž i při multiprocessingu je předávání zpráv realizováno vláknem (tedy multithreadingem).
GentooFedoraSCRAM – Jsem open source vývojář, nikoli markeťák ⇒ názory zde uvedené jsou jen mé vlastní.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.