Rozhraní pro události

5.12.2006 23:37 | Přečteno: 1488× | Software |

Jednou z hlavních (a opravdu pořádně velkých) bolestí je neexistence jednotného rozhraní pro příjem událostí a jejich snadné a bezpečné zpracování. S tím, jak se technologie kevent blíží k rozumně použitelné implementaci, samozřejmě roste naděje na změnu. Současně ovšem vyvstávají i otázky.

Zpracovávat v Linuxu rozumně události? Dosud nemožné. Máme například program (řekněme server), který má otevřeno x síťových spojení, současně potřebuje hlídat timeouty, sledovat změny určitých souborů a dělat případně některé další věci. Takový server se implementuje dost špatně - buď ho musíme rozštěpit na řadu procesů či vláken (a babrat se s komunikací a synchronizací mezi nimi), nebo používat všelijaká krkolomná řešení, navíc nepříliš efektivní.

To v takových Windows je na tom člověk o poznání lépe. Může nechat čekat program v jediném volání WaitForMultipleObjects(), a když to vyskočí ven, obsloužit událost, ke které došlo. Lhostejno, o jaký druh události se jednalo. Podobně jednoduchou práci mají i vývojáři na *BSD nebo na Mac OS X. Jen Linux zatím pokulhává.

Jednoduché je to v případech, kdy máme k dispozici souborové deskriptory. Ty použijeme ve volání select(), poll() nebo epoll() a hned se dozvíme, co se stalo. Problém je ovšem v tom, že tyto deskriptory máme jen pro omezený okruh událostí. Pro mnohé události (asynchronní I/O, časovače, skončení podřízeného procesu atd.) musíme spoléhat na signály - a ty s výše uvedeným nejdou příliš dohromady. Jediným skutečně bezpečným způsobem zpracování signálů je volání sigwait(), které pak musíme použít místo zmíněných funkcí. Tím se ovšem nevyřeší problém se "spojováním" nezpracovaných klasických signálů.

Je jasné, že cesta ven vede jen přes zavedení skutečně univerzálního rozhraní pro události. Bylo by principiálně možné říct si "všechno bude deskriptor", ale pak vyvstane problém škálovatelnosti. Při velkém množství deskriptorů by to bylo pomalé. Než vymýšlet složitá řešení ve stylu inotify (na jednom souborovém deskriptoru může být větší počet "hooků" identifikovaných vlastními deskriptory), je lépe to udělat opravdu pořádně a dát do nového rozhraní opravdu všechno, co by mohl někdo potřebovat.

A tím se dostávám k jádru pudla. Dosavadní plány keventu totiž počítají s tím, že se budou sledovat skoro všechny zajímavé události (AIO, časovače, signály, klasické deskriptorové události), ale bohužel ne úplně všechny. Protože si myslím, že by bylo správné využít této chvíle a dotáhnout to do opravdu kvalitní podoby, rád bych viděl v keventu i další události. Jmenovitě:

• procesy (dokončení/zastavení/trace)
• vlákna (dtto)
• futexy (mám na mysli hlavně podmíněné proměnné, mutexy a semafory)
• speciální komunikační události (např. změna stavu modemových linek - TIOCMIWAIT)
• případně něco dalšího, na co jsem si teď nevzpomněl

Možná teď někdo bude mít pocit, že jsem se praštil o futro a chci z Linuxu udělat Windows. Třeba to tak je, ale každopádně by přidání monitoringu těchto událostí bylo velice přínosné. Mám v plánu poslat to jako námět do LKML, ale nejdřív to tu chci předhodit k veřejné kritice. Byl bych rád, kdyby ten, kdo má proti takovém nápadu nějaké výhrady, je tu předložil - aby se zamezilo případnému zaplevelování LKML (a zbytečné zátěži vývojářů jádra) nesmyslnými nápady.

Odkazy:

• Jaderné noviny - 8. 11. 2006
• Patch: kevent: Generic event handling mechanism
• Kevent subsystem
• The Proposed Linux kevent API

       

Anketa

Komentáře

[trekker.dk]

Jednoduché je to v případech, kdy máme k dispozici souborové deskriptory. Ty použijeme ve volání select(), poll() nebo epoll() a hned se dozvíme, co se stalo. Problém je ovšem v tom, že tyto deskriptory máme jen pro omezený okruh událostí. Pro mnohé události (asynchronní I/O, časovače, skončení podřízeného procesu atd.) musíme spoléhat na signály - a ty s výše uvedeným nejdou příliš dohromady.

Ad asynchronní I/O a deskriptory - píšeš, že jediným skutečně bezpečným způsobem zpracování signálů je volání sigwait(). Co je špatně na způsobu, kdy se při zpracování signálu SIGIO pomocí select() otestují deskriptory a příslušně se zareaguje? (Za předpokladu, že deskriptorů není příliš mnoho)

[Luk]

A čekat to bude kde? To je právě důležité. sigwait() (a samozřejmě také sigwaitinfo() a sigtimedwait()) má tu výhodu, že se zpracuje vždy právě jeden signál (a ostatní zůstávají blokované) a nepoužívá se - není potřeba - asynchronní handler. Při jiném řešení už nastávají komplikace s rozlišováním, které všechny signály vlastně přišly. Tak jako tak tam ale zůstane problém s výkonností, protože select/poll operace je obecně O(n).

[trekker.dk]

Vypadá to asi nějak takhle:

int main() {
 struct sigaction sigakce;
 void io_sigio (int i); 
 void casovano (int i);
   ...
 sigakce.sa_handler = io_sigio;
 sigfillset (&sigakce.sa_mask);
 sigakce.sa_flags = 0;
 sigaction (SIGIO, &sigakce, NULL);
 sigakce.sa_handler = casovano;
 sigaction (SIGALRM, &sigakce, NULL);
 for (;;) {pause();}
}

Program má jenom reagovat na události - příchod dat ze sítě a periférií a na časovač, takže čeká v nekonečné smyčce.

Jestli jsem to dobře pochopil, tak při použití sigwait() by program v nekonečné smyčce volal tuto funkci a rozhodoval, jaký signál přišel a jak se zachovat.

Při jiném řešení už nastávají komplikace s rozlišováním, které všechny signály vlastně přišly.

To znamená, že když nepoužívám sigwait() a přijde víc signálů najednou, že se některé zahodí a nezpracují? Já měl zato, že se nejprve zavolá obsluha jednoho a pak druhého.

Tak jako tak tam ale zůstane problém s výkonností, protože select/poll operace je obecně O(n).

Jasně, proto jsem psal, že předpokládám, že deskriptorů je málo (tento případ rozhodně není to, co je popsáno v blogu - tj. server s mnoha síťovými spojeními, otevřenými soubory apod.)

[Luk]

Tvůj program má jeden velmi zásadní problém. Možnosti obsluhy signálů v handlerech jsou velmi omezené. Nelze využít nic, co není reentrantní - to se týká např. i streamů nebo alokace paměti na heapu. Navíc všechny globální proměnné, na které se v handleru sahá, musejí být deklarovány jako volatile (= rychlost dolů). A tak dále.

Jestli jsem to dobře pochopil, tak při použití sigwait() by program v nekonečné smyčce volal tuto funkci a rozhodoval, jaký signál přišel a jak se zachovat.

sigwait() vrací (resp. zapisuje přes pointer) číslo signálu, který přišel. Funkce sigwaitinfo() a sigtimedwait() dělají totéž, ale navíc ještě poskytují další informace (např. identifikátor časovače, PID ukončeného potomka, PID procesu, který zavolal kill() apod.).

Všechny tyto funkce fungují tak, že se zavolají s blokovanými signály, tyto se uvnitř odblokují, a když přijde první signál (nebo už nějaký čeká), zase se všechny signály zablokují a vyskočí to ven z funkce. To vše atomicky. Pak lze bezpečně a synchronně dělat cokoliv. Takže se to používá tak, že se v nekonečné smyčce volá sigwait() a vždy se podle čísla signálu zjistí, jaká událost nastala.

To znamená, že když nepoužívám sigwait() a přijde víc signálů najednou, že se některé zahodí a nezpracují? Já měl zato, že se nejprve zavolá obsluha jednoho a pak druhého.

Signál se "zahodí" jen v jediném případě - že se jedná o obyčejný (klasický POSIXový, ne-realtime) signál a již nějaký čeká na zpracování. Ovšem když přijde více signálů "najednou" (tedy těsně po sobě), začne se zpracovávat jeden, a pokud ty další nejsou blokované, může kdykoliv začít obsluha jiného (s jiným číslem). Takže to doběhne třeba do půlky handleru a v tu chvíli začne obsluha jiného signálu. Blokace v handleru to úplně neřeší, protože se nemusí stihnout (i když toto není většinou tragédie). Horší ale je, že jsou to pro každý handler 2 syscally navíc, což sežere dost času. Tohle je výhoda sigwait(), že takové problémy se nemusejí vůbec řešit.

[trekker.dk]

Vypadá to pěkně - někdy se na to podívám podrobněji. Navíc obsluhy signálů jako takové se týká jenom malá část kódu, takže by to neměl být problém změnit.

Díky za informace.