AIO - používáte?

13.3.2007 15:55 | Přečteno: 1545× | Software

Osud tomu chtěl, že jsem byl nucen se poněkud důkladněji zabývat problematikou AIO na Linuxu. A tak mě nevyhnutelně napadlo, jestli to vůbec někdo v praxi používá.

AIO je zkratka pro Asynchronous Input/Output. Tedy pro asynchronní řešení operací souvisejících se čtením a zápisem dat. Operace se naplánují, a když nějaká skončí, proces to dostane na vědomí (většinou signálem). Lze startovat čtení i zápis napřeskáčku, páté přes deváté, na různých místech souboru, ať si plánovač poradí.

Na jednu stranu je to velice lákavé - není potřeba nikde složitě čekat, prostě se to spustí a až to doběhne, dá to o sobě vědět. Jenže ono to tak jednoduché není. Jednak se to docela obtížně kombinuje s klasickým synchronním I/O (které se musí používat přinejmenším pro neseekovatelné soubory), a také není legrace ho implementovat v ovladačích zařízení (kvůli tomu už se v LKML nějakou dobu vede diskuse o lepším řešení).

Když si to tak vezmu, zatím jsem se ještě nesetkal s programem, který by AIO používal, nepočítám-li nějaké ukázkové příklady. Reálný program, kde by se to skutečně používalo (a hlavně, kde by to mělo výhody), jsem dosud neviděl.

Proto otázka zní: setkali jste se někdy s AIO na Linuxu? Odpovídejte prosím v anketě.

       

Anketa

Komentáře

[outsider]

Ruku do ohne bych za to nedal, ale pokud si dobre pamatuju, tak to pouzivaji databaze - Oracle i DB2.

[alkoholik]

Dost desivy pripad je Oracle.

[Radek Podgorny]

Ja pouzivam "polo-synchonni IO" Ne, ted vazne... ...pozuivam vetsinou synchronni, ale s tim, ze z hlediska programu je asynchronni. Jinymi slovy mam v programu vice threadu, kdy jeden (nebo vice) se stara o IO a komunikuje s ostatnimi. Ty pak samozrejme nemuseji cekat...

Skutecne asynchronni IO jsem pouzival skoro vyhradne u socketu (tam jsou ruzne "zaseky" docela caste)...

[Kyosuke]

http://www-128.ibm.com/developerworks/db2/library/techarticle/dm-0503szabo/

[Ondrej 'SanTiago' Zajicek]

Ono to funguje (na urovni jadra)? Podle http://lse.sourceforge.net/io/aio.html to funguje jen na soubory otevrene s O_DIRECT. Nicmene je mozne, ze ten text je neaktualni.

[Luk]

Ano, je to tak, patche pro bufferované AIO na běžných souborech (přes standardní filesystémy) zatím nebyly začleněny do hlavního stromu, proto to funguje jen při přímém přístupu (O_DIRECT).

[Bluebear]

Podle toho, co jsem slyšel, je implementace AIO v linuxovém glibc problematická, protože v jádře je tahle věc udělaná dost jinak, než jak předpokládá interface AIO. Proto glibc dělá různou magii, aby ten interface poskytlo, a vcelku je to spíš softwarová emulace než opravdová implementace.

[Bluebear]

Ještě bych dodal, že ta implementace AIO je zatížena klasickou filozofií GNU libc: "ověřování platnosti parametrů je zbytečné zdržování". Zejména se neověřuje platnost pointerů.

[Luk]

No, pokud platnost pointerů ověřuje jádro, což je standardní záležitost, byla by mnohdy dvojitá kontrola zbytečná. Pokud jde ale o pointery používané uvnitř knihovny (tj. nikoli přímo do syscallu), pak je to napováženou

[Luk]

vcelku je to spíš softwarová emulace než opravdová implementace

V glibc je to bohužel ryze softwarová emulace a s plnohodnotným AIO nemá nic společného. Prostě se vytvoří vlákno a to volá normální synchronní operaci. Navenek se to pak sice tváří jako AIO, ale má to dost podstatnou režii.

Měl jsem na mysli opravdové AIO, které ovšem glibc vůbec nijak nepodporuje (musí se použít jiné řešení, např. libaio).

[zde]

Samozřejmě že AIO používám, zejména při make menuconfig. Od té doby co je jeho podpora v jádře volitelná je to jedna z prvních věcí kterou nastavuji na ne, děkuji uctivě. AIO je potřeba velmi málo, a když už, forknutí threadu který bude dělat synchronní IO na pozadí je minimálně stejně dobré jako ono asynchronní IO.

[michich]

Co máš za jádro a jak se ta volba CONFIG_* jmenuje?

[Luk]

U 2.6.19 AFAIK žádná taková volba není. Možná u 2.6.20 už něco je, to nevím, nekompiloval jsem.

[zde]

Jde o no-aio.patch z Linux-Tiny, a volbu CONFIG_AIO.

[Luk]

forknutí threadu který bude dělat synchronní IO na pozadí je minimálně stejně dobré jako ono asynchronní IO

To není pravda. Vzhledem ke značné režii na systémová volání a na přepínání kontextu tam bude poměrně velký rozdíl ve výkonu. Pravdou ovšem je, že u většiny aplikací to příliš nevadí, protože úzké hrdlo je jinde.

[zde]

Myslím že speciálně Linux má přepínání threadů opravdu velmi rychlé..