Jaderné noviny – 31. 5. 2013: Práce na kdbusu pokračují

17. 6. 2013 | Luboš Doležel | Jaderné noviny | 3334×

Aktuální verze jádra: 3.10-rc3. Stav Linux Kernel Internships. IPC na Linuxu a kdbus.

Obsah

• Aktuální verze jádra: 3.10-rc3
• Stav Linux Kernel Internships
• IPC na Linuxu a kdbus
• Android IPC
• D-Bus
• kdbus
• Aktuální stav kdbusu

Aktuální verze jádra: 3.10-rc3

Aktuální vývojová verze jádra je 3.10-rc3 vydaná 26. května s trochou reptání kvůli tomu, že obsahovalo více změn, než si Linus představoval. Mohu vám téměř zaručit, že -rc4 bude menší, protože (a) budu nevrlý, pokud se lidé budou snažit protlačit toho víc jako se to stalo u rc3 a (b) budu po většinu příštího týdne cestovat (a také část dalšího týdne). Budu mít internet, ale opravdu opravdu doufám a očekávám, že se to bude uklidňovat. Souhlasíte? SOUHLASÍTE, PÁNOVÉ?

Stabilní aktualizace: verze 3.9.4, 3.4.47 a 3.0.80 vyšly 24. května.

Stav Linux Kernel Internships

Sarah Sharp dává vědět, jaká byla reakce na nabídku linuxových stáží pro ženy („OPW“). Jako koordinátorka programu OPW pro linuxové jádro jsem měla obavy, jestli by zájemkyně dokázaly své patche dostat do jádra. Všichni vědí, že správci jádra jsou ti nejvybíravější bastardi^Wperfekcionisti co se týče stylu kódu, náležitého Signed-off-by, používání prostého textu v mailech apod. Myslela jsem si, že několik účastníků dokáže dotáhnout do konce možná tak jeden patch nebo dva. Ale to jsem se naprosto mýlila! Nakonec to dopadlo tak, že 41 osob podalo přihlášku a 18 z nich zaslalo 374 patchů, z nichž 137 bylo přijato.

IPC na Linuxu a kdbus

Na letošním sumitu Linux v automobilovém průmyslu hovořil Greg Kroah-Hartman o meziprocesové komunikaci (IPC) v jádře se zaměřením na důvody pro vývoj kdbus. Práce na kdbus pokračují dobře a Greg se optimisticky vyjádřil v tom smyslu, že by rád viděl kód začleněný do konce roku. Mimo nabídnutí rychlejšího D-Busu (čehož by podle něj mělo být možné dosáhnout i bez přesunu do jádra) doufá, že kdbus dokáže nahradit mechanismus Binder IPC na Androidu.

Text byl redakčně zkrácen, původní úplné znění naleznete v originále.

Android IPC

Všechny stávající mechanismy pro IPC Androidu nestačily, a tak tento projekt přidal ashmem, pmem a binder. Ashmem je dle jeho slov „POSIXová sdílená paměť pro lenivé“. Vývojáři Androidu se rozhodli namísto kódu pro uživatelský prostor napsat kód do jádra. Ashmem používá virtuální paměť a může odstranit segmenty paměti, jakmile je v systému paměti málo. V současnosti přebývá ashmem ve stromu staging, ale Greg si myslí, že Google přechází k jiným technikám, takže to může časem zmizet.

Pmem je mechanismem pro sdílení fyzické paměti. Používal se pro komunikaci s GPU. Nové verze Androidu jej nepoužívají, takže také může zmizet. Místo pmem Android používá alokátor paměti ION.

Binder je „zvláštní“, řekl Greg. Pochází z BeOS a jeho autoři z univerzitního prostředí. Bylo to vyvinuto a používáno na systémech bez API pro System V IPC a přes Palm a Danger se to dostalo do Androidu. Je to „docela jako D-Bus“ a někteří (včetně něj) by se dohadovali, že by Android měl místo něj použít D-Bus, ale nestalo se tak. Patří k němu velká knihovna v uživatelskému prostoru, kterou je nutné používat.

Binder má řadu závažných bezpečnostních problémů při použití mimo prostředí Androidu, takže Greg zdůraznil, že by jej nikdy neměly používat jiné linuxové systémy.

Na Androidu se binder používá pro „intenty“ a oddělení aplikací; hodí se pro předávání drobných zpráv, nikoliv však obrázků nebo proudů dat. Můžete jej použít pro předání popisovače souboru jinému procesu. Není nijak zvlášť efektivní, jelikož odeslání zprávy znamená mnoho skákání napříč knihovnou. V prezentaci z letošního Android Builders Summit je vidět, že pro jednu zprávu je nutné provést osm přechodů mezi jádrem a uživatelským prostorem.

D-Bus

D-Bus je řešení pro zasílání zpráv v uživatelském prostoru se silným typováním a ošetřováním životního cyklu procesů. Aplikace si mohou zažádat o zprávy a typy zpráv, které je zajímají. Mohou také vytvořit aplikační řadič [application bus] a naslouchat, aby přijímaly zprávy určené právě jim. Je rozšířený na linuxových desktopech i serverech, je dobře otestovaný a také i dobře zdokumentovaný. Používá IPC operačního systému a může běžet na unixových systémech i na Windows.

Vývojáři D-Busu vždycky říkali, že není optimalizovaný pro rychlost. Původní vývojář Havoc Bennington vytvořil seznam nápadů, jak jej zrychlit, kdyby měl někdo zájem, ale rychlost nebyla hlavním důvodem, proč vznikl. V oblasti automobilů nicméně vznikly různé snahy o urychlení D-Busu.

Příkladem budiž AF_BUS, které vzniko kvůli tomu, že pro multimediální systémy v automobilech byl potřeba vyšší výkon D-Busu. Firma Collabora dostala zaplaceno od GENIVI, aby vymyslela řešení, a výsledkem bylo právě AF_BUS. Místo čtyř systémových volání pro přenos zprávy přes D-Bus to díky AF_BUS kleslo na dvě. Jenže toto řešení bylo správci podpory sítí v jádře zavrženo.

Projekt systemd přepsal libdbus s cílem zjednodušit kód, ale nakonec to vedlo i k významnému zlepšení D-Busu. V prvotních benchmarcích BMW zjistilo, že se výkon knihovny D-Bus zvýšil o 360 %. To nikdo nečekal, ale při přepisu se některé věci zkrátily a vývjáři se řídili radami od Penningtona. Gregův závěr je ten, že „jestli chcete rychlejší D-Bus, tak přepište démona a nemotejte se kolem jádra“. Například existuje i implementace v Go, která je „opravdu rychlá“. IPC mechanismy linuxového jádra jsou rychlejší než na jakémkoliv jiném systému, i když by to u některých IPC nemuselo být v porovnání s BSD tak jednoznačné.

kdbus

V projektu GNOME se plánuje vytvoření čehosi nazývaného „portály“, co aplikace GNOME obalí do kontejnerů. To by umožnilo současný běh aplikací z různých verzí GNOME a také oddělení aplikací, takže špatně se chovající nebo zákeřné aplikace by nemohly ovlivnit jiné. Součástí by pak bylo i něco jako intenty na Androidu, ale to je podle Grega ještě daleko. Portály jsou jedním z hlavních důvodů pro vznik kdbusu.

Takže tu máme potřebu rozšířeného D-Busu s dodatečnými funkcemi. Na nedávném GNOME hackfestu se sešli Kay Sievers, Lennart Poettering, Kroah-Hartman a další vývojáři GNOME, aby prodiskutovali nové schéma zasílání zpráv, kterým je právě kdbus. Bude podporovat multicast a zprávy pro jediného adresáta bez nadbytečných probuzení od jádra. Kdbus nebude mít žádná blokující volání, na rozdíl od binderu, jelikož API kdbusu je zcela asynchronní.

Místo třídění zpráv v uživatelském prostoru to kdbus bude provádět v jádře pomocí Bloom filtrů, což na rozdíl od D-Busu umožní, aby byl probuzen pouze cílový proces. Bloom filtrům se nedávno dostalo pozornosti díky lidem z Googlu a jde o matematické schéma používající hashe pro velmi rychlé vyhledávání.

Kdbus poskytne záruky na pořadí doručování, takže zprávy budou přijaty v pořadí podle odeslání. Jen jádro může něco takového zaručit a aktuálně proto D-Bus dělá hodně práce navíc, aby toto pořadí zaručil. Záruka se vztahuje jen na zprávy poslané jediným procesem, pořadí zpráv odeslaných „souběžně“ z několika procesů není zaručeno. Bude podporováno i předávání popisovačů souborů.

Jelikož je kdbus v jádře, získává řadu vlastností téměř zdarma. Respektuje jmenné prostory a k tomu je integrovaný do subsystému audit, což je důležité pro enterprise distribuce. Přidání podpory pro SELinux bylo pro D-Bus velmi náročné, ale kdbus podporuje Linux Security Modules (LSM), takže má podporu SELinuxu (Smack, TOMOYO, AppArmor, ...) bez práce.

Aktuální stav kdbusu

Aby byl kdbus otestován, tým systemd nahradil D-Bus v systemd kdbusem. Kód je k dispozici ve stromu systemd, ale stále se na tom pracuje. Vývojáři kdbusu ještě ani neřeší rychlost, ale podle nějakých primitivních testů je to „velmi rychlé“. Kdbus vyžaduje aktuální jádro, jelikož používá řídící skupiny (cgroups); navíc vyžaduje patche, které se dostaly jen do jader 3.10-rc.

Plánem je začlenit kdbus, až bude „hotový“, což by snad mělo být do konce tohoto roku. Lidé spravující binder v Google by navíc byli ochotní na kdbus přejít, protože by jim to umožnilo se zbavit spousty kódu. Kdbus nebude „škálovat do cloudu“, protože slouží jen k zasílání zpráv v rámci jediného systému. Pro zasílání zpráv mezi systémy tu máme jiné protokoly.

Nakonec se někdo zeptal, zda je Linus Torvalds kdbusu „nakloněn“. Greg řekl, že neví, ale kdbus je soběstačný, takže si nemyslí, že by jej Linus blokoval. Marcel Holtmann řekl, že to Linusovi „nevadilo“, když před šesti lety bylo navrženo něco podobného. Greg poznamenal, že těžší může být dostat se přes Ala Vira, jenže binder je „děsivý kód“ a Al byl právně jediním z těch, kdo v něm našli problémy.

V současnosti se pracuje na úspěšném bootu se systemd používajícím kdbus. Pro kdbus už existují nějaké testy, ale boot systemd jim dodá hodně důvěry. Jaderná stránka věci je hotová, ale to si mysleli i dřív a pak Heo přišel s variantou bez a s jediným kopírováním paměti. Byl by rád, kdyby kdbus byl začleněn do konce roku, ale i kdyby se tak nestalo, nemělo by to trvat o moc déle, a vyzývá lidi, aby v budoucnu zvažovali použití kdbusu.

       

Komentáře

[pc2005]

SOUHLASÍTE, PÁNOVÉ?

Vsadím se, že vývojářům to připadalo jako hlas přímo z hlavy zvukem zavíraného olověného víka .

[Michal Kubeček]

Ne nadlouho - aspoň podle oznámení o 3.10-rc5. :-)

[Nikola Ciprich]

JOOOO :) nejvyšší čas si zase něco přečíst :)

[Salamek]

No ja doufam ze tenhle zvuk brzo uslysi vyvojari GNOME :P

[BrainLess]

Bennington nebo Pennington ?

[Tomáš Bžatek]

Bennington je co/kdo?

[Tomáš Bžatek]

Aha, to je tak, kdyz cte nekdo rovnou puvodni verzi

[Bedňa]

Čo je dědět? :)

[ebik]

(Grammar/trnslate nazi alert) ... Myslela jsem si, ze nekolik ucastnic ...

[Bedňa]

Pičo, že tebe tam toho chýba viac