Jaderné noviny - 9. 1. 2008

12. 2. 2008 | Robert Krátký

Články - Jaderné noviny - 9. 1. 2008  

Aktuální verze jádra: 2.6.24-rc7. Citáty týdne: Al Viro, Ted T'so. 2.6.24 - trocha statistik. Linux trace toolkit - nová generace.

Obsah

• Aktuální verze jádra: 2.6.24-rc7
• Citáty týdne: Al Viro, Ted T'so
• 2.6.24 - trocha statistik
• Linux trace toolkit - nová generace

Aktuální verze jádra: 2.6.24-rc7

Aktuální předverze je 2.6.24-rc7, vydaná 6. ledna, Obsahuje slušnou řádku oprav a také implementaci /proc/slabinfo pro alokátor SLUB. O dlouhé době mezi vydáním jednotlivých verzí Linus Torvalds řekl: Budu shovívavě tvrdit, že to je kvůli stabilizaci a ne kvůli tomu, že byli přes prázdniny všichni namol. Krátký changelog je součástí oznámení; podrobnosti najdete v dlouhém.

V hlavním git repozitáři je v tuto chvíli už několik desítek patchů pro -rc7.

Aktuální stabilní verze jádra řady 2.6 je 2.6.23.13, vydaná 9. ledna. Tato aktualizace bude zajímat jen uživatele ovladače w83627ehf pro monitorování hardwaru. Greg KH k tomu řekl: Přišla mi soukromá zpráva, že by tahle chyba mohla způsobovat trvalé poškození hardwaru. V současné době pro to nemám definitivní důkaz, ale naneštěstí to kvůli nedostatku dokumentace nemohu vyloučit.

Starší jádra: 2.6.16.58-rc1 vyšlo 6. ledna s přibližně desítkou oprav, z nichž některé se týkají bezpečnosti.

Citáty týdne: Al Viro, Ted T'so

A co zaručí, že k tomu nedojde, ještě než se dostaneme ke zpětnému volání? Pokud vím, tak vůbec nic...

A když se to stane, tak se rdev uvolní (pomocí rdev_free(), coby ->release() &rdev->kobj), než se dostaneme k delayed_delete(). Což všechno krásně vysvětluje.

-- Al Viro ukazuje, jak debugovat problémy v jádře.

Skutečnost, že se mohu na plný úvazek věnovat práci na Linuxu, považuji za velké štěstí. Ale pokud tobě to tak nepřipadá, tak přijmi mou upřímnou soustrast a dělej to, co těší tebe.

-- Ted Ts'o předvádí, jak trollům odpovídat na úrovni.

2.6.24 - trocha statistik

Vydání 2.6.24 už se blíží [v době vydání JN už jádro 2.6.24 vyšlo] - i když je pravděpodobné, že se ještě dočkáme jedné -rc. Tempo změn se však výrazně zpomalilo a dochází k odstraňování posledních regresí. Je tedy příhodná chvíle se podívat na patche, které se do jádra dostaly, a kde se vzaly.

Tentokrát jde, hned v mnoha směrech, o rekordní vývojový cyklus. Doposud bylo začleněno přes 10 tisíc sad změn a přibylo skoro 300 tisíc řádků kódu. Tímto kódem přispělo 950 vývojářů, z nichž 358 poslalo jen jeden patch. Pro srovnání: v předchozím cyklu (2.6.23) bylo začleněno přibližně 6200 patchů od 860 vývojářů. Není tedy překvapivé, že příprava 2.6.24 trvala déle.

Podívejme se tedy na seznam přispěvatelů:

Nejaktivnější vývojáři 2.6.24

podle sad změn Thomas Gleixner 362 3,6 % Bartlomiej Zolnierkiewicz 205 2,0 % Adrian Bunk 190 1,9 % Ralf Baechle 176 1,8 % Pavel Emelyanov 146 1,5 % Ingo Molnár 141 1,4 % Tejun Heo 138 1,4 % Paul Mundt 131 1,3 % Johannes Berg 119 1,2 % Al Viro 116 1,2 % Takashi Iwai 115 1,1 % Jeff Garzik 107 1,1 % David S. Miller 102 1,0 % Matthew Wilcox 97 1,0 % Jens Axboe 89 0,9 % Krzysztof Helt 89 0,9 % Stephen Hemminger 86 0,9 % Rusty Russell 86 0,9 % Alan Cox 85 0,8 % Herbert Xu 84 0,8 %

podle změněných řádků Thomas Gleixner 46358 5,9 % Zhu Yi 35133 4,5 % Auke Kok 25861 3,3 % Michael Buesch 24480 3,1 % Ivo van Doorn 22178 2,8 % Matthew Wilcox 20416 2,6 % Adrian Bunk 19050 2,4 % Larry Finger 15003 1,9 % David S. Miller 14315 1,8 % Andy Gospodarek 13814 1,8 % Nathanael Nerode 12821 1,6 % Jeff Dike 11103 1,4 % Johannes Berg 10118 1,3 % Ralf Baechle 9555 1,2 % Scott Wood 9328 1,2 % Krzysztof Helt 8162 1,0 % Kumar Gala 8002 1,0 % Jeff Garzik 7689 1,0 % David Gibson 7284 0,9 % Michael Hennerich 7181 0,9 %

Podle obou způsobů počítání vychází jako vítěz Thomas Gleixner kvůli jeho práci na sjednocení architektur i386/x86_64. Dát tyto architektury dohromady a zařídit, aby výsledek fungoval, to byl velký úkol; práce bude pokračovat i v nadcházejících vývojových cyklech. (Pro zvědavé: pouze přejmenované soubory nebyly při počítání brány jako "změněné řádky".) Spoustu těch patchů také podepsal Ingo Molnár, ale git ukládá jako autora sady změn jen jedno jméno.

Mezi další přispěvatele s velkými počty změn patří Bartlomiej Zolnierkiewicz (hodně patchů v ovladačích IDE), Adrian Bunk (úklid ve všech částech jádra), Ralf Baechle (práce na architektuře MIPS), Pavel Emelyanov (především jmenné prostory sítí a PID), Tejun Heo (SATA a čistky v sysfs), Johannes Berg (bezdrátové síťování) a Al Viro (hlavně anotační patche a související opravy). Když se podíváte na počet změněných řádků, tak se seznam vývojářů skoro úplně změní: Zhu Yi (ovladač iwlwifi), Auke Kok (ovladač e1000), Michael Buesch (bezdrátové síťování a ovladač b43), Ivo van Doorn (bezdrátový ovladač rt2x00), Matthew Wilcox (SCSI, hlavně ovladače advansys a sym53c8xx), Adrian Bunk (čistky a mazání kódu), Larry Finger (hlavně přidání staršího ovladače b43) a David Miller (síťování a SPARC64).

Pokud přiřadíte příspěvky vývojářů zaměstnavatelům, vypadá tabulka takto:

Nejaktivnější zaměstnavatelé

podle sad změn žádný 1417 14,1 % neznámý 1108 11,1 % Red Hat 1045 10,4 % IBM 819 8,2 % Novell 680 6,8 % Intel 446 4,5 % linutronix 369 3,7 % Oracle 240 2,4 % SWsoft 212 2,1 % CERN 205 2,0 % Movial 190 1,9 % Linux Foundation 190 1,9 % MIPS Technologies 176 1,8 % Renesas Technology 140 1,4 % (Academia) 132 1,3 % Freescale 126 1,3 % MontaVista 122 1,2 % Analog Devices 115 1,1 % (konzultant) 112 1,1 % NetApp 101 1,0 %

podle změněných řádků žádný 140730 18,0 % neznámý 121511 15,5 % Intel 114990 14,7 % Red Hat 58858 7,5 % IBM 51777 6,6 % linutronix 47968 6,1 % Novell 29856 3,8 % Movial 19093 2,4 % Freescale 15262 1,9 % Analog Devices 14971 1,9 % MIPS Technologies 11726 1,5 % SWsoft 8331 1,1 % Linux Foundation 7917 1,0 % Oracle 7777 1,0 % Atmel 7125 0,9 % CERN 6618 0,8 % Renesas Technology 6414 0,8 % Google 6373 0,8 % MontaVista 6026 0,8 % NetApp 5620 0,7 %

V mnoha směrech vypadají tyto seznamy podobně jako ty u předcházejících jader [viz 2.6.22 a 2.6.23]. Několik věcí se však tentokrát liší:

• Intel se dostal na špičku seznamu "podle změněných řádků" - a ne jen o kousek. Je to díky práci čtyř vývojářů z nejaktivnější dvacítky, ale také díky mnoha dalším, kteří do 2.6.24 přispěli. V Intelu na jádře pracuje hodně lidí, z nichž mnoho není moc na očích.


• Movial se na seznam dostal poprvé, a to kvůli zaměstnání velmi aktivního vývojáře.


• Zvyšil se také objem práce, kterou udělali lidé pracující ve svém vlastním čase. To je však také zásluhou toho, že máme kompletnější informace - mnoho vývojářů se přesunulo z kategorie "neznámý". Docela dost práce bez zaměstnavatele se u tohoto jádra událo ve stromu bezdrátového síťování; vzhledem k tomu, že hodně práce v této oblasti v současnosti zahrnuje reverzní inženýrství, není se co divit, že to moc firem nechce sponzorovat.

Podtrženo sečteno, u přispěvatelů do jádra 2.6.24 bylo identifikováno přibližně 130 různých zaměstnavatelů. To je hodně společností, které pracují na jednom projektu.

Pohled na položku Signed-off-by [podepsal] je vždycky zajímavý; odstraníme-li podpisy, které přidali samotní autoři, tak získáme seznam "vrátných" - těch, kteří kód směrují do jádra. Následuje přehled lidí, kteří podepsali nejvíce patchů, které sami nenapsali:

Podpisy v 2.6.24

podle vývojáře Andrew Morton 1679 17,6 % David S. Miller 894 9,4 % Jeff Garzik 631 6,6 % Ingo Molnár 626 6,6 % John W. Linville 413 4,3 % Mauro Carvalho Chehab 367 3,9 % Greg Kroah-Hartman 337 3,5 % Paul Mackerras 305 3,2 % Jaroslav Kysela 284 3,0 % James Bottomley 260 2,7 % Linus Torvalds 250 2,6 % Thomas Gleixner 216 2,3 % Bryan Wu 166 1,7 % Takashi Iwai 115 1,2 % Jens Axboe 113 1,2 % Len Brown 113 1,2 % Avi Kivity 107 1,1 % Roland Dreier 107 1,1 % Ralf Baechle 96 1,0 % Adrian Bunk 88 0,9 %

podle zaměstnavatele Red Hat 2935 30,2 % Linux Foundation 1929 19,9 % žádný 823 8,5 % neznámý 736 7,6 % Novell 636 6,6 % IBM 584 6,0 % Intel 318 3,3 % linutronix 216 2,2 % Analog Devices 175 1,8 % SGI 141 1,5 % Oracle 133 1,4 % Cisco 107 1,1 % Qumranet 107 1,1 % NetApp 106 1,1 % MIPS Technologies 96 1,0 % Movial 88 0,9 % (konzultant) 85 0,9 % Renesas Technology 84 0,9 % Cendio 43 0,4 % CERN 40 0,4 %

Oproti předchozím vývojovým cyklům došlo k mnoha změnám. Ačkoliv je poměrně dost vývojářů, kteří kód podepíší a předají dál, pracují pro malý počet firem - 7 zaměstnavatelů pokryje 70 % neautorských podpisů.

A konečně, protože začíná nový rok, měli bychom se podívat na celý uplynulý rok 2007. V roce 2007 Linus začlenil více než 30 000 sad změn (více než 80 denně) od 1900 vývojářů, kteří pracovali pro (přinejmenším) 200 firem. Změnilo se přes 2 milióny řádků kódu a jádro se rozrostlo o 750 000 řádků. Jinými slovy, vývojáři denně sáhnou na průměrně 5 000 řádků kódu - to je vysoké tempo změn. Nejaktivnější přispěvatelé (podle sad změn) byli:

Nejaktivnější v roce 2007

podle vývojáře Ralf Baechle 507 1,7 % Thomas Gleixner 485 1,6 % David S. Miller 468 1,6 % Adrian Bunk 439 1,5 % Tejun Heo 394 1,3 % Ingo Molnár 351 1,2 % Paul Mundt 351 1,2 % Al Viro 337 1,1 % Bartlomiej Zolnierkiewicz 330 1,1 % Andrew Morton 319 1,1 % Stephen Hemminger 302 1,0 % Patrick McHardy 277 0,9 % Alan Cox 270 0,9 % Takashi Iwai 269 0,9 % Trond Myklebust 256 0,9 % David Brownell 254 0,8 % Avi Kivity 229 0,8 % Jeff Dike 227 0,8 % Jeff Garzik 216 0,7 % Jean Delvare 215 0,7 %

podle zaměstnavatele žádný 4881 16,2 % Red Hat 3441 11,4 % neznámý 2933 9,7 % IBM 2379 7,9 % Novell 2054 6,8 % Intel 1060 3,5 % Linux Foundation 784 2,6 % Oracle 677 2,2 % (konzultant) 631 2,1 % MIPS Technologies 507 1,7 % linutronix 507 1,7 % Renesas Technology 394 1,3 % (Academia) 392 1,3 % SWsoft 384 1,3 % SGI 368 1,2 % MontaVista 342 1,1 % CERN 330 1,1 % Freescale 291 1,0 % NetApp 279 0,9 % Astaro 277 0,9 %

Sluší se poznamenat, že čísla u zaměstnavatelů jsou o něco hrubější než obvykle. Někteří vývojáři v průběhu roku změnili zaměstnavatele, ale LWN z principu neudržuje databázi vývojářů a jejich zaměstnavatelů. I tak je obrázek relativně neměnný - některé společnosti dlouhodobě přispívají přibližně stejným počtem patchů.

Celkově lze říci, že je z těchto čísel poznat zdravá a široce rozšířená vývojářská komunita. Nevypadá to, že by byl nedostatek pracovních příležitostí pro vývojáře jádra, ale je tu i místo pro ty, kdo nepracují z kanceláře. Tisíce lidí pracují na vylepšování jádra a nezdá se, že by se v budoucnosti mělo něco měnit.

Jonathan Corbet by za pomoc se zlepšováním těchto statistik rád poděkoval Gregovi KH.

Linux trace toolkit - nová generace

Zařídit, aby běžící jádro umělo debugovat nebo profilovat, to by si přálo hodně administrátorů a vývojářů. Stoupenci OpenSolarisu rádi ukazují na DTrace jako na funkci, které se Linuxu nedostává, i když SystemTap zkracuje náskok. Linux Trace Toolkit next generation (LTTng) využívá jiný přístup a nedávno byl navržen k začlenění do jádra (dva patche: nezávislý na architektuře a závislý na architektuře).

LTTng spoléhá na jaderné značkovače [kernel markers], které mají poskytnout sadu statických kontrolních bodů [probe points] pro sledování aktivit jádra. K dispozici je i možnost sledování uživatelských programů a kombinování těchto dat s údaji o sledování jádra, přičemž výsledkem má být detailní pohled na vnitřnosti systému. Na rozdíl od jiných nástrojů LTTng co možná nejefektivněji ukládá data k pozdějšímu zpracování. To je rozdíl oproti DTrace a SystemTap, které mají oba své vlastní minijazyky, které určují, co dělat, když se dosáhne jednotlivých kontrolních bodů.

Jedním ze základních designových cílů LTTng je mít co nejmenší vliv na systém - nejen když probíhá sledování, ale i když je vypnuté. Vývojáři jádra jsou dost rezervovaní vůči debugovacím řešením, která ovlivňují výkon, i když nejsou používána. Kromě toho by jakékoliv výrazné prodlevy při používání sledování mohly změnit chování systému natolik, že by se studovaná chyba nebo situace neprojevila. Proto jde LTTng jinou cestou než různá dynamická sledovací řešení - vyhýbá se režii přerušení používáním statických značkovačů.

Dalším zásadním požadavkem je poskytovat pro události rovnoměrně vzrůstající časová označení. Původní LTT používá časové značky [timestamps] odvozené z jaderného času založeného na Network Time Protocol (NTP), který může kvůli úpravám kolísat - někdy dokonce i dozadu. LTTng používá časové značky odvozené z hardwarových hodin, které fungují na různých architekturách procesorů a rychlostech hodin. Navíc mohou být časové značky na víceprocesorových systémech porovnávány mezi jednotlivými procesory.

Když LTTng shromažďuje své údaje, používá relayfs pro přenos dat uživatelskému démonu (lttd), který je zapisuje na disk. Démon je spouštěn prostřednictvím nástroje lttctl, jenž ovládá nastavení sledování v jádře přes netlink soket. Uživatel může použít lttctl pro spuštění nebo zastavení sledování; jakmile je sledování dokončeno, je možné data prohlédnout a analyzovat.

LTT prohlížeč (LTTV) je program, který se používá k analýze sebraných dat. K dispozici je GUI i textové rozhraní - obě varianty interpretují binární data, která generuje LTTng, a ukazují je uživateli. Při používání nástroje LTTng nejsou mnohagigabajtové soubory ničím neobvyklým, takže pro vizualizaci a filtrování, aby se mohl uživatel zaměřit na konkrétní události, je nástroj jako LTTV nezbytný. LTTV podporuje pluginy, takže si uživatelé mohou vyvinout vlastní zobrazovací a analytické nástroje, ale používat přitom filtrovací možnosti LTTV.

Výhodou používání statických kontrolních bodů (i když v tom někdo může spatřovat nevýhodu) je skutečnost, že mohou být spravovány zároveň s jaderným kódem, pro který jsou určeny. Pokud by byl začleněn patch s jadernými značkovači, mohly by subsystémy přidávat kontrolní body na místa, která by je zajímala, a tyto značkovače by pak zůstaly v kódu a byly by aktualizovány zároveň se změnami kódu. Jiná řešení spoléhají na srovnávání externího seznamu bodů s verzí běžícího jádra, což může mít za následek chybná přiřazení a nesprávná sledování. Navíc bude moci začleněné značkovače používat i SystemTap, takže uživatelé, kteří by mu dali přednost, by na tom také vydělali.

LTTng je vyvíjen na École Polytechnique de Montréal za podpory několika linuxových společností. Vypadá to jako dobře promyšlený systém, který staví na práci, jež byla v oblasti sledování udělána už dříve. Určitě se nedostane do 2.6.24, ale vypadá to, že by mohl mít dobrou šanci se prosadit v některém z pozdějších vývojových cyklů.

Diskuse k tomuto článku

[Stara Blazkova]

Neviete ci uz vyvojari fixli Local root exploit?

[Filip Jirsák]

Víme, vlevo hleď: zprávička ze včera 17.38.

[Kvakor]

Ano, ve 2.6.24.2 je uz fixnuty.

[Filip Jirsák]

V posledním oddíle 2. odstavec prgramů → programů

O odstavec dál cestoy → cestou

Předposlední odstavec uživatelé, kteří by mu dali přednost, by na to také vydělali → na tom (alespoň předpokládám, i když věta s „to“ má zajímavý význam

[Robert Krátký]

Dík.

[kkaarreell]

Jen blbost, ve vete "Ivo van Doorn (bezdrátový ovladač rt2x00" chybi uzaviraci zavorka.

A kdopak je ten tajemny "neznamy" zamestnavatel, jaderny fantom, ktery ma na svedomi tolik zmen v jadre? Mate nekdo podezreni?

[Andy]

taky me to zajimalo :)

[pushkin]

Měl bych dotaz k oné chybě v modulu w83627ehf ... nachází se podobný problém s případnou destrukcí HW i v jádře 2.6.22.13? Případně bude tento problém v řadě 2.6.22.XX odstraněn také?

[Kvakor]

Destrukce hardware? Nasel jsem o tom sice jednu zminku tady, ale tam to neni nijak popsano. Nevi o tom nekdo neco?