Jaderné noviny – 29. 11. 2012: Commit, který nikdo neviděl

17. 12. 2012 | Luboš Doležel | Jaderné noviny | 4257×

Aktuální verze jádra: 3.7-rc7. Citáty týdne: Linus Torvalds, Paul McKenney, Andrew Morton. Neinicializované bloky a neočekávané příznaky: Jak to bylo; Překvapivý příznak.

Obsah

• Aktuální verze jádra: 3.7-rc7
• Citáty týdne: Linus Torvalds, Paul McKenney, Andrew Morton
• Neinicializované bloky a neočekávané příznaky
• Jak to bylo
• Překvapivý příznak

Aktuální verze jádra: 3.7-rc7

Aktuální vývojová verze jádra je 3.7-rc7 vydaná 25. listopadu. Před týdnem jsem dokonce zvažoval, že úplně přeskočím -rc7, tak klidné věci byly, ale rozhodl jsem se, že nebyl důvod vydání uspěchat. A bohužel jsem i měl pravdou. Toto by mohlo být poslední -rc, pokud testování proběhne bez problémů.

Stabilní aktualizace: verze 3.0.53, 3.4.20 a 3.6.8 vyšly 26. listopadu.

Citáty týdne: Linus Torvalds, Paul McKenney, Andrew Morton

Tak jo, chlapi. Souboj v kleci!

Pravidla jsou jednoduchá, vejdou dva muži, ale odejde jen jediný.

Vítěz bude mít možnost mi vysvětlit, které patche mám aplikovat a které mám revertovat, jestli nějaké takové jsou.

-- Linus Torvalds a jeho nový rozhodovací proces

A ano, to je ta zajímavá věc na „spravedlnosti“ – existuje spousta pěkných definic, ty nejužitečnější se přitom zdají být evidentně nespravedlivé.

-- Paul McKenney

Moje motající se hlava upadla na podlahu a teď si vrtá cestu do Číny.

-- Andrew Morton

Neinicializované bloky a neočekávané příznaky

Jednou z často slýchaných stížností v raných dobách BitKeeperu bylo to, že se kód mohl dostat do hlavní řady bez průchodu mailing listem, BitKeeper usnadňoval správcům protlačování změn bez vědomí ostatních. Tyto obavy byly povětšinou nepodložené; když došlo na překvapení, reakce komunity se vždy postarala o to, že se to už nikdy neopakovalo. Jenže někteří vývojáři tvrdí, že jádro 3.7 obsahuje právě takovouto sortu utajených změn a dožadují se odstranění.

Jak to bylo

Systémové volání fallocate() umožňuje aplikacím požádat o efektivní alokaci bloků v souboru. Použití fallocate() umožňuje procesu ověřit, že je k dispozici dostatek místa na disku, usnadňuje systému souborů alokovat všechen prostor v jediné souvislé skupině a zbavujeme se tak režie, kterou by alokace po blocích způsobila. Při nedostupnosti implementace fallocate() (každý systém souborů musí funkci implementovat po svém) ji knihovna C emuluje prostým zápisem nul do dané oblasti; takto je prostor alokován, ale není to tak efektivní, jak bychom si mohli přát. Implementace fallocate() v rámci systémů souborů se snaží být efektivnější; jedním řešením je vyhnout se zápisu nul do nově alokovaných bloků.

Ponechávání starých dat v alokovaných blocích má důsledky pro bezpečnost: zákeřná aplikace by mohla tyto bloky číst a doufat v nalezení důvěrných dokumentů, hesel nebo chybějícího oznámení o vydání Fedory 18 Beta. Aby k tomuto nedocházelo, tak ext4 označuje nezapsané bloky jako neinicializované; jakýkoliv pokus o čtení těchto bloků bude odchycen a dojde k návratu nul. Obvykle bude aplikace data nejdřív zapisovat než číst; zápis evidentně bloky inicializuje, aniž by se do nich musely nejprve zapsat nuly. Tato implementace se zdá být optimální.

Až na to, že ext4 označuje neinicializované bloky na úrovni extentů (skupina souvislých bloků). Pokud tedy aplikace zapíše jeden neinicializovaný blok, nadřazený extent musí být rozdělen a nově zapsané bloky se pokud možno přidávají k předchozímu extentu. To je náročnější, než by se některým uživatelům líbilo. Proto se hledala nějaká zkratka.

Zkratka se objevila poprvé v dubnu 2012 v podobě nového příznaku fallocate() zvaného FALLOC_FL_NO_HIDE_STALE. Pokud bylo fallocate() zavoláno s tímto příznakem, tak byla data označena jako inicializovaná, ačkoliv stará data zůstala netknutá. To zjevně způsobuje návrat starých bezpečnostních problémů; aby byl problém potlačen, patch přidával novou volbu pro mount, která tuto funkčnost zpřístupňovala jen členům určité skupiny. To se zdálo být dostačující, hlavně na stroji s přísně hlídaným přístupem.

Autoři a přívrženci patche považovali kontrolu na základě skupiny za dostatečnou. Patch byl tvrdě kritizován ostatními vývojáři systémů souborů; převažoval názor, že se tu pokoušejí otevřít bezpečnostní díru místo opravení výkonnostního problému v ext4. Po této debatě patch zmizel a už o něm nikdo neslyšel.

Překvapivý příznak

Tedy alespoň donedávna, kdy se některým vývojářům podařilo najít tento commit od Teda Ts'a, který se přes strom ext4 dostal do hlavní řady během začleňovacího okna 3.7. Patch je drobný a prostý; jednoduše definuje příznak FALLOC_FL_NO_HIDE_STALE, ale nepřidává žádnou implementaci. V seznamu změn se píše:

Na základě diskuze na Plumber's Conference vyhrazuji bit 0x4 v fallocate(), abychom se vyhnuli kolizím s běžně používaným patchem, jenž implementuje funkci no-hide-stale.

Přinejmenším Dave Chinner, vývojář systémů souborů, si ale na takovou diskuzi nepamatuje. Jeho reakcí byl patch odstraňující změnu s komenářem:

Neexistence formálního revidování a debaty u změny v systémovém volání je důvodem pro revert patche, zejména vzhledem ke kontroverzní povaze funkce a předchozím diskuzím a zamítnutí. Způsob, jakým se tato změna dostala do hlavní řady, hraničí se zneužitím důvěry, jakou chováme ve správce, a proto by tato změna měla principiálně být odstraněna.

Je pravda, že tato konkrétní změna je trochu nezvyklá. Mění centrální kód systémů souborů, ale dostala se tam ze stromu konkrétního souborového systému bez schválení od jiných vývojářů. Vypadá to, že patch nebyl zaslán do žádných relevantních mailing listů, čímž bylo porušeno pravidlo, že všechny patche musí projít revizí, než se dostanou do hlavní řady. Přidání příznaku, který v jádře nikdo nepoužívá, je taktéž v rozporu s obvyklými praktikami. Jde zkrátka o změnu, která by méně elitním jaderným vývojářům nikdy neprošla. Je tedy těžké mít ostatním vývojářům za zlé, že jsou překvapení a ne moc nadšení.

Tato změna na druhou stranu jen přidává definici příznaku; evidentně nemůže stávajícímu kódu způsobit problémy. A vypadá to, že tato funkce skutečně má svou komunitu přívrženců. Ted ospravedlnil svůj postup následnovně:

Nemění žádná rozhraní a nic nerozbíjí; jen vyhrazuje jeden bit, aby patche udržované mimo strom nekolidovaly s budoucím přidělením bitů. Tento bit je intenzivně využíván v Google a Tao Bao. Je pravdu, že se proti této funkci postavilo mnoho lidí z linux-fsdevel; osobně mi přijde frustrující, že jakmile proti volitelné funkci, která asi bude implementována jen v jediném systému souborů, křičí dostatek lidí, tak se jim podaří dosáhnout veta.

Toto vysvětlení ale asi nikoho neuspokojí. Tím se dostáváme do slepé uličky; někteří vývojáři chtějí příznak, aby mohli ovládat funkčnost, kterou potřebují, zatímco jiní ji vnímají jako bezpečnostní problém a následek zneužití systému důvěry v jádře.

Alan Cox navrhl, že by snad bylo možné vyhradit sadu soukromých příznaků, které by systémy souborů mohly používat, jak se jim zlíbí. Dave ale upozornil, že příznaky, které na růzých systémech souborů dělají odlišné věci, jsou zárukou problémů. Místo toho navrhuje implementaci přes rozhraní ioctl(), právě tam se takové věci skrývají. Řešení pomocí ioctl() se zdá být použitelné, ale nikdo ještě neposlal příslušný patch.

V době psaní tohoto textu Linus revert ještě nepřijal, proto FALLOC_FL_NO_HIDE_STALE v jádře 3.7 stále najdeme. Zatím se diskuze neúčastnil. Do vydání verze 3.7 bude nutné učinit rozhodnutí. Jakmile se tento příznak dostane do stabilního vydání, tak bude mnohem těžší se ho zbavovat, proto musí o jeho případném odstranění být rozhodnuto včas.

       

Komentáře

[2X4B-523P]

bloků V souboru

ta motající se hlava mě dostala

[Michal Kubeček]

Akorát je to úplný nesmysl.

Uh, despite popular lore, there is no place in the continental United States, Alaska or Hawaii from which one can dig straight through the center of the Earth and come up in China.

(Sheldon Cooper, BBT 6x10)

(Hint: USA i Čína jsou celé na severní polokouli.)

[bigBRAMBOR]

hlava je šišatá, při samovolném vrtání samozřejmě chytí faleš.

[Idealista]

100 bodov :)

[nikdo]

Však se tam nikde nepíše, že by se měla vrtat přes střed Země...

[Michal Kubeček]

To jako že by gravitace najednou začala působit ve směru kolmém na zemskou osu?

[pavlix]

Předpoklad, že se vše může pohybovat pouze ve směru gravitace, je chybný, stejně jako představa, že by se něco po směru gravitace dostalo skrze střed země opět na povrch.

Pitvání obyčejného vtipu vědeckými metodami není tak úplně dobrý nápad. Použití pochybných pseudovědeckých zdůvodnění je ještě horší.

[Michal Kubeček]

Jenže ono jde celou dobu právě o to, že zatímco u nás většina lidí ví, že "tam naproti" je někde poblíž Nového Zélandu nebo si přinejhorším představují Austrálii, většina Američanů je přesvědčena, že "tam naproti" je Čína - přestože ve skutečnosti je to jižní část Indického oceánu. Viz např. China Syndrome (zejména poslední odstavec sekce History). A jsem si celkem jistý, že i autor toho citátu podlehl tomuto obecně rozšířenému omylu.

[ja]

"Je pravdu, že se proti této funkci postavilo" by chtelo opravit

[Luboš Doležel (Doli)]

Díky, možná tam toho bude víc, jsem nemocný, takže dělám překlepy, a spellchecker v KDE mi už pár verzí vůbec nefunguje. Ani nenahlásí chybu, jen řekne, že je všechno OK. Geniální.

[Foo Bar]

> Toto vysvětlení ale asi nikoho neuspokojí. Tím se dostáváme do slepé uličky; někteří vývojáři chtějí příznak, aby mohli ovládat funkčnost, kterou potřebují, zatímco jiní ji vnímají jako bezpečnostní problém a následek zneužití systému důvěry v jádře.

Vývojáři nechtějí příznak, aby mohli ovládat funkčnost. Ten patch má za následek jen vyhrazení jednoho bitu, aby v budoucnu nedošlo ke zbytečné kolizi.

[snajpa]

Rekl bych, ze to je normalni v kazde open komunite. Vzdycky se najdou trolove a taky ti, co si nektere veci berou prilis vazne (prilis chteji aby sami byli brani vazne).

[snajpa]

(*pripadne chteji aby sami byli brani vazne).

[Sten]

A bude ty souboje taky řídit Tina Turner?

[pc2005]

Kdo se zhostí rolí Mastera a Blastera .

[Honz]

A kdo bude ten Fat Max už není třeba se ptát...