Jaderné noviny – 19. 1. 2017: kvmalloc()

30. 1. 2017 | Redakce

Články - Jaderné noviny – 19. 1. 2017: kvmalloc()  

Stav vydání jádra. kvmalloc().

Stav vydání jádra

Současný vývojový kernel 4.10-rc4 byl vydán 15. ledna. Linus řekl: „Vše stále vypadá normálně a tohle je obvyklé nedělní rc vydání. Jsme u rc4 a lidé zjevně začínají nacházet regrese. Jen tak dál.“

Stabilní aktualizace: 4.9.3 a 4.4.42 byly vydány 12. ledna. 15. ledna je následovaly aktualizace 4.9.4 a 4.4.43. Verze 4.9.5 a 4.4.44 byly v době psaní tohoto článku v procesu revidování a vyšly 20. ledna.

kvmalloc()

Vzorce kódu, které se opakují napříč jádrem, jsou často známkou toho, že by se mohla hodit pomocná funkce. Obzvláště to platí v případech, kdy tyto opakující se vzorce obsahují stejné chyby nebo jiné neoptimální techniky. Funkce kvmalloc() je přesně tento případ. Michal Hocko nedávno zveřejnil sadu patchů, která výrazně pročišťuje častý vzorec alokace paměti v jádře.

Jádro nabízí dva základní mechanismy pro alokaci paměti – oba staví nad jaderným alokátorem stránek. První z nich, slab alokátor, získá fyzicky souvislou paměť v jaderném adresním prostoru. Obvykle se používá přes kmalloc(), ale jde to i jinak. Alternativou ke slab alokátoru je vmalloc(), který vrátí paměť v odděleném adresním prostoru – tato paměť bude virtuálně souvislá, ale fyzicky může být rozptýlená.

Obecně jsou slab alokace zpravidla výhodnější až na požadavky o největší kusy paměti. Při absenci tlaku paměti bude slab alokátor rychlejší, protože nemusí dělat změny v adresním prostoru. Nejlépe pracuje s alokacemi, které jsou menší než jedna fyzická stránka (obvykle 4 KB). Když dojde k fragmentaci paměti, může být těžké najít skupiny fyzicky souvislých stránek, čímž trpí výkon systému, zatímco se alokátor snaží souvislé skupiny vytvořit.

Alokace pomocí vmalloc() nevyžaduje fyzicky souvislé stránky, a tak má větší šanci uspět, když je volné paměti poskrovnu. Nicméně, nadměrné používání vmalloc() se nedoporučuje kvůli režii. Každá alokace provedená vmalloc() totiž vyžaduje změny tabulky stránek a zneplatnění TLB (translation lookaside buffer). Funkce vmalloc() může alokovat pouze celé stránky, takže se nehodí, když je požadováno menší množství paměti. Navíc je rozsah dostupných adres na 32bitových systémech omezený, což byla, aspoň historicky, další překážka v používání tohoto rozhraní. 64bitových systémů se to už ale naštěstí netýká.

V jádře existuje celá řada míst, kde se vyžaduje, aby velká alokace byla fyzicky souvislá, ale míst, kde na tom nesejde, je nejspíš ještě víc. V druhém případě kód nemá důvod starat se o to, která metoda alokace se použije k získání potřebné paměti, je-li tato paměť k dispozici. Pro tento druh „lhostejného“ kódu dává smysl nejprve zkusit využít slab alokátor a pokud ten selže, vrátit se k vmalloc(). A jádro je opravdu plné kusů kódu, které se chovají právě takto.

Nicméně Hocko při představení sady patchů kvmalloc() upozornil, že některé z těchto částí kódu jsou opravdu „kreativní“ a spousta z nich nefunguje tak, jak by měla. Zvažte například následující jednoduchý pokus o nouzové řešení:

memory = kmalloc(allocation_size, GFP_KERNEL);
if (!memory)
    memory = vmalloc(allocation_size);

Problém je v tom, že pro poměrně malé alokace (osm a méně stránek) se kmalloc() bude pokoušet o alokaci donekonečna místo toho, aby skončil selháním. V takových případech nikdy nedojde na vykonání záchranného řešení pomocí vmalloc(). Snad ještě horší je, že uvedené volání kmalloc() se požadavek pokusí splnit za každou cenu. To by mohlo vést např. k uvolnění obávaného OOM zabijáka (out of memory killer), který způsobí pohromu mezi nicnetušícími procesy. Jsou chvíle, kdy je takových drastických kroků zapotřebí, ale kód pro alokaci paměti, který obsahuje explicitní alternativu, mezi ně většinou nepatří.

Co je potřeba, je pochopitelně jednoduchá pomocná funkce implementující alokace pomocí této nouzové techniky a zároveň se starající o minimalizaci zbytečných škod. Za tímto účelem přináší Hockova sada patchů několik nových funkcí:

void *kvmalloc(size_t size, gfp_t flags);
void *kvzalloc(size_t size, gfp_t flags);
void *kvmalloc_node(size_t size, gfp_t flags, int node);
void *kvzalloc_node(size_t size, gfp_t flags, int node);

Jak by se dalo očekávat, kvmalloc() se pokusí alokovat size bajtů pomocí slab alokátoru. Pokud paměť není hned k dispozici, využije příznaků __GFP_NOWARN a __GFP_NORETRY k minimalizaci dopadů (a vyhnutí se vyvolání OOM zabijáka). Pokud tento pokus selže, použije kvmalloc() k provedení alokace vmalloc(). Varianta kvzalloc() paměť před vrácením vynuluje. Varianty se sufixem _node vyžadují, aby byla paměť alokována lokálně k NUMA uzlu node. Stejně jako všechny ostatní alokační funkce, i tyto stále mohou selhat.

Stojí za zmínku, že tyto alokační funkce většinou nedává smysl používat k alokaci paměti menší než jedna stránka. Paměť z vmalloc() totiž není dostupná s granularitou menší než jedna stránka, takže k nouzovému použití vmalloc() v takových případech nedojde. Nebudou fungovat požadovaným způsobem ani při volání z atomického kontextu, protože vmalloc() se v takovém případě nedá použít.

Není bez zajímavosti, že se nejedná o první pokus o přidání kvmalloc() do jádra. Jinou verzi zveřejnil Changli Gao v roce 2010. Ta ovšem nevěnovala stejnou péči nepříjemným vedlejším účinkům a k jejímu začlenění nikdy nedošlo. Hockova sada patchů, která také hodně kódu převádí na použití nových funkcí, má větší šanci se do hlavního repozitáře opravdu dostat.

Diskuse k tomuto článku