Jaderné noviny - 11. 10. 2006

30. 10. 2006 | Robert Krátký | Jaderné noviny | 4766×

Aktuální verze jádra: 2.6.19-rc1. Citát týdne: David Woodhouse. Odstranění populate(), nopfn() a nopage(). Video4Linux2 API: úvod. Budoucnost vývoje ReiserFS.

Aktuální verze jádra: 2.6.19-rc1

Aktuální předverze je 2.6.19-rc1, vydaná 4. října. Shrnutí změn najdete v článcích Začíná vývojový cyklus 2.6.19 a Další věci pro 2.6.19 z posledních dvou týdnů. To hlavní: ovladače pro paralelní ATA, labeled networking [značené síťování] pro IPsec a CIPSO a několik nových architektur, množství nových ovladačů, clusterový souborový systém GFS2, eCryptfs a spousta interních změn.

Dlouhý changelog obsahuje podrobnosti - ale protože se jedná o téměř 5000 patchů od více než 600 lidí, je lepší mít na to hodně volného času. Krátký changelog je trochu stručnější, ale přesto dost dlouhý.

V tuto chvíli by už měly být do hlavního repozitáře začleňovány pouze opravy. Hodně patchů opravy jsou, ale Linus přidal i několik významných změn. Podle očekávání tak byla začleněna změna prototypu zpracovávače přerušení, což ovlivnilo celý strom. Konečně byl odstraněn zasloužilý, leč dlouho nepoužívaný soubor <linux/config.h>.

Přidán byl také vývojový souborový systém ext4, který obsahuje mnohá vylepšení, včetně podpory rozsahů a 48bitových čísel bloků. Vizte soubor s dokumentací ext4, pokud si s ext4 chcete hrát (a máte dobré zálohy).

Aktuální verze -mm stromu je 2.6.19-rc1-mm1. Mezi nedávné změny patří přidání ext4 (který se hned přesunul do hlavního jádra), pokračující práce na mechanismu "swap token", obecná implementace log2() a patch s dynamickým "tikem" (vizte také API pro určení limitu latence).

Citát týdne: David Woodhouse

Spravování ovladačů mimo hlavní jádro je i během těch světlejších chvilek bezostyšné sebemrskačství. Ale opravdu je nám to jedno -- kdybychom jim neztěžovali život takhle, akorát by si začali píchat špendlíky pod nehty, aby si ten nedostatek bolesti vynahradili. Když se nad tím trochu zamyslíte, tak jim vlastně pomáháme -- takhle si aspoň neublíží.

-- David Woodhouse

Odstranění populate(), nopfn() a nopage()

VMA operace nopfn() byla přidána do 2.6.19-rc1; vizte článek z minulého měsíce: nopage() a nopfn(). Ukazuje se však, že nopfn() bude možná z těch rozšíření API, které v jádře vydrží jen rekordně krátkou dobu; Nick Piggin poslal sadu patchů, které přinášejí výrazné změny v zacházení s výpadky stránek na nejnižších úrovních.

Struktura vm_operations_struct v 2.6.19-rc1 definuje tři metody, které se o nízkoúrovňové stránkování starají:

    	struct page *(*nopage)(struct vm_area_struct *area, 
                               unsigned long address, int *type);
	unsigned long (*nopfn)(struct vm_area_struct *area, 
                               unsigned long address);
	int (*populate)(struct vm_area_struct *area, unsigned long address, 
                        unsigned long len, pgprot_t prot, 
			unsigned long pgoff, int nonblock);

Obyčejně jsou výpadky stránek řešeny pomocí nopfn() (existuje-li) nebo nopage(). Tyto funkce by měly vzít danou address a přiřadit ji ke stránce ve fyzické paměti. U oblastí virtuální paměti (VMA), které mají zálohu v souborech, reaguje vrstva souborového systému na volání nopage() alokováním stránky paměti a načtením příslušného obsahu ze zálohy. Stránka je pak předána zpět jádru, aby byla začleněna do tabulky stránek. Ovladače zařízení, které nopage() implementují, obvykle pouze přeloží address do příslušného ukazatele bufferu v paměti, který je mapován do uživatelského prostředí.

nopfn() i nopage() předpokládají, že je mapování mezi adresami virtuální paměti a offsetem v rámci VMA lineární - proto je jako parametr poskytována pouze adresa. Jádro však podporuje také nelineární mapování; v takovém případě může aplikace změnit VMA na komplexní okno do jiných částí zálohového souboru. nopfn() a nopage() tato mapování nezvládají, protože nemají potřebné informace. Místo toho musí každá záloha, která podporuje nelineární mapování, poskytnout metodu populate(), která má parametry jak pro address virtuální paměti, tak přiřazený offset (pgoff) do zálohového zařízení.

Na scénu vstupuje Nick, který pracoval na záludném problému v jedné z tradičně nejzáludnějších částí jádra: kódu, který se stará o zkracování souborů. V některých případech mohla být stránka, která byla odstraňována na základě volání truncate(), zároveň zpracována pomocí nopage(), což vedlo ke zmatkům ve správě paměti. Když Nick přemýšlel nad zamykacími pravidly pro tyto operace, uvědomil si, že musí existovat lepší způsob. Výsledkem je nová VMA operace nazývaná fault():

    struct fault_data {
	struct vm_area_struct *vma;
	unsigned long address;
	pgoff_t pgoff;
	unsigned int flags;

	int type;
    };

    struct page *(*fault)(struct vm_area_struct *vma, 
			  struct fault_data *fdata);

Tato metoda má nahradit nopfn(), nopage() a populate(). Dojde-li k výpadku stránky, naplní jádro strukturu fault_data potřebnými informacemi: address přiřazená k výpadku v uživatelském prostoru, odpovídající offset pgoff a dva příznaky, které značí, jestli k výpadku došlo při zápisu, nebo jde o nelineární mapování.

Funkce fault() by měla najít stránku, která může uspokojit požadavek na offset pgoff; obyčejně nebude address vůbec potřebovat. Funkce může buď vrátit přiřazenou struct page, nebo nastavit záznam v tabulce stránek přímo (pomocí něčeho jako vm_insert_page()) a vrátit NULL. Ať tak nebo tak, pole type by mělo být nastaveno podle druhu výpadku (major nebo minor). Pokud výpadek není možné zpracovat, měl by být do type vložen příslušný chybový kód.

Nickův patch se hned zbavuje metod nopfn() a populate(). V současné době se nopfn() používá na jediném místě a starší API populate() nebylo nikdy mimo hlavní jádro příliš rozšířeno. Funkce install_page() je také určena k brzkému odstranění. Metoda nopage() je však často používána v ovladačích zařízení - uvnitř i vně jádra. Proto byla označena jako zastaralá a její odstranění je naplánováno na říjen příštího roku. Objevily se návrhy na dřívější odstranění nopage() (dejme tomu za půl roku), ale žádné definitivní rozhodnutí nepadlo.

Až na tyto drobnosti to vypadá, že má tato změna všeobecnou podporu. Pro 2.6.19 jsou patche přeci jen trochu moc čerstvé, takže se v hlavním jádře pravděpodobně objeví nejdříve v 2.6.20. Ale v tu chvíli budou muset správci a autoři ovladačů provést aktualizaci svého kódu.

Video4Linux2 API: úvod

Jonathan Corbet: nedávno jsem psal ovladač pro kameru - konkrétně tu, která bude dodávána v systému One Laptop Per Child. Ovladač používá jaderné API, které je pro podobné účely určené: Video4Linux2 API. Při psaní tohoto ovladače jsem zjistil něco vskutku šokujícího - toto API není zrovna dobře dokumentováno. I když uživatelská strana má dokumentaci docela dobrou. Ve snaze o nápravu této situace bude v následujících měsících LWN vydávat sérii článků, které popisují, jak pro rozhraní V4L2 psát ovladače.

V4L2 má dlouhou historii - první jiskřička se v očích Bill Dirkse rozsvítila v srpnu roku 1998. Vývoj pokračoval dlouhé roky, až bylo V4L2 API konečně zařazeno do hlavního jádra v listopadu 2002 při vydání 2.5.46. Dodnes však novější API mnohé ovladače nepodporují; konverze pořád probíhá. Mezitím se V4L2 vyvíjí, přičemž do 2.6.18 šly docela zásadní změny. Aplikací, které by fungovaly s V4L2, moc není.

V4L2 je navrženo pro podporu nejrůznějších zařízení, z nichž jen některé jsou skutečně "video":

• Rozhraní pro zachytávání videa bere video data z tuneru nebo kamery. Pro mnohé bude zachytávání videa hlavním uplatněním V4L2. Protože mám v této oblasti nejvíce zkušeností, budou se tyto články na zachytávací API zaměřovat trochu více, i když to není vše, co V4L2 nabízí.
• Rozhraní pro výstup videa aplikacím umožňuje ovládat zařízení, která umí poskytovat video obrázky - například formou televizního signálu - mimo počítač.
• Overlay video rozhraní je variací zachytávacího rozhraní, které se stará o přímé zobrazení video dat ze zachytávacího zařízení. Video data jdou přímo ze zachytávacího zařízení na displej, aniž by procházela přes procesor systému.
• VBI rozhraní poskytují přístup k datům přeneseným během blanking intervalu. Jsou dvě: "raw" a "sliced" - liší se úrovní hardwarového zpracování VBI dat.
• Rádiové rozhraní poskytuje přístup k audio proudům z AM a FM tunerů.

Jsou možné i jiné druhy zařízení. V4L2 API má náznaky zařízení "codec" a "effect", která obě provádějí transformace proudů video dat. Tyto oblasti však ještě nebyly kompletně specifikovány - a o to méně implementovány. Ve starším V4L1 API také existují rozhraní "teletext" a "radio data system"; nebyly však přesunuty do V4L2 a nevypadá to, že by se to někdy v dohledné době chystalo.

Video zařízení se od mnohých jiných liší tím, jak hodně je lze konfigurovat. V důsledku toho implementuje většina ovladače V4L2 kód, který aplikacím umožní objevit možnosti daného zařízení a nakonfigurovat jej tak, aby fungovalo podle představ. V4L2 API definuje několik desítek zpětných volání pro konfigurační parametry jako frekvence tuneru, okna a ořezávání, počet snímků, video komprimace, video formáty atd. Značná část tohoto seriálu se bude věnovat právě konfiguračnímu procesu.

Pak je tu ještě ten drobný zádrhel, že je nutno provádět efektivní I/O v dané kvalitě videa. V4L2 API definuje tři různé způsoby přenosu video dat mezi uživatelským rozhraním a zařízením, z nichž některé jsou dosti komplexní. O video I/O a vrstvě video-buf, která je připravena pro provádění běžných úkolů, budou samostatné články.

---

Následující obsah je © KernelTrap

Budoucnost vývoje ReiserFS

12. říj,

Protože byl Hans Reiser, zakladatel firmy Namesys, nedávno zatčen jako hlavní podezřelý v případu zmizení své manželky, zabývala se krátká diskuze na LKML budoucností ReiserFS. Alan Cox poukázal na to, že reiserfs je psán týmem lidí v Namesys a v případě reiserfs3 také lidmi ze SuSE i odjinud.

Alexander Lyamin, který je na stránkách Namesys uveden jako "hostmaster a sysadmin", připojil, že tým je v tuto chvíli dost otřesen a nervózní. Potvrdil, že ReiserFS 3.6 je v udržovacím režimu, a pak pokračoval o Reiser4: Díky Andrew Mortonovi pořád provádíme revize. Vydáváme patche, opravujeme problémy a vůbec se snažíme vše pročistit. Takový je plán na dalšího alespoň půl roku. Ohledně budoucnosti poznamenal, že závisí na výsledku soudu: Pokud to dopadne tak, jak doufáme, bude to v pořádku. Pokud to dopadne špatně, pak to bude složité. Pokusili bychom se jmenovat prostředníka, který by spravoval obchody Namesys.

       

Komentáře

[David Watzke]

Zajímavej díl. Ještě chvíli počkám a pak nahodím ext4. Možná začnu používat -mm jádro a na Portage a přátelé použiju reiser4 Samozřejmě to vše až potom, co někdo opraví bug #149307.

[Xerces]

Jen blbni!

[deda.jabko]

aaa... pan ma dobre zalohy. ;-]

[m0rph]

jo, se zalohama se to da... osobne jsem r4 pouzival dva roky na cca 700G dat, ale kdyz jsem letos behem zari narazil na druhou fatal corruption, tak jsem se definitivne nastval a migroval to na ext3. bez zaloh bych byl zeleny strachy, ackoli o zadna data me nakonec ani fsck.reiser4 --build-fs nepripravil.

cinil jsem tak celkem nerad, pac reiser4 je opravdu rychly - behem kopirovani a checksummovani toho vseho ext3 beznadejne zaostavala.

[David Watzke]

No, dám to na nějakej menší oddíl, kde je Portage, KDE, nebo tak...

[deda.jabko]

ono kombinace reiser4 nebo ext4 spolecne s mm jadry a k tomu ostrymi daty vypada na slusny adrenalinovy sport... btw. mm jadra jsem jednu dobu pouzival a taky to misty stalo za neprijemne mravenceni v zadech... obzvlast kdyz si clovek projizdel logy a videl tam ruzne oopsy a k tomu chyby mapovani stranek, dumpy registru, atp....

[Petr (DotaZ) Jakubec]

mm je opravdu jen pro klidase...

fatalni je vsak kdyz mate jadro distribucni a po pripojeni usb redukce s dvdrw vidite v logu

"ruzne oopsy a k tomu chyby mapovani stranek, dumpy registru, atp...."

to je teprv vopravdu legrace!

[Roman]

To ano, ale reiser4 se da pouzivat i vanila kernelem (ftp.namesys.com) Ja ho pouzival asi rok na notebooku (kolem 2.6.10) a v pohode. S -mm to byl casto bes.

[Josef Kufner]

Jeee.. to mi dělaj i stabilní jádra

[Petr (DotaZ) Jakubec]

a jeste tu vo Karkulce, prosiim...

[David Watzke]

Nevěříš? Nevěř Problémy mi to opravdu nedělá. Zatím se rozjíždím a začínám psát SVN/CVS/GIT ebuildy u čeho to jen jde

[JaMa]

Z toho bugu nemej tremu, to uz je vyreseno upstream takto

ASTMP = $(shell mktemp $${TMPDIR:-/tmp}/asXXXXXX)
as-instr = $(shell if echo -e "$(1)" | $(AS) >/dev/null 2>&1 -W -Z -o $(ASTMP) ; \
                   then echo "$(2)"; else echo "$(3)"; fi; \
                   rm -f $(ASTMP))

[David Watzke]

Právě že to vyřešeno není, protože sandbox něco takovýho stejně asi nedovolí. Bude se to muset nějak obejít.

Nicméně, zrovna v _tuhle_ chvíli to začít používat nemůžu, protože nVIDIA drivery 1.0.8776 se proti 2.6.19-rc3 nezkompilují (i kdyby to nefailovalo kvůli tomu bugu).

[David Watzke]

A až proti tomu půjdou zkompilovat nVIDIA drivery - bez nich si ani neškrtnu

[Filip Jirsák]

Překlep: pokračující ráce na mechanismu

[Robert Krátký]

Dík, opraveno.

[Michal Ludvig]

Konečně byl odstraněn zasloužilý, leč dlouho nepoužívaný soubor <linux/config.h>

Jooo nepoužívaný. Nejde zkompilovat driver pro wifi rt2500, nejdou zkompilovat vmware-tools, atd. Myslím že se brzo dočkáme nových verzí mnoha ne-vanilkových kernelových driverů

Dobrá rada zdarma: až narazíte na nějaký modul který se bude vehementně dožadovat neexistujícího config.h udělejte v kernelových includech symlink z autoconf.h na config.h a všechno se zas v dobré obrátí.

[Aleš Kapica]

Dobrá rada nad zlato. Zrovna jsem totiž na tomhle narazil.. Díky

[JaMa]

Kdyby jenom rt2500, bez symlinku nefunguji ani

app-misc/lirc

app-emulation/vmware-modules

x11-drivers/nvidia-drivers

stvalo me to tolik, ze jsem si nakopirovani config.h pridal i do ebuildu..

[Mr. Zdeeck]

Hm,

tak jsem docela zvedav, kam to s tim V4L a V4L2 pujde dal. V4L je navrhnuto dost blbe (treba neni schopno nastavit takovou blbost jako FPS pro zarizeni, ktera to bezne podporuji), V4L2 je snad trochu lepsi, ale absence teletextu je typicky priklad spatneho designu (ktery je v jadre snad az prilis casty). Az to tam bude chtit nekdo dodelat, tak se to zase udela pro kazdou kartu jinak, zase se pro to bude muset napsat nejaka specialni knihovna, zase to ze zacatku nepojede...

Ach jo...

[Filip Jirsák]

Ve V4L2 ale teletext nechybí, teletext je součást VBI.

[Petr Tomášek]

A co nazvy rozhlasovych stanic, to taky jde pres v4l2/vbi?

[Filip Jirsák]

Vzhledem k tomu, že rozhlas nevysílá videosignál, takže tam není žádný zatemňovací interval, asi tam žádné vbi nebude (vbi = vertical blanking interval).

[Tomáš Šimek]

Kdyby to pojmenovali pořádně (třeba OOB - Out Of Band Data :) tak to mohlo poktrýt i RDS

[Jiří Benc]

Díky za článek. Jen drobné nepřesnosti v překladu:

Dojde-li k chybě stránky

Vhodnější český termín pro "page fault" je "výpadek stránky". Při použití termínu "chyba" nedávají některé věty (jako např. pole type by mělo být nastaveno podle druhu chyby (major nebo minor)) úplně správný smysl.

a dva parametry, které značí, jestli k chybě došlo při zápisu, nebo jde o nelineární mapování.

Správný překlad pro "flags" je "příznaky", nikoliv "parametry".

[Robert Krátký]

Díky za upozornění. To jsou určitě vhodnější překlady - už jen kvůli tomu, že umožňují rozlišení od skutečných "chyb" a "parametrů". Nebyl jsem s těmi svými také příliš spokojen, ale když se nikdo neozval (překládám to tak v JN bohužel už hodně dlouho), nechal jsem to být.