Jaderné noviny – 10. 4. 2014: Co bude nového v Linuxu 3.15

28. 4. 2014 | Luboš Doležel

Články - Jaderné noviny – 10. 4. 2014: Co bude nového v Linuxu 3.15  

Aktuální verze jádra. Citáty týdne: Arnd Bergmann, Ted Ts'o, Rusty Russell. Začleňovací okno 3.15, část první.

Obsah

• Aktuální verze jádra
• Citáty týdne: Arnd Bergmann, Ted Ts'o, Rusty Russell
• Začleňovací okno 3.15, část první

Aktuální verze jádra

Začleňovací okno 3.15 je stále otevřené, takže v současnosti není žádné vývojové jádro. Níže najdete přehled toho, co bylo doposud začleněno.

Stabilní aktualizace: verze 3.13.9, 3.10.36 a 3.4.86 vyšly 3. dubna; verze 3.12.17 vyšla 8. dubna.

Citáty týdne: Arnd Bergmann, Ted Ts'o, Rusty Russell

Do 2.5 jsme to nějak nestihli, ale třeba se to podaří začlenit do 3.15.

-- Arnd Bergmann se konečně zbavil sleep_on()

Od dob, kdy platilo „celý svět je i386“, uběhlo spoustu času – dnes se říká, že „celý svět je x86_64“.

-- Ted Ts'o

Tak mapříklad jádro používá debug („dý-bag“) k určení toho, že se vše má logovat do konzole, zatímco systemd používá debug ve smyslu skandinávského „dej-bůg“ ve smyslu „selži při bootu“. Pokud budoucí verze bude používat argv[] namísto čtení /proc/cmdline, pak se tomuto zmatení vyhneme.

-- Rusty Russell

Začleňovací okno 3.15, část první

V době psaní tohoto textu bylo do hlavní řady přetaženo 11321 neslučovacích sad změn. To činí 3.15 jedním z nejaktivnějších vývojových cyklů, i když 3.10 se svými 11963 změnami ještě překonáno nebylo. Navzdory těmto velkým číslům není výčet změn až tak zajímavý; většina začleňované práce spočívá ve pročišťování a restrukturování.

I tak se tam připravuje spousta zajímavých věcí. Mezi ty viditelné pro uživatele patří:

• Do subsystému QoS správy výkonu byly přidány patche pro toleranci latence. Tento kód umožňuje jádru (nebo uživatelskému prostoru) sdělit požadavky na latenci periferním zařízením, která by měla použít tento údaj ke zvážení, zda přecházet do příliš hlubokých stavů spánku.
• Do subsystému správy paměti se konečně dostal patch pro vyvažování aktivního/neaktivního seznamu. Toto dílo se snaží detekovat situace, kdy jádro vytlačuje stránky z paměti, jen aby je pak bylo nuceno krátce na to vracet; když se toto stane, velikosti seznamů LRU jsou upraveny tak, aby se situace zlepšila. Výsledkem by měl být lepší výkon u zátěží s velkými pracovními sadami [working sets].
• Nové systémové volání renameat2() nabízí schopnost atomicky vyměnit dva soubory. K dispozici je také příznak RENAME_NOREPLACE, jenž zabraňuje přejmenování v nahrazení stávajícího souboru.
• Byla začleněna funkce POSIXových zámků specifických pro soubory.
• FUSE nyní dokáže provádět cachování zpětného zápisu, čimž zvyšuje výkon při vysoké zátěži.
• Překladová vrstva UBI flash má nyní ovladač, který dokáže z flashového zařízeí udělat blokové zařízení (prozatím jen pro čtení). To umožňuje nad syrovou flash pamětí používat libovolný systém souborů.
• Systémy souborů ext4 a XFS nyní podporují nové operace FALLOC_FL_ZERO_RANGE a FALLOC_FL_COLLAPSE_RANGE. XFS také získalo podporu pro příznak O_TMPFILE.
• Mapovač zařízení má nový cíl „dm-era“, který dokáže udržovat seznam bloků změněných v průběhu zvoleného časového období. Více se dozvíte v dokumentaci.
• Informace stromu zařízení, které byly k nalezení pod /proc/device-tree, byly odstraněny. To samé se nyní nachází v sysfs pod /sys/firmware/devicetree/base, kam nyní /proc/device-tree odkazuje.
• Rozhraní pro filtrování paketů ipset má nový typ sady „hash:ip,mark“ pro výběr paketů s určitými značkami přidanými filtrovacími nástroji na vyšší úrovni.
• JIT kompilátor pro kód filtrování paketů na bázi BPF byl rozsáhle předělán, nyní má jinou sadu instrukcí. Více najdete v sekci „vnitřní záležitosti jádra“ [kernel internals] v dokumentaci.
• Trasovač funkcí je nyní možné používat v rámci vícebufferových trasovacích instancí, což umožňuje každé instanci trasovat jinou množinu volání funkcí.
• uprobes je nyní v uživatelském prostoru podporováno i na ARM.
• Byl začleněn patch pro cachování VMA po vláknech; mělo by to zlepšit výkon v řadě situací.
• Mechanismus pro komprimovaný swap v paměti zram nyní může volitelně používat kompresi LZ4.
• Architektura Tile nyní podporuje subsystém událostí perf.
• Byla odstraněna podpora pro stařičké podarchitektury Unisys ES7000, IBM Summit/EXA, SGI Visual Workstation a NUMAQ x86, stejně tak podpora pro desky Motorola PrPMC2800 na bázi PowerPC.
• Podpora nového hardwaru.

Mezi změny viditelné vývojářům jádra patří:

• Pozdě, ale přece byla z jádra odstraněna rodina funkcí sleep_on().
• Přibyl nový modul locktorture, který provádí různé zátěžové testy na jaderných implementacích zámků.
• Kód pro náhodné rozložení paměťového prostoru jádra byl rozšířen tak, aby i počáteční adresy pro moduly byly náhodné. Jádro jednou zvolí jediný náhodný offset a ten je pak používán při načítání všech modulů.
• Architektura arm64 nyní podporuje jaderný debugger KGDB.
• Do architektury arm64 byla přidána základní podpora topologie CPU, což jádru umožňuje vyjádřit architekturu systému dle popisu od firmwaru.
• Makra pracovních front PREPARE_WORK() a DELAYED_WORK() byla odstraněna. Toto rozhraní bylo náchylné k drobným chybám a nebylo moc používáno.
• Byly začleněny patche pro broadcast časovače, což umožňuje doručení událostí časovače spícímu CPU, i když jsou časovače daného CPU ve stavu spánku zastavené.
• Pokračuje přepis hlavního kódu řídících skupin. Mezi začleněné změny patří plný přechod na nový virtuální systém souborů „kernfs“ pro řídící soubory, nějaké kroky k jednotnému modelu hierarchie a odstranění možnosti sestavovat řadiče jako moduly.
• Ve struct vm_operations_struct je nová metoda (map_pages()); jejím cílem je provést oportunistické domapování okolních stránek, což by snad mělo vést ke snížení počtu výpadků stránek a zlepšení výkonu. map_pages() nemůže blokovat. Cache stránek tuto funkci používá při výpadku stránek k mapování okolních stránek. Nová volba v debugfs (fault_around_order) umožňuje dodatečné ladění této funkčnosti.

Můžeme očekávat, že toto začleňovací okno bude otevřené asi až do 13. dubna. V tento moment už ale byla přetažena většina velkých stromů, takže ve zbývajících dnech nebude už přetaženo nic moc velkého. Snad největším otazníkem zůstává podpora pro optimalizaci při linkování (LTO). Tato funkce toolchainu má potenciál zvýšit výkon jádra při snížení celkové velikosti; je to za cenu delšího sestavování. Linuse přednosti tohoto patche zatím nepřesvědčily a chce více informací. O začlenění žádala řada vývojářů, není však jisté, zda to bude stačit.

Příště se podíváme na zbylé změny tohoto vývojového cyklu.

Diskuse k tomuto článku

[ebik]

Čemu že to flag RENAME_NOREPLACE funkce rename_at2 zabraňuje? Hádám, že to má být naopak (zabraňuje nahrazení při přejmenování).

[Jardík]

To samé se nyní nachází v sysfs pod /sys/firmware/devicetree/base, kam nyní /proc/device-tree odkazuje

Opravdu? A když sysfs budu mít připojený jinde než v /sys (což je naprosto validní případ), tak budu mít neplatný symlink? Nebo bude device-tree magický link, který bude směrovat tam, kam připojím sysfs? Nebo je novinkou, že mi linux neumožní připojit sysfs jinam než do /sys/?

[pavlix]

což je naprosto validní případ

Argumenty? Jestliže nebudeš mít sysfs tam, kde ho hledají aplikace, tak to může být celkem jedno, kam ten symlink odkazuje, ne? :)

[Jardík]

Aplikace ho tam vůbec nemají co hledat. Aplikace se má dotázat "Je připojený sysfs? Pokud ano, kde je připojený?". Třeba formou nějakého systémového volání. Jakého? Nemám páru. Přečtení /proc/self/mountinfo nepřipadá v úvahu, protože procfs taky nemusí být připojen, nebo nemusí být připojen do /proc. Bohužel dnešní linuxový ekosystém je plný aplikací-šmejďáren, co mají hardcódované cesty a různé předpoklady o připojených fs, předpoklady o umístění souborů (příkladem budiž různé shebangy ve skriptech s hardcódovanou cestou pro tu jednu vyvolenou linuxovou distribuci a předpokladem, že vše ostatní je špatně). Částečně je to i chyba linuxového kernelu, protože neexistuje způsob zjistění připojených souborových systémů bez připojeného procfs, které nemůžu najít, kde je připojen, protože na to nemám fcu/syscall. Např. v mé distribuci (JardíkLinux Ultra Super Duper 2014.04.28) mám procfs připojený v /system/proc a sysfs v /system/sys, devfs v /system/dev, ... a všechny ty skripty a aplikace jsou rozbitý a musejí se patchovat, protože pořád něco předpokládají.

[MalyZelenyHnus]

Aplikace ho tam musi hledat - bohuzel. Je to oficialni API sysfs.

linux-3.14.0/Documentation/sysfs-rules.txt

 30 - sysfs is always at /sys
 31   Parsing /proc/mounts is a waste of time. Other mount points are a
 32   system configuration bug you should not try to solve. For test cases,
 33   possibly support a SYSFS_PATH environment variable to overwrite the
 34   application's behavior, but never try to search for sysfs. Never try
 35   to mount it, if you are not an early boot script.

[Jardík]

Ok, beru to, jsem hňup, který to netušil. Je tam to samé pro procfs i devfs?

[werwerwer]

Ked som to pred ~2 rokmi hladal, tak bolo spomenute, ze sysfs musi byt vzdy v /sys a inak je to chyba (aj ked ho je mozne rucne namountovat zaroven inde), procfs je typicky v /proc, na ziadnej rozumnej platforme to nebude inde, ale nemam sa na to spoliehat.

[pavlix]

aj ked ho je mozne rucne namountovat zaroven inde

Ale to má reálné využití pokud vím (jen) v případě, že mountuješ na /nejaka/cesta/sys a plánuješ používat chroot /nejaka/cesta nebo podobnou techniku. Samozřejmě by se to dalo obejít pomocí mount --bind.

procfs je typicky v /proc, na ziadnej rozumnej platforme to nebude inde, ale nemam sa na to spoliehat.

Já osobně bych se nebál spoléhat na to, že pokud je daný filesystém namountovaný, pak je namountovaný v obvyklém místě. Pokud namountovaný není, pak nemusí být daná funkcionalita dostupná a program by měl alespoň ohlásit chybu.

[Michal Kubeček]

Zajímavé je, že zrovna udev pro tento účel má (nebo aspoň míval) template %S ($sys).

[ebik]

Zrovna udev musí být připraven na různé zběsilosti v initrd, kde před voláním pivotroot může být všechno jinak.

[petr_p]

Už to vidím zcela živě:

Automount devtmpfs at /dev, after the kernel mounted the rootfs (DEVTMPFS_MOUNT) [Y/n/?] y
Automount proc at /proc, after the kernel mounted the rootfs (PROC_FS_MOUNT) [Y/n/?] (NEW) y
Automount sysfs at /sys, after the kernel moutner the rootfs (SYSFS_MOUNT) [Y/n/?] (NEW) ?

Mount sysfs to /sys VFS path on root filesystem mount automatically.
Set Yes, if you don't know what you are doing.

Depends on: SYSFS [=y]

[JZD]

s/mapříklad/například/