Jaderné noviny – 8. 5. 2014: Linux a příchod miniaturních systémů

26. 5. 2014 | Luboš Doležel | Jaderné noviny | 6261×

Aktuální verze jádra: 3.15-rc4. Citáty týdne: David Miller, Josh Triplett, Alan Cox, Greg Kroah-Hartman. Vyšel GlusterFS 3.5. Možný odchod remap_file_pages(). Síťování na drobných strojích: Zmenšování síťové vrstvy; Měli bychom to vůbec zkoušet?

Obsah

• Aktuální verze jádra: 3.15-rc4
• Citáty týdne: David Miller, Josh Triplett, Alan Cox, Greg Kroah-Hartman
• Vyšel GlusterFS 3.5
• Možný odchod remap_file_pages()
• Síťování na drobných strojích
  • Zmenšování síťové vrstvy
  • Měli bychom to vůbec zkoušet?

Aktuální verze jádra: 3.15-rc4

Aktuální vývojová verze jádra je 3.15-rc4 vydaná 4. května. Linus říká: Několik známých problémů ještě čeká na opravu (například zajímavé poškození seznamu dentries – při normálním používání byste na to ale nenarazili), obecně to ale probíhá v poklidu a nic mě neděsí. Jsme v půli období zklidnění a tak to mám rád.

Stabilní aktualizace: verze 3.14.3, 3.10.39 a 3.4.89 vyšly 6. května s obvyklou dávkou důležitých oprav.

Citáty týdne: David Miller, Josh Triplett, Alan Cox, Greg Kroah-Hartman

Každá nová kombinace v konfiguraci je novou situací, která při testování konkuruje ostatním.

-- David Miller

Okolo patchů udržovaných mimo strom oprávněně panuje jisté stigma, ve kterém jde přibližně o to, že „lidé by měli patche předávat do upstreamu, patche mimo strom bychom neměli podporovat a ani se o ně starat“. Ale to funguje, jen pokud reagujeme na zaslané patche slovy „Ne, protože musíš opravit X, Y a Z“ nebo „Ne, protože vašemu případu užití lépe poslouží stávající mechanismy, co už v jádře jsou“, nikoliv však „Ne, váš případ užití není validní“.

-- Josh Triplett

Pokud používáte glibc a nástroje GNU, tak to nebude fungovat, ale před dlouhou dobou byly napsány nástroje, které odváděly právě tu práci, co měly, a byly drobné a čisté. Programátoři měli k jejich kombinaci za složitějšími úkoly používat shellové skripty, než aby to bylo tak, že jednou za rok někdo na světě spustí nějakou hloupost od GNU jako --naformátuj-na-bok-a-zpívej --melodie=matyldin-valčík.

-- Alan Cox

Co se ohlašování [dlouhodobě udržovaných stabilních vydání] předem týče, už to nikdy neudělám, následky byly hrozné, jelikož tam lidé cpali věci, které tam nemají být. Dokonce jakmile lidé vědí, z kterých verzí budou enterprise jádra, tak začnou do upstreamu cpát věci „předem“, takže se tento problém opakuje.

-- Greg Kroah-Hartman

Vyšel GlusterFS 3.5

Vyšel GlusterFS ve verzi 3.5. Mezi nové funkce patří lepší logování, možnost pořizovat snapshoty jednotlivých souborů (zatím není možné dělat snapshoty celých jednotek), komprese při přenosu, šifrování na disku a lepší podpora geo-replikace.

Možný ústup remap_file_pages()

Systémové volání remap_file_pages() je taková podivnost; umožňuje procesu vytvořit složité, nelineární mapování mezi svým adresním prostorem a příslušným souborem. Takového mapování lze dosáhnout i pomocí několika volání mmap(), ale náklady na straně jádra jsou pak vyšší: každé volání mmap() vytvoří v jádře oddělenou oblast virtuální paměti (VMA), zatímco remap_file_pages() si vystačí s jedinou. Pokud má v sobě mapování velké množství skoků, pak může být rozdíl na straně jádra významný.

remap_file_pages() má ale malé množství uživatelů. Je jich tak málo, že Kirill Shutemov poslal patch, který volání zcela odstraňuje. Říká: Nelineární mapování se těžko podporují a jelikož jsou teď 64bitové systémy běžně dostupné, tak to vypadá, že už nejsou žádné legitimní případy užití." Patch zatím nenavrhuje k začlenění, je to zatím jen koncept.

Není těžké pochopit, proč je tato změna zajímavá; odstraňuje z jádra přes 600 řádek záludného kódu. K odstranění ale nedojde, pokud se bude považovat za porušení ABI. Někteří jaderní vývojáři evidentně věří, že si odstranění remap_file_pages() nikdo nevšimne, ale od dojmu k potenciálnímu rozbití aplikací vede dlouhá cesta. Proto se mluví o přidání varování; Peter Zijlstra navrhl jít o krok dál a vyžadovat pro aktivaci systémového volání nastavení volby přes sysctl. To by navíc pomohlo zjistit, jestli by se současní uživatelé remap_file_pages() ozvali; když se ozvou hned, předejdou tak problémům v budoucnosti.

Síťování na drobných strojích

Zaslání patche zmenšujícího jádro vyvolalo rozsáhlejší debatu o tom, co se musí s jádrem udělat, aby se vešlo na drobné systémy, ale také o tom, jestli jde vlastně o něco, o co se chce komunita vůbec pokusit.

Zmenšování síťové vrstvy

Šlo o patch o 24 částech od Andiho Kleena, který přidává do sestavování možnost sestavit minimalistický síťový subsystém. Andiho zajímá možnost běhu Linuxu na systémech s pouhými 2 MB paměti; na těchto systémech, když síťová vrstva v Linuxu představuje zátěž 400 KB jen pro základní podporu IPv4, je problém něco takového mít. Odstraněním řady funkcí, změněním některých datových struktur a používáním LTO k odstranění nepotřebného kódu se Andimu podařilo kód zredukovat na 170 KB. To vypadá jako užitečné zlepšení, ale jak brzy uvidíme, cesta do jádra nebude úplně hladká.

Mezi změny v Andiho patchi patří:

• Odstranění funkce „ping soketů“, která umožňuje nástroji ping poslat ICMP echo pakety bez práv roota. V obecné distribuci jde o užitečnou funkci, ale asi už není tak užitečná na jednoúčelovém drobném stroji, kde ani nemusí binárka ping být. I tak byla změna zamítnuta: Chceme opustit raw (syrové) sokety a tím, že toto učiníme volitelným, si v tom moc nepomůžeme.
• Odstranění raw soketů, které šetří asi 5 KB místa. Je mi líto, ale nemůžeme mít jen napůl funkční podporu IPv4.
• Odstranění funkce TCP fast open. Implementace sice zabírá jen 3 KB, ale závisí na kryptografickém subsystému a kódu AES. Zamítnuto: Je to v zájmu vzdálené služby, nikoliv lokálního klienta, je mi líto, ale tento patch neaplikuji, je to funkčnost, o které chceme, aby byla používána na co nejvíce systémech.
• Odstranění subsystému pro filtrování paketů BPF. Zamítnuto: Řekl bych, že podceňuješ, jak moc 'malé systémy' používají zachytávání paketů, a tudíž BPF.
• Odstranění kódu pro shromažďování statistik MIB (běžně se k němu přistupuje přes /proc), když /proc není v jádře povolen. Zamítnuto: Gratuluji, právě jsi mimo jiné rozbit dumpy netlinku pro IPv6 adresy zařízení.

Výše uvedený výčet by mohl být kratší, ale asi vám už je jasné, jak to dopadlo: patch nebyl komunitou okolo síťování přijat s otevřenou náručí. Tato komunita je silně zaměřená na výkon a funkce současného hardwaru; síťoví vývojáři (nebo alespoň někteří z nich) nechtějí být obtěžováni výzvami, které přináší podpora uživatelů na drobných systémech. Eric Dumazet to shrnul slovy:

Kdysi jsem začal používat Linux na počítačích typu 386/486, které měly více než 2 MB paměti, takže jsem smutný z toho, že chceme spouštět linux-3.16 na takovém typu hardwaru a trávit čas tím, že na pár místech ušetříme několik KB.

Vývojáři síťové vrstvy také nechtějí, aby začali dostávat hlášení chyb od uživatelů se silně odlehčenou síťovou vrstvou a museli pak přemýšlet, jak to, že to přestalo chodit. Na to by jistě došlo, jakmile by podobné patche byly začleněny. Člověk si může představit, jaká funkčnost je naprosto zásadní a jaká je na drobných systémech volitelná, ale různí uživatelé dojdou k různým závěrům. Jediná volba „zmenši to“ může třeba poskytnout síťovou vrstvu pokrývající 99 % potřeb uživatelů drobných systémů – ale chybějící 1 % se bude u každého uživatele lišit.

Měli bychom to vůbec zkoušet?

Poukazovat na některé těžkosti spojené s takovým úsilím pořád neznamená říkat, že by se jádro nemělo snažit malé systémy vůbec podporovat, ale právě to zdá se lidé od síťování říkají. V jeden moment Andi poslal správci síťové vrstvy Davidu Millerovi přímou otázku: Které části bys odstranil ty, abys snížil využití paměti pro 2MB jednoúčelový stroj?„ Davidova odpověď byla jednoduchá: Nepoužil bych Linux, tečka. Možná před dvaceti lety, ale ne teď, tyhle časy jsou už pryč. Jinými slovy, bychom se podle něj neměli ani snažit o to spouštět Linux na takových strojích; namísto toho bychom měli použít nějaký specializovaný operační systém.

Tento přístup může pro mnoho dlouholetých pozorovatelů linuxové komunity být překvapivý. Jaderní vývojáři obecně vždy usilovali o to, aby systém fungoval na pokud možno jakémkoliv hardwaru. Odpověď typu „jdi pryč a používej něco jiného“ byla jen výjimečně slýchána v souvislosti s proprietárním a uzavřeným hardwarem, ale i v těchto případech to s Linuxem nakonec někdo obvykle rozchodí. Tentokrát tu ale máme typ hardwaru, na kterém by Linux mohl běžet, s uživateli, kteří by tam Linux rádi používali, ale nějací jaderní vývojáři jim říkají, že nemají zájem pro ně přidávat podporu. To není vzkaz, který uvítají.

Bylo nebylo, výrobci mainframů se kdysi posmívali minipočítačům – až do doby, než mnoho z jejich zákazníků přešlo na minipočítače. Výrobci minipočítačů vnímali pracovní stanice, osobní počítače a Unix jako hračky; jen málo takových společností tu je s námi doteď. Mnozí z nás si pamatují, jak svět proprietárního Unixu vnímal Linux v době, kdy začínal: mávali nad ním rukou, protože jej brali jako chabou hračku, která nestojí za pozornost. Stačí poznamenat, že dnes toho o proprietárním Unixu moc neslyšíme. Je to typický příběh o tom, jak průlomové technologie dělají čáru přes rozpočet zavedeným firmám.

Není jasné, jestli mikroskopické systémy představují zrovna takový typ průlomových technologií; přístup „počkat, než hardware dozraje“ pro Linux v minulosti často fungoval dobře. Obvykle je bezpečné sázet na to, že výpočetní schopnosti v budoucnosti porostou, takže úsilí spojené s podporou nevýkonných systémů za to často nestojí. Možná se ale setkáváme s novou kategorií hardwaru, kdy „menší a levnější“ je důležitější než „výkonnější“. Pokud bude možné tyto systémy vyrábět ve velkém a šířit je jako „chytrý prach“, pak se mohou stát důležitou součástí výpočetní techniky budoucnosti.

Proto by možnost, že by budoucí drobné systémy mohly ohrozit Linux, měla určitě být zvážena. Pokud Linux na těchto zařízeních nepoběží, tak něco jiného ano. Možná to bude linuxové jádro se síťovou vrstvou kompletně nahrazenou něčím v uživatelském prostoru jako lwIP nebo to třeba bude nějaký jiný svobodný operační systém, jehož komunita bude mít o podporu tohoto hardwaru větší zájem. Nebo to možná bude něco proprietárního a nepříjemného. Jakkoliv se tato situace vyvine, bylo by smutné jednoho dne vzpomínat a říkat si, že vývojáři Linuxu mohli jádro rozchodit na důležitém typu počítačů, ale rozhodli se, že tak neučiní.

       

Komentáře

[Punny]

Ma uz nekdo informaci, co to je za zarizeni pouze s 2MB pameti? Nejaky nanobot? :)

[Saljack]

Přesně na tohle jsem se chtěl zeptat. Protože mě fakt nenapadá nic, co by zároveň využívalo síť. Napadá mě nějaká sonda na síti.

[tčťghčťhgč]

Mna napada nieco, na com pracujem zcasti ja... GPS/GSM loger... Teda nieco, co sleduje polohu motorky/automobilu/tahacu a posiela to z casu nacas na server. Potrebuje to seriovu linku (gpsd) a sietovy subsystem, aby mohol UDP pakety posielat serveru...

[LKG]

Na neco takoveho linux je regulerni magorina. Prvni tracker jsem delal na AT89C51, pak na AVR. Tech par kB pameti co to melo bohate stacilo. UDP paket se sestavuje jednoduse a neni potreba implementovat buhvijakou divocinu. Dneska se to resi napr. pomoci FreeRTOS/lwIP, na nejakem ARM Cortex-M. V idealnim pripade uz je procesor primo v GSM modulu nebo je modul kombinovany. M2M hotovych mini/mikromodulu je dneska uz taky habakuk.

Prosim, nevymyslejte znovu kolo, a jeste na linuxu...

[little.owl]

Presne tak, na to jsou os jako contiki.

[David Jaša]

Rákosové OS? :)

[little.owl]

Rakos, nerakos, hlavne ze je to stabilni a drzi pohromade. Kon-Tiki by z balsovych kmenu, Ra byl z papyru (rakosu).

[Honza Jaroš]

Balsové.

[LinuxakMichal]

Ach ta dnesni mladez Muj prvni sitovy zazitek byl na C64, tedy na pocitaci s 64KB pameti (pravda, ipv4 stack to nemelo).

[Saljack]

Mě právě příjde 2MB hrozně málo a vůbec si nedokážu představit, jak tam nacpat celý OS a ještě spustit nějaký program

[Radovan Garabík]

Vývoj pokračuje, pre C64 už TCP/IP existuje

Na MSX (Z80 CPU, 128 KB RAM) existuje dokonca funkčná implementácia 7th Edition AT&T UNIX.

Na trochu nenažranejšie aplikácie je potom TCP/IP pre MSDOS, tam je RAM obmedzená na 640 KB, čo už naozaj je dosť pre každého

[R]

Existuju aj wifi routery, ktore maju 4 MB RAM, par extremne lacnych typov dokonca len 2 MB. Pre OpenWrt je dolezity kazdy kusok RAM, aby to chodilo aspon na tych, co maju 8MB.

[Yuriko]

Dle mého názoru to bude nějaký jednočip, takže bych hledala u atmelu, freescale či v podobných systémech. Užití je jasné - internet věcí. Trouba, kterou můžu zapnout/vypnout přes internet, ústřední topení a podobné krámy. Otázkou je zda by to vůbec mělo podporovat ipv4 (podle mého názoru to má smysl až s ipv6 a bude to páka na jeho zavedení stylem "Ano, váš nový kotel lze ovládat přes internet, ale ne s vaším připojením, protože váš poskytovatel ignoruje ipv6"/"Co jste to za zatracené garážisty, když kvůli vám nemůžu ... a to si mne držíte smlouvou na x let", což bude konec wifinářů garážistů, tedy doufám), dále zda je účelné, aby na takových systémech běžel linux (podle mého názoru není). S aplikacemi typu "spínač ovládaný přes internet" jsem si hrála a je jednodužší se operačnímu systému vyhnout a to i v případě, že to ovládáte přes webové rozhraní. Jsou ale malé systémy, kde by se otevřený os hodil, nicméně by to asi neměl být linux, nicméně mohl by vzniknout jako fork linuxu.

BTW Víte proč jsou v tomhle ohledu tak sexy jednočipy s integrovanou RAM? Já to chápu. Navrhnout tu část desky, kde se propojuje nějaký relativně rychlý procesor s RAM je to nejtěžší a navíc musíte použít kvalitně vyrobenou desku. Na adresových a datových linkách musíte mít definované a shodné zpoždění, jinak to nefunguje. Další problém jsou přeslechy a potřeba definované impedance vedení. Takže musíte jít minimálně do třech vrstev. Integrace RAM do procesoru ten problém řeší a v mnoha případech to pak funguje v provedení "vrabčí hnízdo", nicméně velikost RAM v takových systémech poroste, takže mi 2MB připadají ze střednědobého hlediska "mimo mísu".

[Peter]

Ja by som skor povedal, ze garazista moze stihnut IPv6 zaviest skor, ako velka spolocnost. Ma k tomu vsetky predpoklady.

[ewew]

Pokiaľ nebude riešená bezpečnosť týchto systémov, tak je lepšie keď zostanú za NAT. Na riadenie domácich spotrebičov je vhodnejšie riešenie na základe PLC. Kde je väčšia šanca, že pri chybe to nezlikviduje spotrebič.

[trekker.dk]

NAT není bezpečnost. Bezpečnost řeší firewall

[and_i]

Asi Intel Quark: https://lkml.org/lkml/2014/5/5/686

[Peter Fodrek]

Priemyselne a vojenske pocitace od Octagonu

stale dodavane ako nagreadne diely (este min 8 rokoiv budu- predvavaju sa 10 rokov po skonceni predaja, alebo kym funguje min 5 kusov na svete) maju 1MiB 4MiB RAM

The 4020 is a low cost, single board PC for use in a wide variety of .. LPT1 parallel port; a watchdog timer; 1 MB of DRAM; a socket for

.. alebo

2040 PC/104 CPU major hardware features CPU The CPU is a low–power 386SX with a clock speed of 40 MHz. Solid–state disks SSD0 The 2040 PC/104 CPU has an on–board 512 KB flash which contains the BIOS and software extensions. SSD1 A 32–pin DIP socket accepts an M–Systems DiskOnChip ® . The socket exhibits high retention force and affords a gas tight contact. SSD2 A 32–pin DIP socket accepts either a 128 KB or a 512 KB SRAM. SRAM is automatically backed up when an AT battery is connected. The socket exhibits high retention force and affords a gas tight con- tact. RAM The 2040 PC/104 CPU has 4 MB DRAM on board.

Legacy products may have limited availability and are not recommended for new or high volume design http://www.octagonsystems.com/Manuals/LegacyCPUCardManuals/2040_386SX_Manual%205570.pdf

[R]

Podpora 386 je odstranena uz dlhsie.

[Peter Fodrek]

Co je to davnejsie. Bolo to 17.12.2912 teda asi 5-6 stabilnych verzii jadra dozadu. To nie je tak davno, aj ked som si myslel, ze to bolo o 2-3 verzie neskor...

[alkoholik]

Vitame Time Lorda na abclinuxu!
Jake fascinujici technologie budoucnosti nam prinasis?

[Yuriko]

PC/104 system jsem měla poprve v ruce na střední a děsně se mi to líbilo. Byl to rok 94 tuším. 386 na 40MHz, 2MB RAM. A všudypřítomný DOS. Po 20 letech mi takové systémy připadají celkem obsoletní. Chápu, že se to vyrábí coby náhradní díly. Vyrábíme kupříkladu desky do sapi coby náhradní díl. A opravujeme to celkem často, je to na mnoha místech kde to něco řídí a nikdo si toho za 30 let nevšiml, až se to podělá. A protože jsou to speciálky, rychlý řešení s novým železem neexistuje. A když vám uprostřed zimy přestane topit kotelna pro 5 paneláků máte na řešení tak 2-3 hodiny, takže se takové krásy opravují coby první pomoc. Ale nový systém na tom nikdo stavět nebude, že ne.

[Mintaka]

http://www.menuetos.net/

[Petr Ježek]

Walzing Matylda = australská lidová o věčně se pohupující čutoře. Když nevím, jak to přeložit, tak se nejprve zeptám... :) Jinak není GNU nástroj jako GNU nástroj a skriptování má své monster flies...

[pavlix]

Waltzing Matilda.

[pavlix]

Mimochodem na tu čutoru jsi přišel kde?

[Lol Phirae]

V hospodě, když vyměnil bágl za placatku

"Waltzing Matilda" == vandrovat s rancem na zádech

[pavlix]

+1