Jaderné noviny – 1. 8. 2013: Transparentní komprese naruby

19. 8. 2013 | Luboš Doležel | Jaderné noviny | 4118×

Aktuální verze jádra: 3.11-rc3. Citáty týdne: Greg Kroah-Hartman, Casey Schlaufer. Multipath TCP 0.87. Transparentní dekomprese pro ext4.

Obsah

• Aktuální verze jádra: 3.11-rc3
• Citáty týdne: Greg Kroah-Hartman, Casey Schlaufer
• Multipath TCP 0.87
• Transparentní dekomprese pro ext4

Aktuální verze jádra: 3.11-rc3

Aktuální vývojová verze jádra je 3.11-rc3 vydaná 28. července. Ale pamatujete si, jak jsem žádal, abyste testovali změny v podpoře podsvícení v rc2, protože s těmito změnami máme špatné zkušenosti? No. Tak jsme to všechno revertovali. Někomu to fungovalo lépe, ale jinému zase hůř, a nechceme se vydat cestou „jeden krok vpřed, dva kroky vzad“. Ale nemějte obavy, zabývají se tím ti nejlepší.

Stabilní verze: verze 3.10.3 vyšla 25. července a byla následována verzemi 3.10.4, 3.4.55 a 3.0.88 dne 28. července. Verze 3.2.49 vyšla 27. července.

Verze 3.2.50 se aktuálně reviduje a vydání lze očekávat 2. srpna nebo později.

Citáty týdne: Greg Kroah-Hartman, Casey Schlaufer

Dnes už nebudu přidávat další race conditions, co bych musel zítra opravovat, už tak mám dnes hodně vysoké skóre vyjádřené v patchích.

-- Greg Kroah-Hartman

Pokud ses dostal do stavu, kdy musíš dělat taková rozhodnutí, tak bys to měl dneska vzdát, měl bys jít domů, dát si fajnový drink a strávit čas se svými blízkými. Ráno se pořádně podívej na svou konfiguraci sítě. Možná skončíš u jiných bezpečnostních pravidel uplatňovaných pro IPv4 a IPv6.

-- Casey Schaufler

Multipath TCP 0.87

K dispozici je verze 0.87 patche pro multipath TCP. Mezi vylepšení patří lepší podpora přesunu zátěže na hardware (offloading), podpora sendfile/splice, funkční NFS, lepší podpora middleboxu a další.

Transparentní dekomprese pro ext4

Transparentní komprese je něco, co často nacházíme na seznamu žádaných funkcí u nových systémů souborů; komprese dat za běhu umožňuje systému lépe využívat úložný prostor i šířku pásma pro I/O za cenu více času CPU: Jak slovo „transparentní“ naznačuje, uživatelský prostor si nemusí být vědom toho, že data jsou komprimovaná, což použití funkčnosti usnadňuje. Proto systémy souborů jako btrfs transparentní kompresi podporují a Tux3 má v tomto směru připraven návrh. Nedávný návrh na přidání transparentní komprese do ext4 má ale poněkud jiný přístup. Tato myšlenka možná na cestě do hlavní řady narazí, je ale ukázkou toho, jak se někteří vývojáři snaží ze systému vymáčknout více.

Patch od Dhavala Gianiho neimplementuje transparentní kompresi; ve skutečnosti jde o transparentní dekompresi. S touto funkcí umožní jádro aplikacím číst soubor, který byl komprimován, aniž by musely kompresi podporovat; jádro se o dekompresi postará na pozadí. Vytváření komprimovaných souborů ale není transparentní; to je nutné udělat v uživatelském prostoru. Jakmile byl soubor vytvořen a označen jako komprimovaný (pomocí chattr), není možné jej změnit, jen smazat a nahradit. Tato funkce tedy umožňuje transparentní používání komprimovaných souborů jen ke čtení, ale jen poté, co si někdo dal tu práci tyto soubory speciálně připravit.

Tato funkce je zaměřená poněkud úzce: aby Firefox startoval rychleji. Uživatelé desktopů (jak Taras Glek píše) mohou z této funkce mít prospěch, ale zacílena je hlavně na uživatele Androidu. Tyto systémy mají obvykle docela pomalá úložná zařízení – natolik pomalá, že komprese různých sdílených objektů, ze kterých se Firefox skládá, a jejich dekomprese na CPU znamená úsporu času. Dekomprese při spuštění věci zpomalí, ale je to pořád rychlejší než čtení nekomprimovaných dat z pomalého úložiště. Firefox aktuálně používá vlastní dynamický zavaděč pro načtení komprimovaných knihoven (jako libxul.so) během spouštění. Přesunutí kodu pro dekompresi do systému souborů by umožnilo vývojářům Firefoxu zbavit se vlastního zavaděče.

Dhavalova implementace má několik drobných problémů, které by mohly zabránit začlenění. Dekomprese musí proběhnout naráz do jediného bufferu, takže aplikace musí načíst celý soubor během jediného volání read(); kvůli tomu pak není funkce zrovna transparentní. Mapování komprimovaných souborů do paměti pomocí mmap() není podporováno. Implementace má napevno kompresní formát „szip“. Do struktury file_operations je přidáno nové pole pro čtení komprimovaných souborů. A tak dále. O těchto nedostatcích se ví už od začátku; Dhavalovi šlo hlavně o to obdržet nějakou zpětnou vazbu ohledně návrhu. V pozdějších verzích patche chce tyto nedostatky opravit.

Opravení všech těchto problémů nepomůže, pokud správci srdce podpory systémů souborů (kteří byli prozatím potichu) budou mít námitky co se účelu patche týče. Běžným očekáváním při práci se systémy souborů je to, že co bylo zapsáno pomocí write() by při následném read() mělo vypadat stejně. Patch pro transparentní dekompresi tento předpoklad porušuje tím, že nechává jádro interpretovat a upravovat data, která byla zapsána na disk – což by jádro obvykle dělat nemělo.

To, že jádro interpretuje proud dat, by se snad dalo přehlédnout, kdyby byl nějaký dobrý důvod tuto funkčnost do jádra přidat. Pokud ale takový důvod je, pak nebyl spolu s patchem představen čtenářům. Firefox už tento problém vyřešil pomocí vlastního dynamického zavaděče; toto řešení je zcela v uživatelském prostoru. Základním pravidlem při návrhu jádra je, že co se dá stejně dobře udělat v uživatelském prostoru, by se nemělo dělat v jádře; to znamená, že jaderná implementace dekomprese souborů by musela být lepší než to, co Firefox používá teď. Možná, že jaderná implementace je lepší, ale to ještě nikdo nepředvedl.

Důsledkem je to, že Dhavalův patch nikdo zatím pořádně nezváží. Než se vývojáři jádra podrobně podívají na patch, tak obvykle chtějí znát důvod, proč daný patch vůbec existuje – jak ten patch systém vylepšuje? „Jak“ zatím ještě není jasné, proto není obsah patche zcela relevantní. To může být důvodem, proč se tento konkrétní patch nedočkal příliš zpětné vazby během prvního týdne po zveřejnění. Transparentní dekomprese je zajímavý nápad pro zrychlení spouštění aplikací pomocí docela jednoduchého hacku v jádře; příští iterace patche snad přijde s lepším odůvodněním, proč by vlastně mělo jít o jaderný hack.

       

Komentáře

[Ovocníček]

*Transparentní* komprese je podle mě super, ale pouštět do stromu takovouhle hackovitou obezličku s omezenou použitelůlností, to bych tedy nedělal.

[Luboš Doležel (Doli)]

Přesně tak. Jestli někdo chce kompresi kvůli rychlejšímu spouštění, tak ať udělají patch pro ld-linux nebo ať to řeší úplně bokem. Tuším, že UPX podporoval i knihovny.

[Grunt]

Jestli někdo chce kompresi kvůli rychlejšímu spouštění, tak ať udělají patch pro ld-linux nebo ať to řeší úplně bokem.

Má upřímnost nezná mezí. O tom že z SSD se tahá Firefox (a Fennec na tom není o moc lépe) vím nějakou dobu, ale zkusme to vzít teda od podlahy, když už: Co to sakra Firefox při spuštěná tahá, že na to potřebuje jadernou kompresi? Netsurf přitom střílí jako raketa.

[Luboš Doležel (Doli)]

Vlastní operační systém. Je to takový bratříček Emacsu.

[kavol]

+1

myšlenka odlehčeného browseru myslím umřela společně s Phoenixem

již léta pouštím "to hrozně nenažrané" Seamonkey, když na něco fakt echt potřebuju Gecko, situace je zcela opačná, než když se kdysi odděloval browser od suity

[videafilosofie.webnode.cz]

Nevím, ale mě chromium žere víc ramek než firefox. Pravda mám ve firefoxu nastaveno že se panely zpředchozí relace načtou až když na ně kliknu...

Nenažraný sou oba. O trošku lépe na tom byla stará opera, než přešla na chromium-blink

Ale tak něják si říkám, jak to že opera mini4 na mobilu naběhne hned a zabírá 186kB a weby se tam načítají obstojně :D

[kavol]

Nevím, ale mě chromium žere víc ramek než firefox.

to ovšem svědčí spíše o nekvalitě Chromia než o kvalitě Firefoxu ...

Ale tak něják si říkám, jak to že opera mini4 na mobilu naběhne hned a zabírá 186kB a weby se tam načítají obstojně :D

Opera mini, hm, to je ta kulišárna, co nic neumí, jen přeposlat požadavek na svůj mateřský server a pak jen zobrazit jím předžvejkaná data?

[kralyk z abclinuxu]

Nevím, ale mě chromium žere víc ramek než firefox.

Protože šíleně leakuje.

Nenažraný sou oba.

+1

[Grunt]

myšlenka odlehčeného browseru myslím umřela společně s Phoenixem

O jaké platformě je řeč?

[kavol]

nerozumím dotazu ... asi se neptáš kde všude se to dá zkompilovat?

[Michal Vyskočil]

Phoenix aka Firebird aka Firefox - wikipedia://Firefox#history

[xkucf03]

Jen s tím rozdílem, že Emacs naskočí (včetně svého operačního systému) okamžitě.

[bohyn]

Tak snad nikoho nenapadne Emacs prepisovat do XUL

[xkucf03]

Dělat to na úrovni FS je systematičtější, ale nelíbí se mi tohle polovičaté řešení. Líbilo by se mi skutečně transparentní řešení: při vytváření souboru bys ho mohl označit jako komprimovaný a pak by se komprimoval a dekomprimoval, jinak ne. Pokud bys chtěl zkomprimovat starý soubor, tak bys jednoduše jeho obsah překopíroval do nového komprimovaného a pak přejmenoval. Případně by tu mohl být nějaký nástroj, který by tu konverzi udělal transparentně na pozadí, ale pro začátek to IMHO není nutné.

Pokud chce někdo rychlý hack, tak ať použije třeba nějaký komprimovaný FUSE systém nebo kompresi na úrovni aplikace.

[Michal Kubeček]

Líbilo by se mi skutečně transparentní řešení: při vytváření souboru bys ho mohl označit jako komprimovaný a pak by se komprimoval a dekomprimoval, jinak ne.

S tím se počítá už dlouho, viz chattr(1) (atribut "c"). Ale s implementací je to poněkud slabší…

[Radovan Garabík]

Pred cca 13 rokmi som používal (na produkčnom serveri) ext2 s patchom na transparentnú podporu kompresie. Fungovalo to skvele. Potom som dostal väčší disk a prešiel som na reiserfs.

Zo strany Linus&spol o to asi nebol extra záujem.

[Sten]

Přesně, původně jsem čekal, že to bude nějaká transparentní podpora pro archivy (stylem opendir na archive.zip), ale tohle je až příliš ujeté. Navíc když to samé může daleko spolehlivěji vyřešit transparentní komprese

[Kvakor]

Obdoba "archivů" je v jádře už dlouho - cramfs, squashfs a transparení dekompese u ISO 9600. A minimálně squashfs má i dekompresní nástroj, takže jde používat i běžný archivační nástroj (tj. bez přimoutovávání). Jediná nevýhoda je, že každá modifikace znamená kompletní kompresi a dekompresi, ale u tar+gzip/bzip2/lzma/xz/jánevímcoještě je to to samé.

[Sten]

No jo, ale ty musíte buďto přimountovat nebo použít ten nástroj, takže to není transparentní. To ostatně můžete udělat i s jinými archivy pomocí FUSE. Jako transparentní si představuji třeba ten opendir.