Jaderné noviny – 25. 7. 2013: Pochybný ovladač pro exFAT

12. 8. 2013 | Luboš Doležel

Články - Jaderné noviny – 25. 7. 2013: Pochybný ovladač pro exFAT  

Aktuální verze jádra: 3.11-rc2. Citáty týdne: Roland Dreier, Linus Torvalds, Paul McKenney. Pochybný ovladač pro exFAT.

Obsah

• Aktuální verze jádra: 3.11-rc2
• Citáty týdne: Roland Dreier, Linus Torvalds, Paul McKenney
• Pochybný ovladač pro exFAT

Aktuální verze jádra: 3.11-rc2

Akuální vývojová verze jádra je 3.11-rc2 vydaná 21. července. příznak O_TMPFILE přidaný v 3.11 prochází pročištění API/ABI (a pár opravami v implementaci), ale snad už je hotovo. Takže jestli vás zajímají nepojmenované dočasné soubory, pak hurá to otestovat. Nepřítomnost názvu souboru nejen odstraňuje problémy s generováním názvů, ale může i zvýšit efektivitu, protože pak nemáte operace nad adresáři, které mohou způsobit serializující I/O apod.

Stabilní verze: verze 3.10.2, 3.9.11, 3.4.54 a 3.0.87 vyšly 21. července. 3.9.11 je poslední verze v řadě 3.9.

V době psaní tohoto textu se verze 3.10.3 a 3.2.49 revidují; jejich vydání lze očekávat 25. července nebo později.

Citáty týdne: Roland Dreier, Linus Torvalds, Paul McKenney

Ani se tu nebudu vrtat v tom, proč lidé zajímající se o koupi switchů InfiniBand nakonec kupují papírové ubrousky.

-- Roland Dreier

Jsem hádavý a je těžké mě uspokojit. Pošlete mi toho příliš a budu křičet, pošlete mi toho moc málo a budu křičet. Se mnou to ve vývoji jádra máte jako v pohádce o třech medvěděch, chci, aby žádosti o přetažení byly „akorát“.

-- Linus Torvalds

I když se musím přiznat, že se už nebojím, že na mě ostatní budou křičet, ale spíš že na mě bude křičet můj vlastní kód. Tak či tak jsem dospěl k tomu, že obavy z toho či onoho důsledku mi nepomáhají k lepšímu kódu.

-- Paul McKenney

Pochybný ovladač pro exFAT

Systém souborů exFAT je produktem Microsoftu navrženým pro flashová média. Podpora pro exFAT v linuxovém jádře schází; jako proprietární, silně patentovaný systém souborů to není něco, pro co by člověk očekával podporu. Po objevení repozitáře exfat-nofuse na GitHubu někteří doufali, že by Linux přece jen podporu pro exFAT nabyl. Místo toho to ale vypadá, že jsme přišli jen k ošklivému nepořádku v licencích a ke kódu, kterému je lepší se vyhnout.

Při pohledu na repozitář to vypadá, že kód funguje. Byl původně napsán Samsungem a vypadá to, že se objevil na jednom nebo více zařízení s Androidem. Problém je ale zdá se v tom, že Samsung nikdy neměl v úmyslu tento kód distribuovat pod GPL. Místo toho se uživatel GitHubu známý pod přezdívkou „rxrz“ nějak dostal ke kopii tohoto kódu, odstranil původní hlavičky s proprietární licencí a do kódu vložil hlavičku GPL. Kód tedy tvrdil, že je pod GPL, ale vlastník práv jej pod touto licencí nikdy nezveřejnil.

9. července jiný uživatel GitHubu založil bug upozorňující, že licence je nesprávná, a navrhoval odstranění repozitáře. Uživatel rxrz tímto návrhem ale nebyl nadšený a řekl k tomu:

Jde o uniklý kód z proprietárního ovladače exfat napsaného Samsungem. Funguje a můžeš jej používat. Co dalšího bys chtěl, podepsané prohlášení od svých rodičů jestli ho můžeš, nebo nemůžeš použít? Jsem programátor, nikoliv právník. Tady máš kód a teď se rozhodni, co s ním budeš dělat, je to na tobě.

Od té doby byl kód upraven, hlavička GPL je pryč a proprietární licence je zpět na svém místě, ale je nadále k dispozici na GitHubu a rxrz má zjevně pocit, že se nestalo nic špatného. Navíc se zdá, že GitHub nemá v plánu repozitář odstranit, dokud nepřijde výslovná žádost od Samsungu, takže tento „uniklý“ ovladač může být nějakou dobu k dispozici.

Celá kauza vypadá jako jednoznačný případ toho, kdy se někdo snaží za každou cenu osvobodit proprietární kód. Věc ale vyvolává zajímavé otázky. První z nich je: co kdyby se někdo pokusil tento kód začlenit do hlavní řady jádra? Okamžitou odpovědí je, že by ho rychle vyhnali, protože, mírně řečeno, tento kód moc jako kód pro linuxové jádro nevypadá. Mimo této zjevné překážky by ale snad běžné procesy revidování kódu zabránily v začlenění, dokud by vývojář neposkytl vysvětlení, odkud se ten kód vzal.

Ale není jisté, zda je všechen kód revidován do takové hloubky, takže si nemůžeme být jisti. Implementace exFATu by ale snad přilákala dostatek pozornosti na to, aby byly kladeny ty správné otázky. Kdyby ale šlo o ovladač pro nějaký obskurní hardware, tak by se na něj možná nikdo tak do hloubky nedíval.

Je tu ale jiná záležitost: proč toto Samsung vůbec distribuuje jako proprietární modul? Vždyť to vypadá, že Samsung už ví, jak funguje vývoj linuxového jádra a představuje jednoho z nejaktivnějších přispěvatelů do jádra. O odpovědi na tuto otázku se můžeme dohadovat, ale asi to souvisí s nároky, které si Microsoft na formát exFAT činí. Microsoft předvedl, že bude vynucovat patenty na systémy souborů, takže chovat se při implementaci nového systému souborů od Microsoftu opatrně by měla být samozřejmost. Zda tato opatrnost vedla k ignorování GPL neopatrným způsobem je už jiné téma.

Stejně tak by měli být opatrní všichni, kdo by chtěli tento kód použít jako nástroj pro zpětné inženýrství pro novou implementaci exFAT. Je těžké se při reverzním inženýrství vyhýbat problémům s patenty. exFAT je možná formátem, který je lepší nechat na pokoji.

Nakonec tu máme to, že chování vykazované řadou přispěvatelů k danému vláknu na GitHubu může být pro mnoho lidí překvapivé. Licencování, ať už jde o GPL, nebo ne, je zjevně pro řadu těchto lidí nepodstatné. Záleží jim jen na tom, že jde kód stáhnout a že funguje. Tento přístup je k nalezení i jinde na GitHubu; řada lidí si pochopitelně stěžuje i na to, že GitHub je přinejmenším lhostejný k licencím kódu, který distribuuje.

Možná se blížíme k době bez copyrightu, kdy na licencích už opravdu nesejde. Ale nebylo by překvapivé, kdyby ti, kdo mají na copyrightu zájem, této budoucnosti nějakou dobu vzdorovali. Nebavíme se jen o zábavním průmyslu; pravdou je, že kdokoliv si cení stanov GPL má samozřejmě zájem na copyrightu. Je těžké dožadovat se respektu k GPL a nerespektovat přitom podmínky jiných licencí.

Mimo jiné toto znamená, že jaderná komunita musí být nadále opatrná, aby nedošlo k přijetí kódu, který není pod vhodnou licencí. Proto je nutné důsledně prověřovat jakýkoliv kód, co se objeví na síti, nezávisle na tom, jak užitečný je. V tomto případě nikdy nehrozilo, že by kód pro exFAT byl někdy začleněn; nikdo to ani nenavrhl. Ale v budoucnosti se objeví jiné moduly pochybného původu, některé z nich přitom mohou na první pohled vypadat legitimně. I tak by ale naše procesy měly být dostatečně dobré na to, aby byly odhaleny problémy a nedošlo k začlenění, kterého bychom později litovali. Doufejme, že to tak bude.

Diskuse k tomuto článku

[pc2005]

Je těžké se při reverzním inženýrství vyhýbat problémům s patenty.

Není, stačí bydlet v Evropě .

[R]

Dokedy?

[j]

Lepsi je Cina, tam ses v suchu.

[Luboš Doležel (Doli)]

Taky mi to přijde střelený. Navíc pochybuju, že zrovna v exFATu je něco přelomového.

[Grunt]

• QUICK FILENAME LOOKUP USING NAME HASH - US2009164440
• CONTIGUOUS FILE ALLOCATION IN AN EXTENSIBLE FILE SYSTEM - US2009164539

Vždyť to je pomalu objev podstatný jako objevení žárovky, ne?

[Luboš Doležel (Doli)]

Ugh. To pak byl patentovaný každý std::unordered_map, kam nacpu názvy souborů. Toho se přece nemůže nikdo obávat.

[frEon]

podle popisu to spis zni jako bloomuv filtr, ne?

[Grunt]

Toho se přece nemůže nikdo obávat.

Nemůže. Ale stojíš proti Microsoftu. Zkus to jestli si na jejich právní oddělení troufneš. To bude asi celé.

[pc2005]

Vždycky může použít prior art zde. Již bylo úspěšně použito.

[Grunt]

Čoveče a třeba na to fakt spoléhali. Třeba to opravdu není nic jiného než jen past.

[Ovocníček]

Teda, linkovat zrovna tenhle blog (bejvalej Boycott Novell, asi už se radši přejmenovali...)? Vždyť to je IT ekvivalent Revue Fragmenty.

[Grunt]

To je první věc kterou jsem vygooglil. Tento názor se objevoval i v diskusi na GitHubu (myslím) a mám to odtamtud. FIFY.

[Grunt]

FIFY

Tak nemusíš

[Salamek]

Tak ten prvni patent je hodne drsnej na to snad prijde kazdej za par sekund

[erino72]

Nikto nehovori ze prelomove, ale urcite je lepsi ako starsi fat32 a bolo by vhodne pouzivat jeden format cez viacero systemov

[Heron]

Samozřejmě. A náhodou, jak na potvoru, formát patentovaný MS.

[Grunt]

Však. Ani nechtěj vědět jak to tlačí…

[R]

Takze namiesto FAT32, s ktorym vedia pracovat vsetky zariadenia, prichadza exFAT. Nevedia s nim pracovat ziadne zariadenia a ako bonus je patentovany.

[vodic]

V článku chybí jedna podstatná informace. Vzhledem k tomu, že uniklý kód exFAT linkuje tunu dalšícho GPL kódu, težko může být pod proprietární licencí. Takže rxrz toho zas tolik neprovedla, jen odstranila protiprávní označení GPL kódu jako neGPL.

[Grunt]

Vzhledem k tomu, že uniklý kód exFAT linkuje tunu dalšícho GPL kódu, težko může být pod proprietární licencí

Jo?

exfat_api.c:#include <linux/version.h>
exfat_api.c:#include <linux/module.h>
exfat_api.c:#include <linux/init.h>
exfat_blkdev.c:#include <linux/blkdev.h>
exfat_nls.c:#include <linux/nls.h>
exfat_oal.c:#include <linux/semaphore.h>
exfat_oal.c:#include <linux/time.h>
exfat_super.c:#include <linux/version.h>
exfat_super.c:#include <linux/module.h>
exfat_super.c:#include <linux/init.h>
exfat_super.c:#include <linux/time.h>
exfat_super.c:#include <linux/slab.h>
exfat_super.c:#include <linux/smp_lock.h>
exfat_super.c:#include <linux/seq_file.h>
exfat_super.c:#include <linux/pagemap.h>
exfat_super.c:#include <linux/mpage.h>
exfat_super.c:#include <linux/buffer_head.h>
exfat_super.c:#include <linux/exportfs.h>
exfat_super.c:#include <linux/mount.h>
exfat_super.c:#include <linux/vfs.h>
exfat_super.c:#include <linux/parser.h>
exfat_super.c:#include <linux/uio.h>
exfat_super.c:#include <linux/writeback.h>
exfat_super.c:#include <linux/log2.h>
exfat_super.c:#include <linux/hash.h>
exfat_super.c:#include <linux/backing-dev.h>
exfat_super.c:#include <linux/sched.h>
exfat_super.c:#include <linux/fs_struct.h>
exfat_super.c:#include <linux/namei.h>
exfat_super.c:#include <asm/current.h>
exfat_super.c:#include <asm/unaligned.h>
exfat_super.c:#include <linux/aio.h>
exfat_super.c:#include <linux/time.h>

Nevidím až zas tak nic zvláštního co by nepotřebovala libovolná implementace souborového systému. Museli by se prověřit jednotlivé symboly, jestli jsou GPL_strict.

Takže rxrz toho zas tolik neprovedla, jen odstranila protiprávní označení GPL kódu jako neGPL.

To se ale dělá jinak. Šlo o leaknutý kód a nevím jak by se na takové "relicencování" kódu bez vůle autora díval zákon.

[pc2005]

No některý ty headery (namátkou linux/semaphore.h) maj v sobě: "Distributed under the terms of the GNU GPL, version 2", takže po gcc -E se tam to GPL dostane. Navíc je to irelevantní v tom exfatu od rxrz je přímo zkopírovanej kus linux .c zdrojáku of fat32 (exportuje se GPL only), bylo to nalezeno triviálně přes komentář.

BTW to hlavičkový soubory nešířej GPL? Ani když v nich je definovaná nějaká funkce (třeba inline, makro, nebo ty wrappery okolo func/__func)?

[Grunt]

Navíc je to irelevantní v tom exfatu od rxrz je přímo zkopírovanej kus linux .c zdrojáku of fat32

Áha. Pak by měly ale otázky mířit asi správně na Samsung. Protože podle toho co jsem pochopil to distribuoval ve svých zařízení pod Samsung proprietary license.

BTW to hlavičkový soubory nešířej GPL?

Tak hlavičkové soubory většinou v sobě nemají přímo definici funkce, pouze její deklaraci, maximálně nějaké smetí. No ale stejně ten samotný kód odněkud musíš nalinkovat (a na ten už se GPL vztahuje), takže je to jedno.

[Sten]

Hlavičkový soubory (deklarace tříd a funkcí) samy GPL nešíří. U inline funkcí a maker je to sporné, neexistuje žádná jasně daná velikost, kdy už to je copyrighted work (a tedy půjde o odvozené dílo). Pokud jsou ty wrappery jen jednoduché (volej funkci a přidej tenhle parametr nebo tak něco), tak GPL nešíří, jinak jsou na tom stejně jako inline funkce.

[Marv-CZ]

Bylo obrovskou chybou výrobců flash zařízení, že v době kdy flash zařízení začínala, použili FAT a přistoupili tak na patentové hry MS.

[Ovocníček]

A úplně nejlíp by udělali, kdyby si každý místo šmejdů jako je SD udělal vlastní sloty a protokol, to by pak už nikdo nemusel platit odporné licenční poplatky nechutným IP vyžírkům a všechno by bylo mnohem levnější! :)

[Sten]

Sloty a protokoly si taky sami udělali

Úplně by stačilo, kdyby použili existující UDF. I Windows jej podporují už poměrně dlouho (ačkoliv se stále snaží tvářit, že nic takového neumí, aby to náhodou uživatelé nezačali používat).

[Ovocníček]

XP a 2000 podle wikipedie nikdy na UDF zapisovat neuměla. Jinak si ale nejsem jistý, jestli je to vůbec navržené na klasické random-access přepisování typu disketa/HD (a jeslti by se zápis dal snadno implementovat i v primitivních foťácích). Nezapomeňte, že podoba USB klíčenek a foťáků na paměťové karty se utvářela na přelomu století.

[Sten]

2000 neumí ani exFAT. XP umí zapisovat s driverem od třetích stran, běžně dodávané jsou k DVD a BluRay vypalovačkám. A kdyby byl dostatečný tlak, jistě by MS backportoval i ten svůj ovladač, stejně jako to udělal s exFAT.

UDF umí random-access přepisování (zvané plain build) od první revize. Nakonec si stačí přečíst ten článek na Wikipedii

Implementace revize 1.02 je tak stejně „jednoduchá“ jako implementace exFAT. Ty primitivní foťáky budou stejně nadále používat FAT32.

[kralyk z abclinuxu]

UDF afaik nelze mít na partici, muselo by být na celém médiu. Jenže člověk občas potřebuje flashku rozdělit.

[Sten]

AFAIK tohle platí jen pro Windows XP s originálním ovladačem (ale nezkoušel jsem). Na novějších Windows (zkoušel jsem Visty a 7) lze mít UDF i v oddílu, pokud to bude první oddíl. Stejné omezení ale platí pro všechny souborové systémy ve Windows.

[kralyk z abclinuxu]

Aha, tak už mi to taky jde, trik byl ve vynulování místa na začátku partice, protože jinak systém vidí zbytky předchozího fs. Díky.

[Sten]

Jo, důležitá věc pro windowsí UFS: rychlý formát (/q) často funguje správně, je potřeba udělat úplný formát. Tím se vyřeší i tenhle problém.

[Sten]

Oprava: často nefunguje správně

[pc2005]

Úplně by stačilo, kdyby použili existující UDF. I Windows jej podporují už poměrně dlouho (ačkoliv se stále snaží tvářit, že nic takového neumí, aby to náhodou uživatelé nezačali používat).

Nebo by si mohli implementovat libovolnou verzi extfs, určitě by pak nebyli žalováni za dlouhé názvy souborů a kompatibilita by byla extrémní. Driver pro windows taky existuje (worst case=testoval jsem je readonly ext2 plugin do totalcommanderu ).

[Ovocníček]

Kompatibilita se vším kromě majoritního (9x%) systému je pro linuxáky super, ale pro ty firmy, co je karty/foťáky/hardware živí, ty by vás asi hnaly...

[xkucf03]

Stejně většinou používají PTP místo USB mass storage, takže se dá abstrahovat od FS použitého na kartě. Může se klidně použít nějaký solidní a patenty nepostižený FS a až budou mít Windowsáři dopsaný ovladač, můžou si přepnout foťák na mass storage

[Ovocníček]

No já nevím, ale všechny foťáky (Olympus, několik Panasoniců), co jsem měl (Nokie, Mivvy lol), stejně jako telefony s USB používaly mass storage.

[Michal Kubeček]

Stejně většinou používají PTP místo USB mass storage

S tím jsem se zatím setkal jen u foťáků od Canonu - a po vyzkoušení několika implementací jsem radši začal používat čtečku.

[xkucf03]

No, možná je to zkreslené tím, jaké přístroje se mi dostaly do rukou, přišlo mi, že PTP je dost časté. Nicméně chtěl jsem tím říct, že výrobce se nemusí tolik trápit nekompatibilitou s Windows, když jim může nabídnout přístup přes PTP. Další věc je, že výrobci většinou přibalují nějaký ten software – prohlížeč obrázků, editor atd. – tak už by tam rovnou mohl být i ovladač pro FS.

BTW: těch formátů zaměřených na flash paměti je celkem dost… je nějaký jasný favorit?

[Ovocníček]

No, těžko říct. Ono závisí i na tom, jeslti se počítá s přímým připojováním zařízení (mobil, MP3ka), nebo i vyndáním karty. U těch foťáků si dovoluji říct, že tam by byla hrubá chyba, kdyby karta nebyla přímo čitelná v PC, protože přenos fotek přes USB bývá hrozně pomalý a asi nejsem jedinej, kdo zásadně vyndavá kartu a používá čtečku (když už ji dnes má každej notes).

[Sten]

Ta čtečka v notebooku je většinou interně taky připojená přes USB

[Ovocníček]

Jo, ale to je přece jedno? Přenos fotek po kabelu není pomalej proto, že to jde přes USB, ale proto, že ten foťák to má prostě v sobě uděláno jen na slimáčí rychlost. Třeba Lumixy (rok výroby 2006 a 2008 IIRC) byly tak pomalé, že ani nebyly limitované notebookem, který neuměl USB 2.0.

[pc2005]

se vším kromě majoritního (9x%) systému

Však jsem psal, že jsou extfs drivery i pro Windows. Stejně výrobci dodávají instalační CD, tak by jen přihodili několika kB driver.

[kralyk z abclinuxu]

Sice existujou, ale pokud vím, tak v praxi jsou mizerný.

[Marv-CZ]

V době, kdy flash paměti nastupovaly, to bylo jedno. Windows stejně s nimi neuměly pracovat a musely se instalovat ovladače. Kdyby se s ovladači HW doinstalovala i podpora příslušného FS, tak by si toho uživatel ani nevšiml. V okamžiku, kdy by vybraný FS jasně převážil a stal se (ať už defakto nebo oficiálním) standardem, MS by jej klidně implementoval. V tomhle se zase chová pragmaticky. Prostě stejný scénář, jako když nastupovaly CD.

[Ovocníček]

Podpora jiného FS není jen tak... třeba ext2/3 ovladač pro Windows už existuje dlouhá léta, ale... například jednou jsem onehdy zjistil, že měl vadné kontrolování volného místa. Takže vás nechal přesunout na partišnu pár giga a když zjistil, že se mu to tam nevejde, tak to nestornoval, nechal program dokončit přesun, smazat zdroj, a pak jste jenom dostali do logu hlášku, že "některá data se npodařilo zapsat z diskové cache na fyzické zařízení, sorry!"

Takže... jo, nic snazšího než nainstalovat ovladač FS.

[xkucf03]

Já si zase pamatuji na problémy s diakritikou v názvech souborů… nakonec jsem se na interoperabilitu tímto způsobem vykašlal (spokojil jsem se s FAT32 a taky přestal používat Windows).

Je otázka, kolik lidí to tehdy potřebovalo a jak velká byla snaha mít fungující ovladač ve Windows. Věřím, že kdyby se do toho obulo pár výrobců HW chtěli z toho udělat software pro BFU, nebyl by problém to napsat slušně a spolehlivě a pořádně to otestovat a odladit.

[Ovocníček]

Já se bojím, že by si spíš všichni vymysleli nějakou hroznou utilitu z pekla. Však si ještě pamatuju na úroveň bundlovaného softwaru/ovládacích programů ke skenerům, tiskárnám a tak...

[Grunt]

Nalejme si čistého Valtického: Ty firmy jsou za to zodpovědné v první řadě, protože když to začínalo se měli mezi sebou domluvit, zformovat nějaké konsorcium, vytvořit standardy. Místo toho to cpali na trh jak se dalo, s přídavnýma CDčkama, FATem a bůh ví čím, hlavně o den dřív než konkurence. Ovladače pro MassStorage přišli teprve až s Windows XP (možná W2000, nepamatuju se přesně ale ve W98 a v Milleních jsem musel vždycky doinstalovat ovladač určitě).

[Ovocníček]

2000

[Grunt]

No to jsme si fakt pomohli.

[Grunt]

A jinak s exFATem tomu bude nejinak. Nemusím být ani orákulum nebo vědma abych věděl jak to zas dopadne.

[Marv-CZ]

Nejde jen o ty patenty. Stačí i ty technické problémy - FAT12, FAT16, FAT32, exFAT - ve starším zařízení nepřečtete nové větší karty, nové zařízení zase zbytečně musí umět několik různých FS.

A nikde jsem nepsal, že si má každý udělat vlastní. Naopak se měli dohodnout na něčem společném.