Dotaz: V linux-media nechteji prijmout muj ovladac - pry by pomahal pruniku binarnich blobu do kernelu

[Kju]

Nejsem az tak zkuseny linuxovy hacker, abych vedel, mam-li dal bojovat a nebo mi nezbyva nic jineho nez to vzdat.

O co jde?

Poslal jsem do linux-media patch s ovladacem, umoznujicim virtualizaci DVB zarizeni. Navic jsem i uvedl priklad, jakym zpusobem je mozne (odkaz na GPL projekt dreamtuner) dany ovladac pouzit k tomu, aby klientske PC (samozrejme s linuxem) si nasdilelo vzdalene DVB zarizeni (DVB-S/T nebo C).

Byl jsem pripraveny na vsechno - ze je kod na h(ouby) ... bla bla bla takze jsem sam moc nepocital se zarazenim do jadra. Spis jsem chtel si kod nechat zrevidovat zkusenymi borci.

Reakce me ale totalne dostala - ovladac nemuze byt zarazen protoze by byl zneuzitelny vyrobci binarnich ovladacu!!!

Pripada vam takovy argument validni?

Kdybych se tohoto pravidla drzel, tak by prece bylo navzdy v kernelu zakazano API pro moduly. Jen jednolity, nestrukturovany kernel nebude zneuzitelny.

A ted se zeptam zkusenych: je mozne, aby na zaklade takove pochybne argumentace maintainer ovladac uplne odmitl?

Prijde mi to az nemozne. Ale staci mi, kdyz mi potvrdite, ze to tak mozne je. Pak s tim asi tezko neco nadelam.

Diky

/Honza

Odpovědi

[Atom321]

No, zdá se mi to nějaké podivné. Co že vlastně ten patch přesně dělá?

[chrono]

V podstate to umožňuje písať (uzatvorené) ovládače pre DVB hardvér a pritom využívať GPL kód DVB jadra (netuším ale, či to bol pôvodný zámer autora, alebo ide len o "vedľajší produkt").

[Kju]

Opravdu to zamer autora nebyl.

Musim rict, ze jelikoz situaci na linux-media sleduji, tak jsem predpokladal, ze kod zarazen nebude. Ale ocekaval jsem nejake rozumne duvody, typu "kod je spatne napsany protoze bla bla ...". Ale ze postacujicim duvodem pro nezarazeni je obava z binarnich ovladacu, to me ani ve snu nenapadlo.

Zamerem autora bylo presne to, co je bylo deklarovane v mailu - mit ovladac, umoznujici sdileni DVB tuner pres sit.

Reseni pouzivam skoro pul roku a tak jsem chtel znat nazor komunity na uzitecnost takoveho kodu. Ukazuje se, ze omezenost "tech, co do toho maji co mluvit" byla, je a bude vzdycky problemem v linux-media.

Libil se mi jeden argument, zastavajici se meho kodu: kdyby strachy o binarni bloby v kernelu vitezily vsude, tak do dneska nemame modularni jadro.

Muj protiargument je podobny: jaky je rozdil mezi sdilenim disku (NFS, SMBFS, ... a nebo jeste hezci priklad primo z nasich luhu a haju = NBD od Pavla Machka)?

/Honza

[Atom321]

No, když někdo bude chtít udělat binární blob, zkompiluje wrapper na cílové mašině a spojí se svou binárkou. Stejně jako to dělá NVidia, VMWare a jiní. Pokud bude dostatečně drzý, vezme na to přímo ten odmítnutý kód z mailing listu.

[Kju]

Ovladac umoznuje sdilet digitalni tuner (satelitni, terestrialni nebo kabelovy) mezi linuxy tak, ze na klientovi se tvari jako lokalni.

Tady je jeho kod: http://www.spinics.net/lists/linux-media/msg34240.html

/Honza

[Atom321]

No, tak to opravdu vypadá jako srážka s inkvizitorem, to je marný boj.

[R]

Zjavne to vyvojarom pripada ako wrapper, ktory ich pracu (rozhranie urcene pre GPL kod) exportuje do userspace.

[Kju]

Jo tohle je nazor Maura (maintenera linux-media).

Podle me to je ale slovickareni.

Jak lze jinak virtualizovat libovolny subsystem nez vlozenim kodu, ktery (lidove receno) "vsechny operace prenese na druhy system"?

Vzycky se pouziva "lepici" (glue) mezivrstva.

Nebo to jde jinak? Kdybych vedel jak, tak to klidne predelam. Nic me ale nenapada. Teda aspon podobne efektivniho. Coz zrovna u subsystemu, kde se prenasi klidne i cely transporter DVB-S2 (klidne i vice nez 65 Mbps) je zadouci. Kazdy zbytecny processing podstatne zatezuje system.

/Honza

[Pavel Stárek]

Bylo by dobré, se pana maintainera slušně zeptat, co tím vlastně myslí. Však různá lepidla mezi kernelem a svým binárním blobem používá i NVidia a ATI ve svých ovladačích. Je to asi na složitou diskuzi, ono by se chtělo zeptat i někoho z linux-kernel (nevím kdo spravuje řadu 2.6.xx) jaký na to mají názor, a patch (nebo celý kód) nabídnout tam. A přesně, pokud by vývojáři nechtěli binární bloby, nemusí "exportovat" různá API kernelu a můžu si mastit nějaký šílený monolitický kernel.

[psonek]

A neslo by to udelat v userspace?

[Kju]

V prubehu flamewar s odpurci jsem stvoril schematicky obrazek, ktery by mel vysvetlovat, ze se opravdu nejedna o psani binarnich ovladacu ale o distribuci DVB adapteru pres TPC/IP.

Tady je odkaz: http://www.nessiedvb.org/wiki/doku.php?id=vtuner_bigpicture

/Honza

[Kju]

Zatim bych to nerad zakriknul, ale zacalo se blyskat na lepsi casy

Mauro, linux-media maintainer zmenil nazor (podle vseho konecne pochopil, co jsem se mu stale snazil rict - ze se mi jedna o pravou virtualizaci/sdileni a ne o binarni ovladace) a uz ovladac neodmita per se.

Popracuju na upravach, ktere mi byly naznaceny a uvidime, melo-li to smysl (stravil jsem "bojem" skoro dva dny, pomalu si pripadam jako bozi bojovnik)

Takze to prozatim uzaviram.

Diky za vase nazory.

/Honza

[Atom321]

Tak pro příště: nepoužívat v mailing-listu slovo "closed" a nedávat za příklad nic, co není GPL.

[Luboš Doležel (Doli)]

Zeptám se možná hloupě, ale k čemu je to dobré? Protože tohle v podstatě umí dělat VDR-streamdev v userspace. To sice nevyexportuje zařízení jako takové, ale VDR umí vyexportovat nasdílet snad všechny věci, co v DVB streamu jsou.

[Kju]

Proc hloupe? To ani ne, ale odpoved je celkem logicka - timto ovladacem zustaneme kompatibilni na urovni linux kernel DVB api.

Takze tam nebude zavislost na userlandu. Pak nebudeme zavisli na VDR a jejich streamdev pluginu.

Bude mozne to pouzit "vsude", nebo-li se vsemi DVB API kompatibilnimi aplikacemi.

/Honza

[Luboš Doležel (Doli)]

To chápu, jen si neumím představit reálné využití.

[Grunt]

Co máš z toho. Já zas nechápu využití ani jednoho když to jde demuplitplexovat a stream přenášet po síti rovnou jako RTP/RTSP (s kupou všelijakých výhod), ale když to existuje tak to někomu asi k něčemu dobré je.

[Luboš Doležel (Doli)]

Právě to VDR-streamdev dělá. Sice tuším ne přes RTP, ale dělá.

[Grunt]

Aha (HTTP, VTP (vlastní protokol podobný RTSP nebo RTCP) s odděleným přenosovým kanálem, v UDP pravděpodobně namuxovaný na RTP). Pak mě napadají už jen dva důvody:

• NeumimNastavitDebian NeumimNastavitSS
• Podobná architektura jakou má Kismet, tedy Drone-Server-Klient kde jednotlivé drony mohou zpravidla být kvůli nenáročnosti i různá embedded zařízení (tvrdou práci demultiplexování zařízuje až server) a může jich být víc v různých lokalitách oddělené sítí. Klienti zas můžou být embedded. To dává vcelku smysl.

[Atom321]

Hlavní důvod je (jak psal autor) použití přehrávače s DVB API. Tedy včetně ladění a přepínání kanálů. To RTSP neumí.

[Kju]

A hlavne - ono to fakt funguje :)

Kolega to pouziva asi pul roku, takze to neni az tak tezce experimentalni kod.

/Honza

[Grunt]

Ty brďo. Co já vím. To bude hodně záležet na použití.

[Kju]

Mauro (maintainer) se vzpamatoval, pochopil svou slabost a tak prohlasil, ze mu neni dobre, boli ho zada atd. A tak znova napsal svuj pohled na vec: se zarazenim souhlasi, ale jen jestli kod zmenim tak, ze nebude nic propagovat z DVB API smerem do userlandu. Uvedl nejaky priklad, jako ze by ovladac mel sam tlacit data do ethernetu.

Musim to zanalyzovat, ale nechapu jak by to bylo realizovatelne. Podle me jsou prave pro toto v systemu bezici demoni - pro nfs napr. nfsd, pro nbd je to nbdd a pod. Rizeni takoveho ovladace mi z kernelu prijde dost slozita (sysfs nebo procfs nebo devfs), kdezto z userland aplikace/demona to bude hracka. Hmmm, nejspis jde o umelou prekazku. Ale jeste nemam nazor, musim to nastudovat.

/Honza

[Atom321]

... jako ze by ovladac mel sam tlacit data do ethernetu.

A ten zlý binární blob pak místo exportovaného DVB API použije TCP komunikaci s localhostem.

[Luboš Doležel (Doli)]

Hmm, firmy si už našly cestu kolem GPL. Markus Rechberger, dřívější vývojář open source ovladačů, pro jednu firmu zprasil ovladač, který funguje plně v user space. Je to knihovna, kterou to napere do LD_PRELOAD napříč _celým_ systémem a tam to odchytává vybraná volání.

S TV kartou to pak komunikuje přes libusb. Humus na Ntou.

[R]

Na toto by platila jedna vec: urobit nieco ako linuxovy certifikacny program pre HW. Nieco podobne, ako ma MS (Designed for Windows x). HW by niekto otestoval (s GPL-kompatibilnym open source driverom - to by bola nutna podmienka) a ak by vsetko fungovalo, mohol by sa vyrobok oznacit nejakym logom (Works with Linux).

[Pavel Stárek]

Tak například Red Hat má certifikační program pro hardware.

[Kju]

O Markusovi a jeho binarnich ovladacich vim. Prave jeho odmitnuty wrapper mi predhodili hned na zacatku.

Mam celkem dost neprijemny pocit, ze to je hlavni duvod, proc to nechteji.

Ale jestli to Markusovi chodi i tak, tak pak zas ale nechapu o co jim jde, kdyz, jak je videt, "kdo chce, cesticku si najde".

Asi si o tom jeho reseni budu muset neco najit.

Mozna zacinam byt paranoidni, ale jelikoz hlavnimi odporci jsou Devin a Steven, oba z kernellabs.com, tak mi to prijde, ze je chci snad pripravit o praci (kernellabs.com se pysni tim, ze dela na zakazku open source ovladace pro linux-media).

Znova upozornuju, ze me nic takoveho ani nenapadlo.

Stale mi proste nejde pres nos, ze kvuli necim strachum se odmitaji ovladace. Grrrr.

/Honza

[Kju]

Takze uz z nej vypadl i zaver: pry kdyby ovladac neexportoval nic z DVB API do userlandu, tak by nebyl problem. Takhle ale by to slo jedine kdyby to povolili (ACK) vsichni, co maji prava na dvb-core.

Coz se rovna rozsudku smrti.

A to mi stale nevysvetlili, co je na tom jineho treba oproti NBD ci NFS

Argumenty nejsou, ale mavaji GPL. Pritom ja porusovat GPL nehodlam. Cely system je v GPL.

/Honza

[Kju]

Zacinam byt unaveny ...

[psonek]

Mas nekde link na tu diskusi celou?

[Kju]

vsem, kdo neodebiraji linux-media a chteji si ty jejich pseudoargumenty precist, tak doporucuju pouzit gmane:

http://news.gmane.org/gmane.linux.drivers.video-input-infrastructure

Horni okno posunout k 19.6. tam to zacalo, jmenuje se to "[RFC] vtunerc - virtual DVB device driver"

/Honza

[Non_E]

Projekt mi připomíná usbip, který nasdílí usb zařízení. Ten se skládá z démona usbipd a modulů usbip a usbip_common_mod. Když může být exportováno usb zařízení, proč ne dvb?

[Kju]

Dik za tip na USBIP. Pocitam, ze si necham to rozhodnuti jeste proverit na LKML. Nejak stale citim, ze ty jejich argumenty nemuzou obstat. Vedle NBD teda muzu argumentovat i USBIP (i kdyz je "jen" ve staging stromu). Kdyz me vyzenou i tam, tak pak uz prestanu otravovat a holt to budu udrzovat mimo jadro.

/Honza

[Funés]

Problem je v tom, ze zarizeni DVB ma schopnost prijimat aktualizace z vysilace, a odtud prameni duvodna hrozba ktera by vedla neprimo i k jadru pudla... K tomu uz neni problem aby nekdo nastrcil vysilac a donutil vase jadro spolupracovat. Ale je to jen muj odhad, ten dotceny kod jsem nestudoval, ale jako soucast jadra pro vsechny systemy je to celkem, no rekneme ne prilis bezpecne.

[Kju]

To si delas srandu, ne? Kde jsi to vzal?

Spolupracovat jadro? Co tim myslis?

Co se bezpecnosti tyce, tak je tohle asi 1000x bezpecnejsi nez jakekoliv sitove sdileni disku/filesystemu. Tohle je ovladac, ktery umoznuje pristup k DVB zarizeni pres DVB API. Tudy zadna hrozba nehrozi. Krom spatne napsaneho kodu, ale to pak je genericka otazka a nema s danym problemem nic spolecneho, jelikoz kvalitou kodu se nikdo ani neobtezoval zabyvat. Stale se resi politika!

Napred jsem si myslel, ze jsi se uklepl a reagujes na neco jineho. Ale kdyz vidim, ze mas v textu zkratku "DVB", tak asi ne. Pak ale musim napsat, ze jsi uplne mimo. A takovy duvod nezaznel ani v jednom z tech soucasne uz 36 prispevcich!

/Honza

[Funés]

Pak se vsem zucastnenym diskuterum omlouvam za svuj hloupy nazor :)

[Kju]

Znechuceni nad omilanim dokola porad stejnych nesmyslnych argumentu ze strany maintainera dosahlo vrcholu

Puvodne jsem to chtel ventilovat v LKML, ale nechci se ucastnit dalsi flamewar. Stacilo.

Proste si zalozim projekt na SF a budu se to snazit udrzovat nezavisle.

Diky vsem za komentare.

/Honza

[Kju]

Jeste poznamka: v soucasne dobe je na toto tema 56 reakci. A ani jedna se netyka kodu. Ted uz vim, ze jsem slapl na kuri oko a ze zadnou pomoc (s revizi kodu) na linux-media nedostanu.

/Honza

[stativ]

Podle mého názoru bys to měl v LKML zkusit. Napsat všechny argumenty, proč to není špatně. Pořádně vysvětlit o co jde a pak případně přihodit i těch pár příkladů, kde jinde se podobný princip používá. Tady se v tom rýpe pár „politiků,“ což dost možná odrazuje všechny, kteří by se jinak koukli na kód.

[dustin]

Celou tu diskusi jsem nečetl, ale ty návrhy na ld_library_preload a implementaci v user spacu mi nepřijdou mimoňské. Ale jak říkám, nečetl jsem tvé protiargumenty, proč to nemůže fungovat.

Pokud by to ale technicky šlo, pak se správci jaderného subsystému až tak moc nedivím, že chce v jádře jen to nejnutnější a zbytek tlačí do userspacu. Už tak to drsně bobtná.

[Kju]

Samozrejme, userspace je (skoro)vzdycky mozna cesta.

Ale kdyz si uvedomim, ze jejich argumenty jsou politicke i kdyz ja bych spis rekl "politicko-kratkozrake", tak proste nejsem schopen videt cestu pres LD_PRELOAD jako optimalni, ale vidim ji jenom jako moznost, aby si nasli argumenty proti.

A je tam i argument jednoho diskutujiciho, ktery tvrdi, ze LD_PRELOAD se proto toto nasazeni nehodi. Argument jsem nestudoval, ale nikdo ho neoponoval, tak asi bude v poradku.

Navic, a to jsem uz zduraznil nekolikrat, je v ruznych jadernych subsystemech podobna zalezitost implementovana (uvedu jenom me zname: NBD a USBIP, to USBIP mi doporucil jeden diskutujici zde, jeste jednou mu diky, jelikoz kdyz si clovek srovna obrazky fungovani USBIP a vtunerc, tak je videt, ze se jedna o stejny zpusob virtualizace). A timto se dostavame k jejich politickemu argumentu = zneuzitelnost vyrobci pro psani binarnich ovladacu. Na coz je mozne zase lehce reagovat tim, ze pak je treba vyhodit celou modularnost kernelu, atd atd.

Proste nic presvedciveho.

A jeste tvoje poznamka k nabubrelosti jadra ovladaci - virtualizujici ovladace vetsinou jsou pruhledne radky kodu, protoze nemusi nijak hackovat nekvalitu designu hardware. Rekl bych, ze tyto ovladace (obecne) predstavuji tu nejmensi zatez pro "ekosystem kernelu" (coz je hezke slovo, ktere me naucili diskutujici na linux-media).

/Honza

[pht]

Problém zneužívání GPL kódu by se měl řešit na licenční rovině, nikoliv na technické rovině. Ale pokud se dobře pamatuju tak jádro je pověstné tím, že na GPL3 nepřešlo, místo toho se radši budou angažovat proti virtualizačním patchům.