83 % zdrojových balíčků obsažených v sidu lze sestavit reprodukovatelně

Vývojáři Debianu zabývající se reprodukovatelnými sestaveními (Reproducible Builds), tj. kdokoli může nezávisle ověřit, že daný binární .deb balíček vznikl na základě daného zdrojového .dsc souboru, oznámili, že více než 83 % zdrojových balíčků obsažených v sidu v sekci main lze přeložit a sestavit reprodukovatelně (aktuální stav).

17.2.2015 10:01 | Ladislav Hagara | Zajímavý projekt

Komentáře

[pavlix]

To vypadá skvěle. V tomhle je Gentoo hrozně pozadu, přitom by to tam mělo skvělý potenciál.

[R]

V Gentoo je "trochu" problem v USE a CFLAGS.

[pavlix]

Nesmysl. Jednak USE a CFLAGS do myšlenky reprodukovatelných buildů perfektně zapadají, jednak jsi ve výčtu problémů vynechal ty skutečné a specifické pro Gentoo.

[Vlcek]

Čiřá zvědavost, který jsou ty skutečný a specifický problémy?

[pavlix]

Gentoo si příliš nechrání závislosti. Neříkám, že to jiné distribuce dělají, ale u binárních distribucí se to řeší tak, že se builduje na systému připraveném právě a jenom pro ten jeden build. Jde o to, že kdejaký software se i na Gentoo builduje různě podle toho, jaké balíky jsou nebo nejsou nainstalované. Je to samozřejmě chyba, ale Gentoo prozatím není schopné tu chybu ani detekovat, aby vývojáři takové ebuildy skutečně opravili.

[Marián Kyral]

Od toho má Gentoo uživatele, kteří hlásí balíky, které se z nějakého důvodu nezkompilují.

[pavlix]

Mnohem lepší by bylo, kdyby mohli hlásit i balíčky, které se zkompilují na základě skrytých či nadbytečných závislostí.

[Xerces]

A jaký by to v Gentoo mělo mít smysl, když se to builduje přímo u uživatele ze zdrojových balíků? Měl jsem za to, že tahle fíčura je určená pro binárně distribuované distribuce.

[Hans1024]

Staci si predstavit, kolikrat se ta stejna vec builduje s temi stejnymi USE a CFLAGy. Kdyz vim, ze treba 5 lidi buildovalo uplne totez co ja a dosli ke stejne binarce, neni lepsi si tu binarku rovnou stahnout? Obzvlast bych tuto vlastnost ocenil napriklad u molochu jako je Libreoffice.

[Jakub Galgonek]

Už teď můžeš na Gentoo vytvářet a instalovat binární balíčky, několik jich je i v portage (třeba app-office/libreoffice-bin).

[Hans1024]

Ano, ale nejsou reprodukovatelne. Kompilaci dojdu k jine binarce.

[pavlix]

Ono bohatě stačí, když si představíš, kolikrát builduješ tu stejnou věc ty, už jen z toho bys mohl volitelně přes nějakou anonymizační vrstvu publikovat hashe, které jsi sám ověřil a jsou tedy pro tebe důvěryhodné. To stejné bys mohl mít na organizační úrovni a stejnětak bys mohl mít alert na to, když se někde s příliš velkým koeficientem důvěry objeví různé hashe, to by sloužilo buď jako vstup pro bug report nebo pro bezpečnostní incident.

[Luboš Doležel (Doli)]

Myslím si, že v CFLAGS budou velké rozdíly. Druhá věc je, že daný balíček může být teoretický sestavovaný vůči jiným verzím závislostí, což může znamenat jiné ABI. Není to tak jednoduché.

[pavlix]

Myslím si, že v CFLAGS budou velké rozdíly.

Myslet znamená hovno vědět. Pointa je ovšem v tom, že CFLAGS si administrátor volí dobrovolně a tedy si ty rozdíl v CFLAGS vytváří sám z vlastní vůle a sám si taky nese následky jako to bylo v mém případě. Gentoo is about choice, after all.

Druhá věc je, že daný balíček může být teoretický sestavovaný vůči jiným verzím závislostí, což může znamenat jiné ABI.

Což je právě jeden z důvodů, proč dávají reproducible builds smysl.

Není to tak jednoduché.

On nikdo netvrdil, že je to tak jednoduché, ale nejsložitější věc je právě mít ty reproducible builds, což je to o čem od začátku mluvím, že.

[the.max]

pavlixi, kdybych si ale chtěl tedy veškeré volby co mi Gentoo nabízí na defaultu abych tedy mohl dělat reprodukovatelné balíčky, tak to si pak už rovnou můžu místo toho Gentoo nainstalit debian a ušetřit si čas kompilací.

[pavlix]

To je ale úplně typický straw man, žejo. Já jsem už v blogu popisoval, proč používám Gentoo a naházení tuny sraček do CFLAGS to rozhodně není :).

[pavlix]

A jaký by to v Gentoo mělo mít smysl, když se to builduje přímo u uživatele ze zdrojových balíků?

Je toho strašně moc, co by to uživatelům Gentoo mohlo přinést, řekl bych, že mnohem víc než uživatelům binárních distribucí. Ani nevím, jestli má smysl snažit se to tady vypisovat. Ale ve finále by to mohlo Gentoo dostat na úplně jiný level z hlediska kvality uživatelských instalací, Gentoo QA, ale taky by to mohlo přinést úsporu času a výpočetního výkonu. Na reprodukovatelných buildech se toho dá vystavět strašně moc a dají se nakombinovat výhody zdrojových i binárních distribucí.

[Semo]

Takze svetovo distribuovana ccache?

[pavlix]

To ani ne.

[Luboš Doležel (Doli)]

Už z princpu je to nemožné - je tam příliš mnoho kombinací. Musely by být naprosto shodné CFLAGS, USE flagy a verze všech jiných balíčků, vůči jejichž hlavičkovým souborům se kompiluje.

[R]

A tiez kompilator, linker a pod.

[pavlix]

Už z princpu je to nemožné - je tam příliš mnoho kombinací.

Nesmysl. Zda je nebo není možné udělat (ať už jakoukoli) globální build cache, nezávisí na počtu kombinací.

Musely by být naprosto shodné CFLAGS

Triviální. Můžu si nastavit, jak chci.

USE flagy

Triviální. Můžu si nastavit, jak chci.

verze všech jiných balíčků

To se ovšem bavíš o obecné vlastnosti reproducible builds, která (1) není nijak specifická pro Gentoo a (2) není tak, jak ji popisuješ.

[rbc]

Muzes to nejak upresnit ? Zmenou volby pro kompilaci se prece vytvori odlisne binarky. Tech moznych kombinaci mezi CFLAGS, CXXLFAGS, USE apod. prece znamena obrovske mnozstvi moznych vyslednych binarek. Odkud by se braly el. podpisy se kteryma by sis kontroloval svoje buildy ?

[pavlix]

Nevidím, co bych upřesňoval. Počet možných kombinací ničemu nevadí. Ani v digitálních podpisech nevidím problém, ač jsem o žádných nepsal.

[Prcek]

Ale pak bych si připadal tak trochu jako podvodník, kdybych si všechny balíčky nezkompiloval sám .

Na druhou stranu zrovna včera večer jsem dal update systému a zahlídl jsem tam mimo jiné i LibreOffice a Chromium. No poprvé se mi stalo, že kompilace běžela ještě ráno .

[pavlix]

Ale pak bych si připadal tak trochu jako podvodník, kdybych si všechny balíčky nezkompiloval sám .

Jednak by to bylo ekvivalentní, až na spotřebovaný strojový čas, jednak bys klidně mohl důvěřovat jen těm, které jsi už jednou sám zkompiloval.

[prg]

Akurat komu verit a kde presne su vyhody?

Kludne mozem pol roku kompilovat reprodukovatelne pre komunitu a potom mi dobre zaplati trojpismenkova agentura za backdoory (backdoorovane binarky ponukane selektivne niektorym ludom).

[pavlix]

Obávám se, že cítím z tvých komentářů kritický nedostatek představivosti.

[Peter Golis]

Takže 17% balíčkov pre Debian sú nereprodukovateľné. Predpokladám že ich podpisuje rovno NSA.

[pavlix]

Pokud ti to vadí, hurá do práce, Debian je otevřená komunitní distribuce.

[Peter Golis]

Mne nevadí chyba ktorá sa ma netýka. Ale som rád že to vyhovuje spokojným užívateľom.

[Drom]

Ta demagogie byla dost slabá...

[Peter Golis]

Tssss.

[R]

Skus menej trolovat a viac citat. K tym nereprodukovatelnym balikom su tam aj bugreporty, dokonca rozdelene do kategorii podla druhu problemu.

[Peter Golis]

Ďakujem, čítal som to. Tie nereprodukovateľné balíky sú balíky ktoré po rebuilde dajú iný výsledok ako to, čo debian aktuálne distribuuje. Takže to poukazuje na závažné riziko nakazenia daných balíkov. Nie je to tak dávno čo debian obsahoval úmyselne zníženú silu generovaných kľúčov. To distro má nielen svetlú minulosť, ale aj budúcnosť.

[R]

A preco davaju iny vysledok, k tomu si sa uz nedostal?

[Václav "Darm" Novák]

>úmyslné

důkaz?

[Peter Golis]

Napríklad.

[Václav "Darm" Novák]

Já vím o jaké chybě se mluví. Důkaz že šlo o úmysl?

[Peter Golis]

Takže on tie zdrojové kódy modifikoval neúmyselne a zníženie bezpečnosti kľúčov až na úroveň uhádnuteľnosti bolo vykonané v dobrom úmysle. Teraz poprosím tú o červenej karkulke.

Ale som rád, že sa aspoň zdanlivo hýbu veci.

[Jendа]

Já taky neúmyslně dělám takovéto chyby když programuju.

Takže on tie zdrojové kódy modifikoval neúmyselne a zníženie bezpečnosti kľúčov až na úroveň uhádnuteľnosti bolo vykonané v dobrom úmysle.

Ten úmysl nemusel být snížení bezpečnosti klíčů, ale oprava chyby spočívající ve čtení neinicializované paměti.

[Peter Golis]

Oprava chyby spočívajúcej v prístupe do neinicializovanej pamäte? Poprosím link na bug ktorý tým znížením bezpečnosti opravoval.

[Jendа]

Poprosím link na bug ktorý tým znížením bezpečnosti opravoval.

Takový link neexistuje. Ne každá chyba má pochopitelně stránku v bugzille. Jinak nějaké čtení tu.

[Peter Golis]

Takže vývojár chcel opraviť varovanie, bez nahlásenia. A robil to pre istotu mimo upstream keďže v upstreame by mu na to prišli skôr.

[Jindřich Makovička]

Oprava byla upstreamu oznámena a jedním člověkem i odsouhlasena (akorát se později ukázalo, že nešlo o kmenového vývojáře ssh).

[Peter Golis]

Ďakujem, viem o tom. A doplnková informácia o stovkách podobných falošných varovaní z valgrindu bola úspešne ignorovaná. Že si on vzal na paškál len to jedno varovanie, taká náhodička ...

[Václav "Darm" Novák]

Ano, je to možné. Netvrdím že nemohlo jít o úmysl, ale dokud nebude prokázán, je dost odvážné tvrdit to s jistotou.

[pavlix]

Navíc to bych rovnou obvinil autora původního kódu, protože ten byl tak sprasený, že si o zanesení nějaké podobné chyby přímo říkal.

[little.owl]

OpenBSD a spraseny review-ovany a auditovany kod? Impossible!

[Jendа]

openSSL

[little.owl]

OK, beru zpet, kouknout se na linky a jit spat. S OpenSSH mam smisene pocity, ne jedne strane nepusti kdejaky commit a premysli o dusledcich (thumbs up), na strane druhe je to uz trochu spaghetti code.

[little.owl]

OK, beru zpet, kouknout se na linky a jit spat. Z OpenSSH mam smisene pocity, ne jedne strane nepusti kdejaky commit a premysli o dusledcich (thumbs up), na strane druhe je to uz trochu spaghetti code.

[Jindřich Makovička]

Mno, mě ten bug v té době otravoval taky, jelikož jsem v té době pracoval na jedné aplikaci intenzivně používající SSL. Před tím, abych podobný patch někam poslal, mě v ochránila hlavně moje lenost. Ale lokálně jsem tu neinicializovanou paměť prakticky shodným způsobem "opravit" zkoušel (ne, do produkce to nešlo). Zrovna tahle záležitost fakt plevelila logy Valgrindu všude možně.

[Jindřich Makovička]

Že jste to vy, tak tady.

[Heron]

Asi tak, on už Einstein říkal, že netřeba hledat úmysl tam, kde to lze vysvětlit hloupostí.

Prostě v Debianu se vrtali do něčeho, čemu nerozuměli a nebo si neuvědomili všechny důsledky. To se prostě stává. Netřeba z toho dělat hned konspirační teorii.

[pavlix]

Tie nereprodukovateľné balíky sú balíky ktoré po rebuilde dajú iný výsledok ako to, čo debian aktuálne distribuuje. Takže to poukazuje na závažné riziko nakazenia daných balíkov.

Captain Obvious? Z toho důvodu přeci celé hnutí kolem reproducible builds vzniklo.

[pavlix]

Nie je to tak dávno čo debian obsahoval úmyselne zníženú silu generovaných kľúčov.

Pozor aby se nejednalo o trestný čin pomluvy, přecijen jsme ve veřejném prostoru :).

[Ovoce]

Jo, bohužel brát si lehkomyslně bližního do držky a šlapat z plezíru po něčí pověsti je u u nás docela folklor (viz třeba stávající obyvatel hradu) a na webu je to vůbec až perverzně oblíbená kratochvíle.

Přitom je to dostzávažná věc. Jak nám onehdy přednášel Jan Sokol na FHS, čest a dobrá pověst dá ohromnou práci udržet a vybudovat, ale zničit ji je hrozně snadný... bohužel dneska děcka ani odrostlejší opice (pardon, osoby) o něčem takovým moc nepřemýšlí, starjí se hlavně aby plácli něco radikálního a svobodnýho. Kdysi to přitom býval "serious business", pohanit někoho nebylo nic na lehkou váhu a to samé být někým pohaněn.

trestný čin pomluvy

Tohle když dneska někde zmíníš, tak se na tebe sysypou, jakej jseš fašista (nebo komanč), co chce potírat svobodu slova a hned zejtra (jestli ne už během večerníčku) plánuje zavést totalitu a koncentráky...

No, aspoň už vím, že v tom vlákně v poradně kolega P.G. asi fakt trolluje a nejen dělá blbečka.

[pavlix]

No, aspoň už vím, že v tom vlákně v poradně kolega P.G. asi fakt trolluje a nejen dělá blbečka.

A jsi si jistý?

[Foo Bar]

Tak možná ještě ke čtení přidejte schopnost pochopit čtený text. Dost Vám to v životě pomůže.

Pro normální lidi přikládám příklad:

16452213a3247ad0117820486553e51d69e9f8e7 + b4d9ce9d981e544d7c29d463317bdf30ba3cabaa

V Knotovi už to nějakou dobu máme takhle: configure.ac

[Ján Dráb]

"Predpokladám že ich podpisuje rovno NSA." A na čom sa zakladá tvoj predpoklad?
[joke] Prečo práve NSA? Čo ked je to Mosad alebo MI5-6? :D A možno to všetko riadi Slovenská informačná služba! Samozrejme s kolegami z Brna, kde spolupracujú s ľudmi z Red-Hatu a SUSE, aby podkopali pozíciu ubuntu v cloude, pričom to chcú dosiahnuť rozložením základne debianu. A možno je to dlhodobá stratégia ľudí, čo forkli debian a vytvorili Devuan, aby tým odohnali ľudí od systemd.. [/joke]

[Ovoce]

Nemáte důkaz, že UFO neexistuje!

[nyan]

UFO samozrejme existuje, staci ze uvidis neco letet a neumis to identifikovat -> je to UFO

[Foo Bar]

Dneska se tomu neříká UFO, ale drony :)

[little.owl]

Hezka prace debianniho teamu. Interpretace, co je reproducible build se muze lisit a Debian to vzal od zakladu. Co Fedora, pred dvema lety tam byla take nejaka aktivita timto smerem (here) ... ?

[Tom.š Ze.le.in]

Což třicet let po Thompsonově projevu neříká zas tak moc o důvěryhodnosti těch 83% balíků, jen o těch 17 procentech. Ale i tak to je dobrý počin.