Záznam přednášek z InstallFestu 2014 (diskuse)

[Ondra]

velmi zajmava prednaska od Jiriho Eischmanna o situaci v jake se distribuce v soucasne dobe nachazeji a co se asi bude dit do budoucna

schoda teda ale, ze nezminil Nix(OS), resp. Guix (ktery Nix vevnitr pouziva), ktery vypada jako dost zajmavy a pokud vim jediny fundamentalne prehodnoceny pohled na to jak distribuovat a nasazovat software

nedavno se trochu rozepsal jeden ze spravcu Nixu: Why Puppet/Chef/Ansible aren't good enough (and we can do better), to vyvolalo zajmavou diskuzi na HN a Redditu

[pavlix]

schoda teda ale, ze nezminil Nix(OS), resp. Guix (ktery Nix vevnitr pouziva), ktery vypada jako dost zajmavy a pokud vim jediny fundamentalne prehodnoceny pohled na to jak distribuovat a nasazovat software

Tak na to je asi dost brzo, zvlášť pro Jirku, který se zabývá současností a velmi blízkou budoucností. Pokud si dobře pamatuju, tak jsme slyšeli o tomto systému poprvé na FOSDEMu a nejsem si jistý, zda je známo něco mimo tu únorovou přednášku.

nedavno se trochu rozepsal jeden ze spravcu Nixu: Why Puppet/Chef/Ansible aren't good enough (and we can do better), to vyvolalo zajmavou diskuzi na HN a Redditu

Jak to tak čtu, tak mi přijde, že je to z pohledu dnešních distribucí trošku hardcore. Už jsem pár takových experimentů viděl a slyšel jsem spoustu lidí snít, ale jak často se počáteční nadšení promění v hromadné nasazení?

[Ondra]

no zas tak novy to neni, viz clanky o tomto napsane. jak je poznat, oproti jinym, Nix pochazi z akademicke sfery

a slyset o nem slo napriklad na teto prednasce

Guix je o neco mladsi (2012), ale take o nem lze slyset

hardcore to je, ale ty slibovany featury oproti vsemu ostatnimu vypadaj lakave

Už jsem pár takových experimentů viděl a slyšel jsem spoustu lidí snít

to zni zajmave, ja totiz zatim slysel jen o Nixu a Guixu (a jeste GNU Stow), co mas na mysli?

[pavlix]

Mám namysli všechny možné projekty, které byly ukrutně inovativní a kde slibované featury vypadaly velmi lákavě a žádného významného natož masového užití se nikdy nedosáhlo. Jirka Eischmann přednáší v podstatě o současné realitě distribucí a jejich bezprostředních plánech. Představa, že půjde povídat o nějakých akademických projektech, u kterých není jasné, zda se uchytí či nikoliv, je lichá. To je vše, co jsem tím chtěl říct.

[Ondra]

jasne, asi uz rozumim

musim ale dodat, ze treba takovy OSTree, ac ne tak hardcore jako Nix, na me nepusobi jako uplna tuctovka. posle me ma bliz k "ukrutne inovativnosti"

jinak NixOS neni pohopouhy teoreticky konstukt, je to skutecna fungujici distribuce, kterou pouzivaji skutecni lide, a kterou si mouho vyzkouset i ctenari abicka, napr ve VirtualBoxu. v pripade Guixu to jde v QEMU

jeden z dalsich "vystrednich" projektu na ktery jsem si ted vzpomel, je GoboLinux -- distribuce, ktera provozuje system "kazda aplikace ve svem adresari". tento projekt byl dlouha leta byl v komatu, ale v posledni dobe opet ozil.

no zijeme v zajmavych casech. tlak na novy pristup k distribuci a nasazovani sofwtaru roste, a tak vznikaji tyto nove projekty, a ty starsi, puvodne okrajove zacinaji vystrkovat ruzky a strkat cumak do mainstreamu.

bude zajmave sledovat vyvoj do budoucna

[pavlix]

musim ale dodat, ze treba takovy OSTree, ac ne tak hardcore jako Nix, na me nepusobi jako uplna tuctovka. posle me ma bliz k "ukrutne inovativnosti"

Pokud jde o ostree/continuous od Colina Walterse, tak to vnímám jako nástroj na značně jiné účely než package manager.

jinak NixOS neni pohopouhy teoreticky konstukt, je to skutecna fungujici distribuce, kterou pouzivaji skutecni lide, a kterou si mouho vyzkouset i ctenari abicka, napr ve VirtualBoxu. v pripade Guixu to jde v QEMU

Jenže pořád zústává nezodpovězená otázka, proč by to měli zkoušet, tedy co je na tom tak úžasného, aby to stálo za zkoušku.

jeden z dalsich "vystrednich" projektu na ktery jsem si ted vzpomel, je GoboLinux -- distribuce, ktera provozuje system "kazda aplikace ve svem adresari". tento projekt byl dlouha leta byl v komatu, ale v posledni dobe opet ozil.

I tady bych se rád dozvěděl proč, s výjimkou MS-DOS nostalgie, by to měl člověk chtít používat.

[smazáno]

Ten Nix je dost prakticky a resi realny problem s deploymentem software na dnesnich linuxovych distribucich.

Napriklad chci otestovat novou verzi nejakeho projektu, ktera ma ale hrozne moc (build) zavislosti. Takto se mi vsechny nainstalujou na jedno misto a nezase*u si tim kompletne system. A je to na jeden nebo dva prikazy. A stejne tak na jeden prikaz muzu vsechno vycistit.

Na Nix urcite koukni.

Nebo jiny priklad - Mame v praci RHEL5, ale potrebujeme Python3, co myslis, ze je reseni .. "./configure --prefix ; make ; make install" (nikdo nema cas to delat ciste). S Nix nainstalujes python3 na jeden prikaz do systemu ciste (a poresi ti to i (build) zavisloti (takze pak neskoncis s pythonem, kde treba nefunguje https v urllib).

[pavlix]

Napriklad chci otestovat novou verzi nejakeho projektu, ktera ma ale hrozne moc (build) zavislosti. Takto se mi vsechny nainstalujou na jedno misto a nezase*u si tim kompletne system.

Něco podobného dělá mock, akorát je ukrutně pomalý, ale v tom by teoreticky mohl pomoci docker.

S Nix nainstalujes python3 na jeden prikaz do systemu ciste (a poresi ti to i (build) zavisloti (takze pak neskoncis s pythonem, kde treba nefunguje https v urllib).

Nevěřím na magii v lennartovském smyslu. Znám zhruba reálné problémy s přípravou a instalací software balíků od autotools a alternativ přes ebuild a rpm až po konflikty v instalaci. Znám současná řešení v RPM distribucích (a tím pádem i ve značně podobných .deb distribucích) a v Gentoo.

Jsi schopný mi přesně říct, v čem se Nix liší a jak v RHEL6 magicky vyřeší všechny problémy distribuce software, aniž bych pro to musel hnout prstem? Narážím na limitace jak RPM tak i ebuildů, jsou věci, které se dají jednoznačně vylepšit, jsou věci, kde je potřeba se rozhodnout mezi více možnostmi s různými výhodami. Ale zatím si nejsem vědom toho, že bych mohl vzít nějaký kus software a od zítra tvrdit, že se všechno udělá samo.

[pavlix]

s/RHEL6/RHEL5/

[smazáno]

v čem se Nix liší a jak v RHEL6 magicky vyřeší všechny problémy distribuce software

If only ... vsechno fakt nevyresi, ale stejne umoznuje dost veci, ktere s klasickymi package managery zni jako pohadka.

[pavlix]

Zatím vidím jen vzušné zámky.

[petr_p]

Napriklad chci otestovat novou verzi nejakeho projektu, ktera ma ale hrozne moc (build) zavislosti. Takto se mi vsechny nainstalujou na jedno misto a nezase*u si tim kompletne system.

Dospělé balíčkovací systémy umožňují instalaci mimo /.

A stejne tak na jeden prikaz muzu vsechno vycistit.

Dospělé balíčkovací systémy poznají, že implicitně nainstalovaný balíček už není potřeba, a odinstalují ho.

nikdo nema cas to delat ciste

Od práce tě nezachrání žádný balíčkovací systém. Pokud software nikdo ještě nezabalil, tak někdo tu práci první udělat musí. Jinak to bude vždy špinavé.

Nix je dost prakticky a resi realny problem s deploymentem software na dnesnich linuxovych distribucich.

Řeší jeden problém a naopak vytváří jiný.

Dělá to, že po instalaci balíčku jeho obsah nelze přímo použít. Takže nezase*u si tim kompletne system. Jenže naopak to znamená, že každý program, který ho chce použít, musí v metadatech deklarovat, že ho potřebuje, aby systém mohl potřebné závislosti explicitně zapnout.

Díval jsem se do manálu i na zdrojáky Nixu a třeba u perlových skriptů dělá to, že přepisuje shebangy, aby v nich zpřístupnil požadované perlové moduly. Podobně při build-requires přidává překladači parametry s vyhledávácími cestami k závislým hlavičkovým souborům.

Tipuji, že u programů a knihoven přidává cesty to PATH a LD_LIBRARY_PATH.

V podstatě se jedná o složitější environment modules.

Co je novátorské, je identifikace zkompilovaných balíků přes hashe, což (nějakým způsobem?) umožňuje poskládat řetězec build-time závislostí a jednoznačně na něj odkazovat (třeba při replikaci instalací). Ostatně stejně to dělá OS-Tree nebo Docker.

Jenže přesně tahle novátorská vlastnost je dvousečná – jedná se efektivně o bundlování. (Pravda v podání Nixu je prostorově účinné, protože jednotlivé balíky se instalují jen jednou, ale zapínají se jakožto závislost u mnohokrát. Tedy zachovává se myšlenka sdílených knihoven.) Efektivně, protože se fixuje konkrétní build závislosti skrze hash. Takže když distribuce změní (například opraví bezpečnostní chybu) balík, tak balíčkovací systém potichu nechá původní verzi. A pokud distributor reverzní závislosti tohle nesleduje a nevydává rebuildy s aktuálními hashi, tak uživatelé budou používat rozbitý balík nadosmrti.

Což je přesně to, proti čemu jsou klasické balíčkovací systémy navržené.

Jirka Eischmann v přednášce řekl něco moc důležitého: Distributor nemá kapacitu všechno zabalit a vývojáři třetích stran nic balit nechtějí. Než se vypustí džin bundlování z lahve, je třeba zařídit izolaci programů, jinak se uživatelé v hnoji, který jim budou vývojáři třetích stran nabízejí, utopí.

Já nejsem v principu proti Nixu nebo podobným věcem. Někdo tu potřebu má, tak proč mu ji zakazovat. Ale vždy je to o tom, jak se takový nástroj použije a jestli se domyslí všechny důsledky a jestli s nimi budou všichni srozuměni. Tady se obávám, že k zamyšlení nedošlo.

[smazáno]

Jen jsem chtel upozornit ze Nix neni jeden ze snilkovskych projetku, ale pozornost (alespon podle me) si fakt zaslouzi.

[smazáno]

... prave protoze resi tu izolaci

[pavlix]

Teprve na základě komentáře petr_p začínám pochytávat tu myšlenku, se kterou jsem si taky pohrával, ale spíše v kontextu testování buildů než v kontextu běhového prostředí, což je ale technicky velice podobné. Pokud to dobře chápu, tak v kontextu buildu na stejnou myšlenku vede i docker nebo ostree, ale svým způsobem i koji a obs, ač se s tím vyrovnávají každý po svém.

V běhovém prostředí je to potenciálně zajímavá funkcionalita, která lze ale stejně dobře přidat do jakéhokoliv systému včetně portage a rpm. Pokud jde o verze Pythonu, tak se dá říct, že Gentoo už něco podobného dělá, akorát s hrubší granularitou a systémověji.

Popravdě jsem očekával něco revolučního ve vztazích mezi balíky samotnými, nikoliv jen v dílčích, i když důležitých, detailech buildu samotného, který není o moc víc než strukturovaný skript využívající pár nástrojů okolo.

[petr_p]

Ještě jsem se na to díval.

Hashe se při překladů balíků nepoužívají. Používají se jen pro identifikaci binárních balíků, pro jejich stahování ze sítě a pro správu běhového prostředí.

PATH a jiné vyhledávací proměnné se neupravují. Místo toho ukazují do adresáře plného symlinků na spustitelné programy, dynamické knihovny a podobně. Když se „aktivuje nainstalovaný balík“, tak se adresář symlinků zkopíruje, přidají se odkazy na soubory z aktivovaného balíku a nakonec se adresáře atomicky přes rename(2) prohodí. Tím je docílena atomicita aktualizací i přes více balíků na jednou.

Návrat k předešlé verzi běhové prostředí se řeší tak, že adresáře symlinků se nemažou, ale pojmenovávají jakýmsi lokálně platným rostoucím číslem (něco jako revize v SVN), takže rollback je o jen o použití stejně pojmenovaného adresáře). (Ve skutečnosti i tohle je implementované přes symlinky.) Balíky v podstatě odinstalovat nelze. Pouze lze zavolat garbage collector, který smaže balíky, které již nejsou dostupné ze žádné verze běhového prostředí. To samozřejmě znamená, že není radno skladovat celou historii prostředí, ale s jistým zpožděním ji zametat (jako logově orientované souborové systémy).

[Sešívaný]

Abych pravdu řekl, o těchto projektech jsem moc nevěděl. Respektive o Nix(OS) jsem slyšel, ale nic bližšího. Mrknu se na to a jestli tu přednášku budu mít ještě někde jinde, třeba tam Guix zahrnu :) Jinak si myslím, že se ta distribuce aplikací v Linuxu bude opravdu ubírat směrem ke kontejnerům s tím, že samotný systém se bude v určitých případech aktualizovat na způsob OSTree. Ostatně hodně podobně už to dělá CoreOS.

BTW ta přednáška nepatří mezi ty, na které budu obzvlášť hrdý. Bylo to dost neučesané. Za týden jsem měl tu samou v Bratislavě. To jsem si zatím prošel, co jsem řekl blbě, a urovnal si myšlenky a bylo to mnohem lepší.

[marek_hb]

Ahoj, Pouzivate nekdo openwt na tplinku vdr 3600? Podle webu by to melo jit, ale uz jednou jsem si ho bricknul :-/

[=^..^= AmigaPower®]

muhahahahaha, jdu si pustit Kolibáče

[Fluttershy, yay!]

Varuju, prvních tak deset minut se ze záznamu vůbec nedá poslouchat, pak je to hraničně tolerovatelné.

[=^..^= AmigaPower®]

Náhodou, nejdřív sem se nedskutečně řezal :D a pak sem se zaposlouchal do těch karpálních tunelů... najdi si na netu "masáže pořádně" ;) na čerňáku

[...]

To budou jiny tunely ...