Úskalí aktualizace - když se nějaký ten čas najde

5.7. 13:08 | Přečteno: 1353× | Za vším hledej Linux | poslední úprava: 5.7. 13:08

Poslední dobou jsem toho moc nenaspal. Žena byla pryč se školou, takže bylo potřeba venčit Šňupína a do toho ty parna. Úplně nejhorší to bylo ze středy na čtvrtek. To jsem se vzbudil horkem ve čtyři ráno, požraný od komárů. Spát se nedalo, tak jsme vyrazili do parku. Ochladilo se až o půl páté, ale dospávat už nemělo cenu a tak vzhůru do práce.

Jdeme na to

Byl to první den, kdy jsem mohl něco kloudného dělat, aniž by mne Petr vyrušoval, protože tam ještě nebyl. Nemyslí to zle, ale když mi přetrhne nit myšlenek a chce abych šel udělat něco jiného, je soustředění pryč. A bez toho to nejde, pokud nechci udělat fatální chybu. U disklessové infrastruktury, se taková chyba projeví tím, že něco někomu přestane fungovat. Proto je má pracovní doba – zhruba od 8:00 do 19:00 – časem na přípravu a dokumentaci. Testovat aktualizaci živých strojů v tuhle dobu dost dobře nejde, protože jsou na sobě závislé. Takové věci musím stihnout mimo tuhle dobu, aby to postihlo co nejméně lidí. Tedy nejlépe po zkouškovém období a o víkendu. Jenže ty už mám tenhle rok zapráskané až do října a v pátek mi začíná dovolená.

Z poznámek co píšu během přípravy na realizaci, se čas od času vyklube blogpost. Psaním si čistím hlavu, Pomáhá mi v soustředění, jak už jsem tu psal před sedmi lety (12.3.2018). Minulý blogpost vznikl zrovna tak, protože wiki, je pouze špička ledovce – signál, že je vše ok. A středeční večer byl čas realizace.

Výchozí verze MW 1.39.2 běžela na Debianu verze Buster (6.7.2019–10.9.2022), který bylo potřeba aktualizovat na Bullseye (14.8.2021–31.8.2024). To bylo be problému. Nicméně testovací aktualizace v disklessovém prostředí ukázala na zradu v balíku usrmerge, který obsahuje kód co brání přechodu na Bookworm (10.6.2023–17.5.2025), pokud zjistí, že je systémový disk překrytý overlayem. Takže to bylo nutné nechat na večer.

Po každé fázi jsem udělal pro jistotu snapshot, abych měl funkční bod, do kterého se bylo možné vrátit – odtud i přesné časy. Začal jsem ve 20:00. Ve 20:18 jsem začal s přechodem na Bookworm. I s NFS měl balík usrmerge problém, ale opakovanými rebooty jsem se přes něj přehoupnul. Ve 22:10 přišel čas na aktualizaci MW a ve 22:57 jsem měl konečně funkční MW 1.39.13 na Bookwormu.

A pak jsem narazil na stejný problém co loni. Aktualizace MW LTS 1.43 vyžaduje PHP8, jenže Bookworm má v distribuci pouze PHP7.4, takže bylo nutné aktualizovat na Trixie, který obsahuje PHP8.2. Bylo už 23:16 a začínal se projevovat spánkový deficit posledních dní. Bylo sedm minut po půlnoci, když jsem to přepnul na funkční snapshot a šel příšerně unavený spát. Ovšem moc jsem tomu nedal, jak jsem zmínil úvodem.

Konečně to mám z krku

Během ranní procházky se Šňupínem se mi rozleželo co a jak. A hned jak jsem přišel do práce, začal jsem psát. Bylo potřeba rozmyslet co všechno bude potřeba změnit a opravit. Samozřejmě že vím, že Ondra Surý udržuje debianí repozitář s různými verzemi PHP, i když si pravděpodobně někteří u minulého blogpostu mysleli opak. Ale až donedávna mi stačil pouze distribuční repozitář, protože tam byla pouze MW a statické zálohy starších webů. Jenomže časem přibyly i další weby, přesunutí z virtuálů a kontejnerů co běžely všude možně, které podporu PHP8 nemají a pravděpodobně nikdy mít nebudou, takže bylo nutné ošetřit i ty. Ovšem rozepsané pokračování předchozího blogu jsem jako obvykle nedopsal, protože přípravné práce na rekonstrukci už v pondělí skončily a přednost dostal pokec na téma MW s Matějem co sedí v budově G.

Večer jsem aktualizaci dokončil, ale mezi tím mi poslal kamarád s prosbou PDF svého staršího článku, takže jsem zbytek večera zabil tím, abych z toho vykuchal text a dal tomu nějakou fazónu, abych mu mohl poslat obratem URL.

Blackout

Ráno bylo po úmorných vedrech konečně příjemné. Dospal jsem se, protože Šňupin je s paničkou na horách, takže mne samou láskou o půl páté nebudil. Zalili jsme s babi na střeše kytky a v práci bylo poklidné dopoledne.

Zrovna jsem dokončil zpracování toho článku, když tu se mi najednou vypnuly oba monitory a přestala fungovat myš.

Co je?

Nejdřív mě napadlo, že se zvencla dokina. Přeci jenom ji trápím už mnoho let a občas, když se zapomenu přepnout na konzoli, ten stroj usne na té dokině tak, že už se neprobudí. Ale tohle bylo divné. Zkusím místo myši touchpad.. No jo! Proud! Noťas jel na baterku. Na dvoře bylo nějak živo a protože se má kopat nový propoj z budovy E do A, tak si říkám: „Že by někdo překopnul kabel?” A tak vylezu z kanclu, když tu na mne chlapík z údržby volá, že ten výpadek postihl půlku Prahy.

To bylo radosti. Ani ne hodinu předtím, jsem se konečně rozhoupal k tomu, abych si koupil lístek na vlak a napsal do OV, že dorazím v osm. Vlak měl jet sice až v 16:22, ovšem abych ho stihnul, bylo potřeba vyjít o hodinu dřív. A ke všemu nikdo z IT mimo mne na Karláku nebyl. Síť mi nejela, tak jsem vypnul notebook a vyrazil do serverovny, abych zjistil za jak dlouho definitivně klekne centrální UPS.

Vypadlo to přesně ve 12:00, proto se mi nechce věřit těm kecům o náhodě, jimiž se teď snaží krmit veřejnost, ale to v onu chvíli nebylo důležité. Podstatné je, že baterky byly během 10 minut na polovině kapacity, takže bylo nutné jednat. Cinknul jsem okamžitě kolegovi, co spravuje RCI cluster, největšího žrouta, který to na dálku začal vypínat. Pak mi volal Martin a pro jistotu jsme shodili i jistič. Tím jsme získali 20 minut. Mezitím dorazil Petr, který zjistil že eduroam, přes který jsem se mohl dostat na diskless, stále běží. Shodili jsme tedy co se dalo. A já přes mobil vrátil zakoupenou jízdenku, protože se na webu objevila informace, že to naskočí nejdřív v jednu, takže bylo otázkou, jestli ten vlak vůbec pojede.

Zvenčí houkaly houkačky a já se podělil s kolegou o kafe, které jsem stihnul zalít těsně předtím, než to kleklo.

K nahození došlo přesně ve 14:00. Asi půl hodiny jsme bojovali s UPS, protože jsme ji vypli, místo toho, abychom ji nechali chcípnout jen tak. A pak jsme to začali postupně nahazovat. V 16:30 bylo všechno nahozené. Kouknul jsem na vlaky a ten co měl jet v 18:22 už měl být bez zpoždění. Tak jsem koupil novou jízdenku, s tím že v OV nebudu v osm, ale v deset a vyrazil na vlak. Měl jsem čas, takže jsem nespěchal a cestou koupil i něco k snědku.

Na nádraží to byl nářez. Všude samé zpoždění a bezradné davy. Chtěl jsem původně cestou vlakem pokračovat v dokumentaci, ale měl jsem už počítačů plné zuby, takže jsem si zaskočil do knihkupectví a zakoupil komiks „Ve zlomku vteřiny” od Guye Delisle. Civěl jsem pak s ostatními na ty cedule, blikaly jak divé, ale zpožděných vlaků bylo tolik že se tam ten můj ani nevešel. Kouknul jsem se tedy pro jistotu na jeho číslo a poslouchal co hlásí, protože jsem mezi hlášeními o zpoždění zaregistroval i to že nějaký vlak byl zrušen. Po nějaké chvíli jsem uslyšel o číslo svého vlaku. No to už jsem na nic nečekal a naskočil do prvního vlaku ČD, co odrážel z Prahy mým směrem. Jízdenku jsem měl a o místenku mi nešlo.

Nakonec to dopadlo lépe než jsem čekal. Ten vlak vyrazil sice až v 18:44 ale řezal to bez zastávek tak, že jsem na Svinově vysedal o půl desáté, takže jsem stihnul i tři pivka před spaním.

       

Komentáře

[Fuk]

Vlákno bylo přesunuto do samostatné diskuse.

[Max]

Já měl v době blackoutu dov. Ale začly mi chodit sms z různých alarmů, takže jsem okamžitě věděl, že se jedná o rozsáhlejší výpadek proudu. A rovnou jsem i věděl, že takový rozsah tady ještě něbyl, takže to bude asi na delší dobu.
Každopádně byly nutné asi jen dvě věci:
1) kolegům jsem řekl, ať si poshazují jističe v pár patrech, aby proudový náraz při obnově neshodil hlavní třífázáky pro ty daná patra
2) po hodině jsem je poslal do záložní lokality, aby nasadili větrání záložní serverovny.

V hlavní serverovně je agregát, který naběhl, takže nula problémů. Jen se pro jistotu zajistil náhradní kanystr s naftou. Žádné vypínání ani nahazování něčeho se nekonalo. Výpadek se přežil bez problémů, jen lidi byli poslání domu.
V todo je výměna klimatizací s větším dimenzováním a agregát i pro záložní lokalitu.
Nicméně chápu, že objem serverů je ve škole větší, takže tam by agregát stál asi více a zřejmě někomu vyšlo, že to je nerentabilní investice.
Zdar Max