Dotaz: Lze pokračovat z emergency režimu systemd, nebo jen reboot?

[dustin]

Zdravím,

debian buster - narazil jsem na klasický problém s inactive mdraid1 při chybějícím jednom disku - initramfs pole nespustí v degradovaném režimu, nechá jej inactive + ve fstabu není na (nekritickém) poli nofail => mount chodí chybu => spadne do emergency režimu (naštěstí mám roota s heslem).

Degradovaný mirror nahodím ručně přes mdadm --run. Lze nějakým způsobem systemd přinutit, aby pokračoval v bootu s nahozeným polem (jako například v promptu initramfs přes exit), nebo lze jen reboot a tedy musím nejdříve vyřešit, aby initramfs pole nahodil sám? Díky moc.

---

---

Odpovědi

[k3dAR]

Mam pocit ze CTRL+D

[dustin]

Díky, zkusím si s tím pak pohrát, až se k tomu serveru dostanu.

[Max]

Nemyslím si. Buď je to důležité a měl by jsi to opravit, nebo to důležité není a měl by jsi tomu skipnout kontrolu pomocí nofail.
Emergency pak nabízí možnost této opravy s tím, že pak jedině asi restart. Dalo by se říci, že je to takové nucení ze strany systemd, aby uživatel chybu opravdu opravil.

Pokud chceš bootovat z pole v degradovaném režimu, tak záleží na distribuci a druhu pole.
Debian mdadm raid1 kernel parametr: bootdegraded=yes (nebo "BOOT_DEGRADED=true" > /etc/initramfs-tools/conf.d/mdadm + přegenerovat initrd)
mdadm RAID56 kernel parametr = md-mod.start_dirty_degraded=1
btrfs kernel parametr = rootflags=degraded
Zdar Max

[Jendа]

Já bych z emergency režimu dopsal do fstabu ten nofail a rebootnul, ale chápu že to není obecné řešení pro všechny situace.

[Peter Golis]

Ja by som skontroloval ktorý disk to vypadol, vymenil ho (pri vypnutom počítači) a nechal systém nabehnúť aby si sám urobil mirror na nový disk.

Workaround so štartom degradovaného RAID1 mi pripadá trochu zvláštny. Porušuje bezpečnostnú politiku redundancie. I keď som niečo takéto použil na klonovanie systému, ale to bolo v čase keď boli pomalé sieťovky a USB.

[a1bert]

Aku bezpecnostnu politiku redudancie? Co je to vobec za vyraz? Ved RAID mam prave na to, aby mi system pri vypadku disku v kazdom pripade fungoval bez problemov dalej.

Mam pocit, ze sa zase niekto hraje na chytreho, a vie najlepsie, co treba ostatnym. Osrat taky system. Kto chce, tak nech si to nastavi tak, ze mu to uz v zivote nebootne, mne je to jedno, ale nechapem, preco sa menia roky zauzivane standardy a preco sa to vnucuje. To aby clovek pri takych "banalnych problemoch" rychlo hladal, co sa kde a ako vypina/zapina. Nie, dakujem.

[dustin]

To je bohužel přesně ta situace. Hlavní router (tj. bez něj je síť bez netu, to se problémy pak výborně googlí), X-krát upgadovaný debian, běžně v něm degradované pole fungovalo (mnohokrát za ty roky). Po příchodu systemd se začal vyžadovat parametr nofail, do té doby to nebylo potřeba. I jsem našel diskusi, kde Lennart specificky odmítá "zabugovaný default starých distribucí, které nevyžadují nofail". Takže starý fstab najednou přestal fungovat.

Zcela konkrétně -z pohledu bootu nepodstatné pole, disk chytil špatný sektor, ale v poli zatím běžel OK. Je potřeba jej vyměnit. Normálně bych raid1 rozšířil o nový a až po zasynchronizování bych starý z pole vyhodil, abych zachoval redundanci po celou dobu. Leč stroj nemá další SATA port, tudíž jsem jenom starý nahradil za nový. Samozřejmě systém nic sám nezasynchronizuje, musí se na novém disku vyrobit partišna/y o vhodné velikosti a ručně do pole přidat přes mdadm --add.

Před rebootem jsem starý z pole nevyhodil. Kdybych to udělal, věřím (netestoval jsem), že by to zafungovalo OK, degradovaná pole s ručně removnutými disky bootuji běžně. Ale protože jsem jenom disk vyměnil, mdadm pole s chybějícím diskem nenastartovalo, systemd zastavil boot.

Takový raid1 mi přijde k ničemu, disk může kdykoliv během rebootu odejít (typicky po vypnutí se už nerozběhne) a server nenajede, přestože je filesystém na druhém disku plně funkční.

Ale díky za diskusi, do fstabu jsem přidal nofail, pro příště.

Potřebuji upgradovat klíčové servery ze staráho debianu na nový se systemd a budu pak před každým jejich remote rebootem trnout, zda ten šmejd najede, nebo skončí na vytaženém síťovém kabelu do zcela nepodstatného segmentu, vypadlém disku z nepodstatného pole, a podobné radosti. Chápu, že chlapci v RedHatu potřebovali pořešit standardizaci bootů v dockeru, ale do bootu hlavního systému se takto invazivně montovat nemuseli.

[lertimir]

No myslím si, že jsi celkem dobře ilustroval změnu politiky. Předtím bylo "normální" když najelo pole v degradovaném režimu, a "normální" bylo, když se některé FS nepřipojily na bootu. Nyní je z toho chyba, kterou musíš explicitně opravit, nebo nofail specifikovat, že na tom nezáleží. Možná jsem příliš "pokrokový", ale nechci aby systém najel a běžel, když po něm chci redundanci a tu jsem ztratil.

[Jendа]

Ty FS chápu, problém může nastat když se něco nepřipojí a aplikace začne automaticky ukládat data do „adresáře pod tím“ (na úplně jiné zařízení) nebo najede s prázdným stavem. Nebo když se spustí zálohování, které vidí prázdný adresář s daty (kde normálně má být připojen disk s daty) a smaže to na destinaci.

Degradované pole moc nechápu, pole si typicky pořizuju právě jak píše, aby systém neumřel když umře jeden disk (a sekundárně abych nepřišel data od poslední např. denní zálohy), tj. pojede to degradované. Dříve mi vadilo že když se disk odpojil přechodně (vadný kabel) tak pak byl potřeba celý recovery, ale dneska mi to řeší write-intent bitmap která se zapíná automaticky.

[Jendа]

Teď jsem zagooglil a potřebuju vysvětlit jednu věc: myslel jsem si, že do bitmapy se píše jen když se pole připojí degradované, aby se pak vědělo, co se má synchronizovat. Ale teď to vypadá že bitmapa funguje jako žurnál, a píše se tam každý zápis kdyby vypadlo napájení?!

[dustin]

Vždycky mi přišlo, že bitmapa namapuje své bity na bloky raidu a při zápisu do bloku ten bit nahodí, aby se pak synchronizovaly jenom ty bloky (což opravdu fungovalo, časová úspora byla veliká).

[lertimir]

Degradované pole moc nechápu, pole si typicky pořizuju právě jak píše, aby systém neumřel když umře jeden disk (a sekundárně abych nepřišel data od poslední např. denní zálohy), tj. pojede to degradované. Dříve mi vadilo že když se disk odpojil přechodně (vadný kabel) tak pak byl potřeba celý recovery, ale dneska mi to řeší write-intent bitmap která se zapíná automaticky.

Já chápu i neochotu najet degradované po startu. Protože, když ti vypadne disk v jedoucím systému a pole jede, tak system nespadne a nevyřadí ho. Bude řvát, psát maily, ale pojede dál. Ale já reboot chápu tak, že se se systémem zabývám, jako admin jsem se rozhodl pro reboot právě teď. A systém se chová tak, že je v pořádku, až když je vše v pořádku a zcela rozumně mi říká, já ti tohle nepřipojím automaticky, protože je to blbě. A jako admin mám to uvést do pořádku. A samozřejmě to přece mohu přetlačit ručně, vyřadím pole z fstab nebo mu dám nofail, sestavím ho ručně degradované a připojím do stromu. A jo není to automatické, jak kdysi bylo.

[Jendа]

Mně se teda počítače nerebootují jenom když řeknu…

[dustin]

Vyber si - máš kritický server, potřebuješ jej spustit, ve stroji už je připravený další disk na zasynchronizování. Chceš, aby najel s degradovaným polem a následně si to pořešíš, třeba ze své pracovní stanice, nebo se boot zasekne a musíš to řešit krizově, bez funkčního připojení do sítě, bez internetové konexe. Dle logiky "degradované pole nechci vůbec provozovat" bys musel s najetím čekat, až se celé pole zasynchronizuje do redundance, což obvykle trvá spoustu hodin. Takže buď pojedu na jeden disk (což mi aktuálně nedovolí), nebo na dva, kde druhý zatěžuje ten první synchronizací a stejně redundance po spoustu hodin není (což mi dovolí, protože takové pole už je aktivní a namontuje se).

IMO by měl raid1 s jedním funkčním diskem nabootovat bez jakýchkoliv záseků/požadavků na lokální zásah. HW raid se chová úplně stejně.

[Peter Golis]

Ak chceš aby bolo RAID pole relatívne blbuvzdorné a nechceš riskovať výpadok aj druhého disku, tak si tam daj rezervný (spare) disk.

A ak chceš High Availability, tak si to daj do clustra, hoci aj ako VM.

Ale také chytrácke polovičaté rieśenia banálneho problému, k nim sa nevyjadrujem.