Dotaz: Jak jednoduše udržovat čerstvý systém na kritických serverech

[Zdeněk Zámečník]

Napadla mne docela zajímavá myšlenka, rád bych se o ní podělil a hlouběji promyslel:

Spravuji větší množství virtuálních serverů běžících na OpenVZ a KVM. Tak jak ubíhal čas, postupně jsem obměňoval systémy na fyzických serverech Debian > CentOS > Scientific Linux. V současné době to vypadá tak, že tam, kde to šlo dnes běží SL 6.2, ale najdou se i místa, kde nepřetržitý provoz neumožnil delší odstávku a tak tam běží stařičký Debian. Když to shrnu - každý pes jiná ves.

Moc dobře ale vím, že i když to teď nějak sjednotím, časem přijdu na to, že bych to udělal uplně jinak a tento evoluční vývoj se bude stále opakovat...

Napadlo mne tento nepříjemný problém řešit tak, že samotný systém (fyzických serverů) bych provozoval z USB flash disku anebo PXE. Upgrade systému by pak probíhal tak, že bych si např. na notebooku připravil nový anebo aktualizovaný systém, potom bych vypnul server, vyměnil flash disk za nový a zase zapnul. Dosáhnu tím minimálního downtime a v případě neúspěchu jednoduše vrátím starou flashku a jede se dál.

Skutečnosti/otázky, které je třeba vzít v úvahu:

• flash disk nemá nejlepší životnost, je třeba omezit zápisy
• jak udržovat co nejjednoduššeji různé konfigurace systémů pro různé servery
• při "cestování" jednoho flash disku mezi více servery se rozhodí pojmenování síťových adaptérů
• inicializace md RAIDu může být problematická

Co si o tom myslíte? Provozuje někdo něco takového nebo má elegantnější nápad, jak udržovat aktuální systém na kritických serverech?

Odpovědi

[linuxik]

Ahoj, ja to resim jednoduse. Kdyz to funguje tak na to nesaham. Update fyzickych serveru, na kterych bezi KVM, delam treba 1x za rok kdyz je k tomu prilezitost a to jeste pouze v pripade, kdy je system opravdu stary. Naposledy to byl Centos 5.3 -> 5.8. Ono to nema moc vyznam. Servery nejsou pristupne z internetu a nejaky hack z virtualnihu serveru je spise teorie.

[Ruža Becelin]

Tohle bych si troufl v pripade, ze bych byl jedinym uzivatelem toho serveru a ostatni by k nemu nemeli primy pristup. Jinak si koledujes o problem...

[Ruža Becelin]

Zbytecne si to komplikujes. Bud mas servery, u kterych muzes mit downtime v urcity cas, nebo na zaklade service window. Nebo mas servery, ktere musi bezet porad, a to je prace pro load balancer, popr. implementovat HA, kde to jde...

[Adam]

Cerstvost sa najlepsie udrzuje v chladnicke :) Downtime pride, akokolvek sa snazis, pokial na serveroch neprevadzkujes jadrovu elektraren, tak s tym musis pocitat...

[Petr]

Jestli jsem to spravne pochopil, tak mas virtualky a chces upgradovat system na kterem ty virtualky bezi...

V tom pripade bych ty jednotlive virtualky zmigroval na jiny server, provedl upgrade a az vse bude ok, tak je zmigrovat zpet ... a mas to bez downtime (alespon u kvm)

[R]

Nevymyslat blbosti a normalne to upgradovat. Updaty v ramci jednej verzie instalovat priebezne. Ked vyjde nova verzia, tak si naplanovat niekolko hodin na upgrade. V pripade Debianu to nie je ziadny problem.

Ten flash disk ti "zabezpeci" down time aj vtedy, ked nechces - dat OS kritickeho serveru na flash disk za 2 eura, to je dost chore. Dalej na notebooku nikdy nepripravis system tak, aby si mal istotu, ze to na skutocnom serveri bude plne funkcne - takze to budes bud na serveri dokoncovat alebo dokola prehadzovat flash disky.

[Zdeněk Zámečník]

Už se mi několikrát stalo, že server po upgradu a rebootu nenajel. Zatím se mi to vždycky podařilo nějak narychlo zprovoznit, ale děsím se okamžiku, kdy se to nezadaří.... Mám sice k dispozici náhradní servery, ale konfigurace není uplně nejrychlejší, proto se zamýšlím nad podobnými věcmi.

[petr_p]

Snímky blokových zařízení. LVM, iSCSI, degradovaný RAID, záleží, co tam máš.

[Zdeněk Zámečník]

Jednou za to mohl SELinux, podruhé problém s modulem pro RAID řadič (PERC 5/i), jindy problém s načtením Grubu. Mě jen zajímalo, jestli se někdo snaží těmto nečekaným problém účinně předcházet.

[Martin]

Pred upgrade se fyzicky vynda disk ze serveru (predpokladem je RAID1), pokud ok tak se tam vrati, jinak se z nej nabootuje do puvodniho systemu.

[AraxoN]

Videl by som to tak, že o servery sa proste treba starať. Keď máš serverov na starosti toľko, že už na to sám nestíhaš, je treba najať posilu.

[Ondrej 'SanTiago' Zajicek]

Pokud chces spolehlivost, nestaci jen omezit zapisy, ale je treba mit system read-only a premountovavat na rw jen kdyz menis konfiguraci.

rw root na flashce je casto nespolehlivy, nejspis proto, ze flashky podvadeji s cachingem a pri vypinani systemu dojde k umountu pri kterem se na flashku zapisuje, ale PC se vypne driv, nez v te flashce zapis fyzicky probehne, takze obcas to filesystem rozhodi.

Oproti tomu read-only root na flashce je asi to nejspolehlivejsi, co muzes mit.