Seznam.cz má výpadek

Seznam dělá každé úterý odstávku svého datacentra a simuluje tak správnost jejich HA řešení. Dnes se ovšem něco pokazilo a má kompletní výpadek. Nejdou webové služby, mapy apod. Kdo by rád věděl něco více o tom, na čem Seznam běží, tak nelze nepřipomenout LinuxDays 2023: Podvozek Seznamu - od cloudu až po Datacentrum (Michal Toužín, Miroslav Bezdička).

25.6. 12:30 | Max | IT novinky

Komentáře

[Max]

seznam.cz hlásí 502, Bad GW s nginx/1.20.2
mapy.cz hlásí 500 s nginx/1.22.1

Zdá se, že minimálně seznam.cz začíná pomalu fungovat (velmi pomalu, ale už se občas načte, občas zahlásí Rate limit exceeded)
Zdar Max

[Mintaka]

Jo, asi už se probírají a dohání ztracený čas.

Načetla se mi stránka "Seznam Zprávy • pondělí 17. června. Svátek má Adolf."

[X]

Nedavno clanek o dalsim "nejmodernejsim" datovem cetru a vypadek hodina..

[Zm]

Třeba pracují cyklickém HA řešení, neboli HAHAHAHA... řešení

[Aleš Kapica]

Jestli to dělají každý týden, tak by měli zjistit poměrně brzy co je špatně. Otázkou je, zda mezi to není důsledkem nějaké aktualizace na úrovni klíčové komponenty která jim tu HA dostupnost měla zaručit.

Na stresy, které provázely každou aktualizaci, v době kdy jsem používal u HA poměrně složitou konfiguraci, si dodnes živě pamatuji. Zbavil jsem se jich až tehdy, kdy HA hlídalo jen to, zda virtuál běží.

[..... Izak .....]

Mhhh vypada to, ze jim nejak nebezela replikace a maji stare data ... i to je mozne, nebo obnovuji ze zalohy ... treba to priznaji, treba ne.

[Max]

Prosímtě, přestaň si tu vymýšlet bludy :D Každý úterý testují ztrátu jedné z lokalit. I dnes test prošel, ale nastal pak nějaký problém při přepínání zpět. Už z podstaty věci nemůže být řeč o ztrátě dat.
Zdar Max

[Radovan]

Takže test proběhl úspěšně, ale mezitím ztratili nějakou lokalitu skutečně?

To mi připomíná ty "dezinformace" že 11. 9. 2001 mělo ve WTC probíhat cvičení simulující náraz letadla

[Max]

Kdybych nedal link do zprávičky, jak to u nich funguje, jak testují atd., tak bych možná měl snahu něco dovysvětlit, ale takto nezbývá, než tě označit za hloupého trola.
Buď mně to zajímá a podívám se na jejich technickou prezentaci, nebo ne a nevyjadřuji se.
Zdar Max

[Radovan]

Reklamní kydy z jejich technické prezentace porovnáme s jejich včerejší technickou prezentací naostro ... a pak se budeme chechtat.

[Max]

Stačilo napsat, že jsi to neviděl, a že tě to nezajímá.
Zdar Max

[Radovan]

Stačilo napsat že jsem se dobře zasmál.

[Chulda]

Vím jistě, že každý úterý testují naživo. Co je na tom tedy za reklamní kyd?

Jinak při testu se nemůže nic porouchat? A já myslel, že od toho ty testy jsou...

[ßoohcüp]

takto nezbývá, než tě označit za hloupého trola.<

No já nevím, registraci sice nemá, ale byl tu někdy komentář s tímhle nickem, kterej ho mimo tu kategorii někdy postavil?

[..... Izak .....]

Ja si vzpominam na diskove pole IBM FAS - kdy byl LUn vetsi nez 2TB a trvakle se generovalo vysoke I/O - imho zadne windows toho nikdy nedosahly, ale Linux ano - proto to nemeli tolik odzkousene - neb starsi pole a kdysy bylo 2TB dost a vetsina mela mensi LUN - no tak pole drun DROPLO ... ano jako ze se smazal a nesel obnovit - proste byl pryc, jako by tam nikdy nebyl

To se stalo 2x a byli afektovany emaily - to uz je davno.

Mi treba resili HA site tak, ze zadna HA nebyla, vse bylo akrtivni a jen NetApp mel MetroCluster pres NFS - ten zajistil, ze data byly na obou stranach - jak proste.

Ale jsou reseni, kde kdyz se to prepne, tak se to rozpoji a jiz neni cesty zpet, ale porad mate data 2xm, jednou stara pred rozpojenim a druha replika, ktera se stala primarem a tu pak bylo treba replikovat zpet a pokud chtel mit clovek primar zase tam kde byl, tak to musel prenout 2x, jednou replika zpet a pak brek, zase prehodit a replika znova do DR site ....

Mi mame ted na dulezite veci netapp a na sranda veci replikaci, testujeme to tak, ze odpojime produkci a nahjodime ji na DR site - nemame tam vse, jen duilezite veci, zbytek by se obnovovalo ze zalohy - to se otestuje, pak stopne a cele se to pak vyreplikuje - ono to pozna, ze druha strana je nekonsistentni a celou ji prepise, hasle na nejake incr.

Na NetAppu kdo nema MC muze jet snapvault replikaci nebo snapmirror a uelat z nejakeho snapshotu snap-clone-volumu, na te to otestovat a pak smazat.

NetappMC jsme ale testovali na ostro, tam se nic nemuze stat, nejhorsi scenario je, ze se rozpoji plexy, kdyz neni dost mista na snapshot - to jsme si ale hlidali - btw rozpijeni prelxu jsme testovali tez, ze jsme to simulovali - ale jen pri prvotnich testech - teplikovat tolik TB mezi DC neni dobry napad, to uz by mohlo ovlivnit produkci i mimo planovane okno.

[RealJ]

ja bych za tim videl konkurenci od Google ktera jim to ve spolupraci s NSA a dalsimi nejmenovanymi agenturama shodila... pockam si az Izak prijde s vice detaily od cinske a ruske rozvedky...

[koroptev]

o tomhle se normalni clovek dozvi jen z tisku