Tak nám zhořelo OVH pani Mullerová...

10.3.2021 19:38 | Přečteno: 2559× | c0mput3rs | poslední úprava: 10.3.2021 19:38

Tak nám zhořelo OVH pani Mullerová... Datové centrum OVH (vraj najväčší poskytovateľ cloudových služieb v EU!) vo Francúzsku (Štrasburg - konkrétne SBG2) zachvátili plamene v stredu nadránom a zničili tisíce webov a služieb (odhadom cez 400 000). OVH odporúča svojim klientom spustenie Disaster Recovery Plan.

Po vypuknutí požiaru prišlo na miesto 115 hasičov a 44 kusov hasičských vozidiel. SBG1, SBG2, SBG3 a SBG4 sú momentálne mimo prevádzku a dnes ani v najbližšom čase spustené nebudú. Každopádne SBG3 a SBG4 sú nepoškodené, nevie sa ako to vyzerá v sieťových centrálach - zamestnanci OVH ešte neboli vpustení do datacentra.

Celkom prúser, človek by predpokladal že v takomto datacentre bude vypracovaný a hlavne funkčný protipožiarny plán (vpustenie inertných plynov, fyzická izolácia jednotlivých clusterov). Podľa informácií v čase incidentu sa v datacentre nachádzali 3 osoby.

Spoločnosť OVH, ktorú založila Klaba v roku 1999, súťaží s americkými gigantmi Amazon Web Services, Microsoft Azure a Google Cloud, ktoré dominujú na trhu cloudových služieb. Medzi ich významných klientov patrí napr. Francúzska vláda či Michelin ale preslávili sa aj hostovaním WikiLeaks v 2010 po tom čo hostovanie odmietol Amazon.

Máte niečo hostované v OVH Štrasburg ? Máte downtime ?        

Komentáře

[vencour]

Jo jo. Podle reakce kdy mění elektrické vedení kvůli izolaci mne napadá "a) kdo jim to stavěl, b) kdo dělal revize?"

[MakeIranBombedAgain❗]

sem myslela žese jako do těch hasičskejch aut vejde víc hasičů než 2-3 jenom :O :O

[kotrcka]

Šofér, spolujazdec a potom ten taký čo sa drží vzadu rebríka.

[Notes]

Ideálně by bylo potřeba aspoň 4 aby každý hasil z jedné strany.

[Ruža Becelin]

Zajimavy komentar tady: https://www.datacenterknowledge.com/uptime/fire-has-destroyed-ovh-s-strasbourg-data-center-sbg2

"It’s unclear how the fire started at this point."

Well... judging by another incident/maintenance ticket on their tracker, they've started mass replacing PSU cabling due to potential insulation failure in other datacenters (Limburg) about an hour ago so... make of that what you will

Summary : We are going to intervene in the rack to replace a large number of power supply cables that could have an insulation defect. Actions : Replacement of the C13/C14 power supply cables of the rack

Start of intervention : 10 march 2021 starting at 6h00 AM UTC+1

Rack : L105A01

Impact : Server outage during the intervention.

Duration of intervention : 2 hours

http://travaux.ovh.net/?do=details&id=49017

[R]

Tie kable kupovali na AliExpresse, ze sa im rozpadavala izolacia a zaroven boli take tenke, ze skrat nevyrazil istic, ale zacali horiet?

[Margzen]

Jističe většinou požáru nezabrání. Většina požárů začne elektrickým obloukem (jiskřením), kdy je proud obvodem velmi malý, ale přesto se v místě oblouku objevuje plasma s teplotou v mnoha tisících °C. Proto se začínají stále častěji osazovat chrániče AFDD (Arc Fault Detection Device): je v tom signálový procesor, který dokáže identifikovat zpětnovazební ruchy typické pro jiskření a na základě toho vybavit.

Jenže na UPS tohle mít nebudete. Tam na bateriích bývá ochrana před hlubokým vybitím, přepětím, a tavná pojistka. Jestli máte zhnilé kabely, tak to nepomůže.

Taky by se dalo pochybovat o zhášivosti těch kabelů... jestli se drolila izolace, tak dost možná ani nesplňovala požární normu, protože to bylo nějaké šméčko.

[OldFrog {Ondra Nemecek}]

No ale když začne hořet tak se jističe vypnou a zapne hasicí systém, nebo ne? Což se v daném případě asi nestalo?

[Margzen]

Samy se nevypnou (ale v průmyslu je běžné na to mít automatizaci). Vzhledem k tomu, co o kázni v OVH zatím čtu, by mě ale překvapilo, kdyby tam něco takového měli.

Plus, pakliže došlo k závadě na DC segmentu (u baterií), tak tam ty jističe ani fyzicky nebyly.

[ehmmm]

O tech AFDD nam zrovna minuly tyden na skoleni jeden pan vypravel, ale sam to jeste na vlastni oci nevidel. Kdyz to zkusim googlit, tak jsem nasel jistic/chranic/oblouk na 1 fazi 10 A za 2500,- Kc bez dane. No neber to. (Jenom pro porovnani v temze eshopu jistic 10 A za 60,- Kc, chranic cca 500,- Kc, coz je tak standard.)

Mame rok 2020, lidi tak nejak chapou, ze do koupelny, kuchyne a ven by to chtelo chranic. Ti uvedomelejsi maji dokonce chranic doma jako hlavni jistic/vypinac. Podle nejake nove normy uz ma byt chranic i na svetla... A ted do toho jeste obloukova ochrana.

Jak pisete, kdovi v jakem to tam vlastne bylo stavu...

[Ptr]

OEZ vyrábí AFDD v provedení přídavné spouště, která při vybavení vypne běžný jistič, ale cenově to vyjde v podstatě nastejno jako kombinovaný přístroj.

[cbrpnk]

my niektorí už máme dokonca rok 2021

[Heron]

Tohle se začalo zavádět v USA, kde mají poloviční napětí (takže dvojnásobný proud) a ještě všechno prasácky cpou do dřeva. Jako nevím přesně kdy se to změnilo u nás, ale ještě před cca 10 lety, když někdo chtěl vést silový kabel skrz dřevo, tak odpověď byla nedělej to, za druhé odkaz na 200 stran norem jak to udělat (tj speciální kabel, chráničky, prostupy) a na konci opět výzva ať to nedělá. Jako je sranda, že za socíku se pod každý vypínač na dřevě dávala azbestová podložka a dneska se to tahá přímo dřevem...

Dneska se tahá běžná cykyna přes trámy, bez prostupů, bez chrániček.

Takže někoho napadlo, že se teda budou instalovat AFDD.

Jako do těch dřevostaveb je to asi lepší než nic, ale především se nikdy nemělo povolit tahat silovku v obyč kabelech po hořlavém materiálu. Silovka patří do betonu / ocelové trubky.

Ale v DC nevím. AFDD je založeno na čumění na signál a v DC, kde jsou tisíce spínaných zdrojů to buď bude vybavovat furt, nebo nikdy.

Ale hračka je to pěkná.

[xxx]

Co prasacky cpou do dreva. Oni ji delaj celou prasacky (stejne jak uplne vsechny dalsi utility v baraku od vody po odpady.). Je to zeme, kde se pouzivaji "wire nuts" na kabelech, ktery jsou volne natazeny v ty dreveny kostre, kterou pak zaklopjej sadrosema.

Jinak silovka a horlave materialy. Tam je rozdil jestli skrz, nebo po. Za toho sociku tam byla logika, ze na to musi byt videt, a musi to byt pevne pridelano. Pod mechanicke casti (krabicky, vypinace) pak nehorlavy material. Skrz pak pruchodky. Jak je to dneska to netusim. Nicmene by me zajimalo, jak casto nekdo vyhorel primo od te elektorinstalace, a ne od poruchy spotrebice.

Drevostavba je i kulna, a tam s kabelem za cenu 200kc/m? IMHO kdyz to uz vzplane, tak hori i takovy kabel.

[Max]

To je slušný průser.
Zdar Max

[Roubaix]

https://us.ovhcloud.com/about/company/data-centers

3 jen ve Francii si myslim postacuji

[OldFrog {Ondra Nemecek}]

Taky mám nějaké servery down.

Sice mne nepřekvapuje, že někde něco zajiskří, ale že se požár v datacentru rozšíří je vzhledem k ochranám neuvěřitelné. Za mě poslední hřebíček do rakve OVH a další položka na seznam pochybných příhod s OVH.

[Max]

Jako tohle je fakt divný. Člověk by řekl, že při takovém počtu datacenter a skillu se taková věc nemůže stát. No nic, snad vydají nějaký report, co se reálně stalo a proč.
Zdar Max

[JiK]

ja si vzdycky myslel, ze v tech datacentrech maji vselijaky hitech hasici systemy, treba ze se to cele napusti freonem (nehorlavym inertnim plynem) pri sebemensi detekci koure...

[Aleš Kapica]

Teda fajrák slušný. Podle té fotky to vypadá, jako by tam místo inertního plynu pouštěli naopak plyn zemní.

[j]

Me by na tom zajimalo, co jim tam kua tak muze timhle zpusobem horet. Jako dovedu si predstavit baterky, ale ty by mely byt mimo (teda pokud to neprovozuje/nenavrhuje totalni dement). A pak uz si moc nedovedu predstavit, ze neco bude timhle zpudobem horet, pokud tam nekdo netlaci pod tlakem nejakou horlavinu.

Protoze kdyz si zkusis zapalit libovolnou komponentu z libovolnyho normalniho HW, tak zjistis, ze to tak maximalne vygeneruje trochu smradu a seskvari se to, ale horet to nebude.

Kuprikladu mi nedavno "vyhorela" upska, totalne na stracky byla veskera elektronika (byl z toho takovej seskvarenej blob) ale to bylo vsechno co se stalo.

To nemluvim o tom, ze od datacentra bych ocekaval jak automatickou detekci tak haseni.

---

Dete s tim guuglem dopice!

[Bystroushaak]

Já se byl kdysi podívat v CE colo a tam mají nějaký hitech systém co v případě požáru snižuje koncentraci kyslíku ve vzduchu, takže v tom lidi pořád můžou dýchat, ale oheň v tom nemůže hořet. Podle Návštěva neutrálního pražského datacentra CE Colo je to Inergen.

[Jendа]

velká oxidační událost

[AraxoN]

Výborne, aspoň na chvíľu klesne množstvo spamu, ktorý ich klienti generovali.

[Max]

Přišli o jedno datacentrum z 24, další 4 jsou ve výstavbě a 7 jich mají ve vCloud Air
Takže tvé úvahy jsou asi jen zbožné přání :).
Zdar Max

[Roubaix]

Ten se pry teprve spusti, uz jen tady toho je celkem dost ;

https://www.ovh.com/fr/news/presse/cpl1785.incendie-notre-site-strasbourg

[adasd]

Jelikoz v dnesni dobe se neda nicemu moc verit a souvislosti jsou vsude, kouknete se i na nasledujici souvislosti:

France recruits Dassault Systemes, OVH for alternative to U.S. cloud firms - https://www.reuters.com/article/us-france-dataprotection-idUSKBN1WI189

Dassault zemrel pred par dny kvuli padu vrtulniku - https://www.dailymail.co.uk/news/article-9336003/French-billionaire-Olivier-Dassault-dies-aged-69-helicopter-crash.html

OVH se chysta/chystalo na burzu - https://www.nasdaq.com/articles/frances-ovhcloud-kicks-off-process-for-potential-ipo-2021-03-08

[cbrpnk]

Ako by ti povedali na hoax.sk - nič s ničím nesúvisí ...

[Roubaix]

Dassault zemrel

Ten uz davno vykonne funkce nemel.

[j]

Dycinky se smeju az se za pupek popadam ... kdyz mi nekdo vypravi, jak ty cmoudy ale maji ty profesionelni adminy ... a profesioneleni zabezpeceni a geograficky zalohy a ... ve finale se vzdy ukaze, ze maji leda velky hovno.

BTW: casablanku znate vsici ze? Kdyz pominu maceni serveru ve vode, tak takovyhle maji profiky:

"Vytváříme služby ve světě moderních technologií Jsme profesionální partner a průvodce vaším světem telekomunikací a ICT služeb."

megalol ...

TLS connection established from mx1.casablanca.cz[2001:1528:1:2::25]: TLSv1 with

Nebo... centrum

from gmmr1.centrum.cz[46.255.225.252]: TLSv1 with

... sem si tak rikal, ze bych trebas aspon 1.0 vypnul ... lol.

---

Dete s tim guuglem dopice!

[regine]

Už prastará "Orange book" říkala o zálohování v jiné lokalitě. Nedodržel se základ bezpečnosti dat. Žádné jištění, tisíce hasičů, ... nepomohou.

[Heron]

Příloha:

• ovh fire twitter.png (54761 bytů)

Viz příloha. To, že někdo nemá disaster recovery plan zjistí přesně minutu po té, co mu shoří server. A ještě se tím chlubí na twitteru.

[j]

Mno vis, ale oni mu urcite tvrdili, ze je to 100% garantovany a nic se nemuze stat. Vsadim se, ze to urcite ma nekde prilozeny ke smlouve ve forme letacku s vysmatou rodinkou ... ;D

A kdyz mi nekdo neco 100% garantuje, proc mu neverit, zejo ... ze nejakej blbej ajtak nekde ve sklepe mele neco o nejaky zaloze ... lol

BTW: Co kdybychom rozmazli, ze tam zmizela hromada coinu. Je jedno jestli jo nebo ne. Staci kdyz se toho nekdo chyti. Pak cena padne a nakoupime ;D.

[Max]

Koukal jsem na ten twitter a jsou tam lidi, co si připláceli za zálohování a v managementu nevidí svojí VM ani zálohy.
Zdar Max

[cbrpnk]

Tak to su potom dobre investovane prachy

[Jendа]

A bylo to zálohování do jiné lokality?

[ewew]

)Ľahko mohli byť zálohy na tom istom HW alebo v rámci zhorenej části.

[Heron]

casablanku znate vsici ze? Kdyz pominu maceni serveru ve vode

Známe no. Jejich obchodník mi lhal do očí, když nás lákal na jejich vmware cloud a kde zcela explicitně říkal, že mají realtime replikaci na druhé DC. Potom jim to vypláchlo ten jejich cluster (mě bylo celkem líto těch disků, měli tam x racků narvaných diskama a 3PAR storage) a potom to obnovovali 3 dny z pásek.

Náš rack byl od místa pršení asi tak 3m.

Ale jako na druhou stranu to prodávali za pěkný ceny, takže dodnes tvrdím, že jsme tam neměli dávat náš HW, měli jsme to mít u nich, protože jsme stejně měli vlastní replikaci dat do druhého dc v jiném městě. Takže bychom ušetřili HW, cesty, servis a v případě tohoto výplachu bychom to prostě pustili jinde.

[Heron]

Mě by teda jenom zajímalo, co tam vlastně hořelo. Prakticky všechno v DC je buď rovnou nehořlavé (plechy, beton) nebo má být ze samozhášecího materiálu (kabeláž). Požár o takové intenzitě, že to propálí i plechy, muselo něco dost podstatně živit. (A než někdo začne zbytečně rejpat, že i železo hoří, tak ano, ale za jiných teplot a za vysokých koncentrací kyslíku.)

Někdo tady naznačoval, že to bylo vadnými kabely, ty by musely být teda hodně vadné, když i v plechových roštech způsobily takovou škodu.

[cbrpnk]

... jak už tu niekto písal, zrejme namiesto inertného plynu do toho púšťali plyn zemný

[j]

Jak sem psal vejs, jediny co me napada ze by bylo schopny zivit takovejhle fajrak jsou baterky. Hodne baterek.

Jenze u datacentra navrzenyho aspon absolventem ustavu choromyslnych budou prave baterky v minimalne pozarne oddeleny mistnosti. Cekal bych neco na tema dvou rozvodu do racku, a nekde na konci toho rozvhodu budou dve velky UPSky a za nima dva generatory pricemz i jen jedna funkcni vetev by to mela vpohode uzivit.

Podle poskozeni tech kontejneru bych strelil ze tam muselo neco horet pri vic nez 1500 stupnich ... a to je teplota kterou jen tak neco nehori.

Pokud vymenujou kabely, tak je to v tuhle chvili zarucene strelba od boku, protoze realnou pricinu nebudou vedet nejmin tydny, mozna nikdy. A "horici" kabel rozhodne neprotavi ocelovej plech. Pricemz takovej kabel by se ti musel rozpadat doslova pred ocima.

---

Dete s tim guuglem dopice!

[Heron]

Jak sem psal vejs, jediny co me napada ze by bylo schopny zivit takovejhle fajrak jsou baterky. Hodne baterek.

Olověná baterka nehoří. Jestli tam mají lithium tak je možné cokoliv.

Jenze u datacentra navrzenyho aspon absolventem ustavu choromyslnych budou prave baterky v minimalne pozarne oddeleny mistnosti.

Ano, tohle jsem viděl v každém DC v ČR.

Podle poskozeni tech kontejneru bych strelil ze tam muselo neco horet pri vic nez 1500 stupnich ... a to je teplota kterou jen tak neco nehori.

Jo.

protoze realnou pricinu nebudou vedet nejmin tydny, mozna nikdy

Tak to trochu záleží na tom, jak dobrý monitoring tam mají. V každém DC jsou kamery rozmístěny tak, aby na každé místo viděli neustále minimálně dvě z nich. K tomu čidla na teploty, kouř, tlaku vzduchu (proudění). Ale uvidíme, pokud zveřejní report, tak si jej velmi rád přečtu.

[j]

...V každém DC jsou ...

V kazdy serverovne mas minimalne hasicak, kterym samostatne horici rack uhasis. Ten HW (a data na nem) pak samo budou v panu, ale nevyhori ti od toho celej barak. V lepsich mas plynovy haseni, ktery defakto jakykoli horeni zcela znemozni (to bych cekal od kohokoli, kdo se chubi tim ze provozuje DC)...

Tohle spis vypada, ze v kazdym DC nejsou = prelozeno do cestiny, v prakticky zadnym.

BTW: Tusim ze sem nekde zahlid ... a pekne fotka toho oblaku nad horicim DC se sipkou "zde jsou vase data ... v cloudu" coz naprosto dokonale a zcela exaktne vystijuje realitu ;D

---

Dete s tim guuglem dopice!

[Aleš Kapica]

BTW: Tusim ze sem nekde zahlid ... a pekne fotka toho oblaku nad horicim DC se sipkou "zde jsou vase data ... v cloudu" coz naprosto dokonale a zcela exaktne vystijuje realitu ;D

Už dlouho mě nic tak nepobavilo. 8-)

[E]

Jen opakuje nekoho z Roota aby byl taky jako vtipnej.

[Aleš Kapica]

No a co? Byl první u koho jsem to četl.

[Heron]

V žádném DC jsem ruční hasičáky neviděl. Naopak v každém jsme při vstupu dostali školení, kam utíkat v případě poplachu a jak dlouho přežijeme, když nezdrhneme. () Plynový nebo aerosolový hasící systém byl v každém DC, kde jsem byl, a to i v těch, kde bych si jinak ani kolo neopřel a kam jsme servery nakonec raději ani nedali.

Evidentně se standardy dost liší, nám vždy ochotně ukázali hasící systémy, akumulátorovnu i diesely, v podstatě jako vstupní lákadlo nového zákazníka. Do jednotlivých sálů se šlo někdy až jako na poslední místo.

Pokud tě tak moc dráždí ten kvantifikátor "v každém", tak si to uprav na v každém kde jsem byl. Jestli má někdo servery v kůlničce na dříví a říká tomu datacentrum tak ok, tam jsem nebyl

[R]

Mali sme server v jednom "DC". Mala miestnost, dvojposchodove regaly a tam postavene vedla seba PC alebo tower servery. Tam ziadny hasiaci system nebol. Ale bol tam alarm a dohlad - tak verim, ze pri poziari by niekto vypol istice, zobral hasiaci pristroj a uhasil to.

Ked tam dvakrat presekli kabel pri burani okolitych budov (!), tak sme server zobrali prec. Mozno uz zburali aj tu budovu. Vyhoda bola, ze to bolo lacne a vzdialene tak 3 minuty autom.

[billgates]

Nebol to nahodou Primanet v BA? :)

[billgates]

Kedysi sme mali servery v Casablance a som si 100% isty, ze tam mali hasicaky a ziadne skolenie sme nedostali. Jedine nam vypicovali za to, ze sme si pripojili prenosny monitor do zasuvky v racku, o com nam samozrejme vopred nepovedali a mali sme to nejako tusit. Mozno by som aj nasiel nejake fotky z tej doby, na ktorych tie hasicaky vidno :)

[Heron]

Přílohy:

• HC8-a.jpg (30597 bytů)
• HC8-b.jpg (36292 bytů)
• HC8-c.jpg (72925 bytů)

No hele, asi není možné zveřejňovat vlastní fotky bez souhlasu Casablancy, ale toto jsou jejich fotky z jejich FB a v tom sále HC8 to vypadalo přesně jak ukazují na FB. Ještě bych možná poznal náš rack podle pořadí. Kousek za vstupem do sálu jsou modré tlakové nádoby na aerosol FOGTEC.

[billgates]

No, takto to tam urcite nevyzeralo :) Islo o roky okolo 2008. A ktory sal to bol, to uz ani srnka netusi.

[xxx]

Tak Casablanca se taky nejak vyvijela. Ja si pamatuju ty dvou poschdodove regaly, bourku, volani na dohled, a typka co prisel s kyblem kterej postavil na ty regaly, protoze na ne chcala voda. Hasici system tam nebyl. Nebo teda byl, ale fungoval jen za bourky bez ohledu na to, zda-li hori. Ale to je tak rok 2003/2004.

[Ruža Becelin]

Ono, co jsem se dival na satelitni snimky, tak to lezi na piru, kde asi dost plati, takze kluci setrili mistem, co to slo.

Obycejne kontejnery poslepovane k sobe, jednotliva DC namackana na sebe.

Ze jim chytne a shori jedno DC, by se dalo chapat (pokud tam meli elektriku na lamu), ale ze jim od toho prvniho shori pulka druheho a u tretiho maji co delat, aby tomu zabranili, tak to je meh...

[billgates]

Olovena bateria samozrejme hori a ma tendenciu explodovat, ale nepodporuje dalsie horenie. UPS sa zvyknu obcas uskvarit dost skaredo, ale nezvyknu zapalit nic okolo.

[Josef Kufner]

Kyselina sírová a olovo až tak hořlavé nejsou, ale ten vodík, který se uvolňuje při nabíjení je mírně problematický.

[billgates]

Nastastie vsetky UPS kontroluju teplotu akumulatora a nenabijaju, ked prekroci istu hranicu. Urcite by si ziaden vyrobca nedovolil toto ignorovat.

[JiK]

staci, aby se ti k tem olovenym bateriim dostala slana voda, nemci a britove na u-botech za WW2 by mohli povidat..., tma, smrad, vodik, chlor, jiskreni, pozary, a do toho splouchajici smes kyseliny sirove a morske vody do puli lytek, kolem vybuchuji hlubinne bomby, nahore cekaji torpedoborce, aby te dorazili, zadna hitparada...pust si Das Boot...

[Uwe Weinachtova]

kde presne?

[S.B.]

Tak teda lepší nápověda ...

[Uwe Weinachtova]

Nebude tam krev?

[S.B.]

Co je to "krev"? Vzpomínám na to jako na mírnější film než třeba Četa, BoB - Bastogne nebo Shining