Král je mrtev, ať žije král - aneb výpadek abclinuxu.cz

5. 5. 2006 | Redakce | Novinky | 7153×

Ve čtvrtek 4. 5. 2006 odpoledne měl portál abclinuxu.cz vážné problémy s dostupností. To bylo tak...

Ve dvě hodiny odpoledne mělo začít losování vítězů soutěže, která se pořádala v rámci ankety o nejoblíbenější distribuci. Sice jsme čekali, že se trošku zvýší nápor na server, ale výsledek daleko předčil naše očekávání: problém totiž vůbec nebyl ve zvýšeném zájmu návštěvníků - to jen potíže trochu podtrhlo a zvýraznilo. Místo toho se sešly hned dva jiné průšvihy najednou.

1) Ano, měli bychom se stydět, ale už se stalo, zpátky to nevrátíme, takže se můžeme veřejně přiznat: nechali jsme se nachytat na poměrně primitivní Denial of Service útok, který kdosi spustil právě s plánovaným začátkem losování. Kdyby býval server běžel na jádře řady 2.6, nic by se nestalo (až do včerejška používalo abclinuxu.cz již značně vousaté jádro 2.4). S upgradem a přesunem na nový server se otálelo tak dlouho, až se to nevyplatilo.

Ale stalo se. Samo o sobě by to však nebylo nic hrozného a máme důvod věřit, že server by tu taškařici bez větších potíží ustál.

Jenže se k tomu přidal ještě problém číslo...

2) Aplikace, která obstarává provoz stránek, je náchylná k problémům, vyskytnou-li se v komentářích (diskuze, blogy, zprávičky, atp.) binární data, ze kterých se občas vytvoří neplatné XML entity. Celý dokument pak nelze načíst, log se plní výjimkami, dějí se nepěkné věci. Protože je však - jak se zatím zdá - nemožné chybu simulovat na lokální instalaci, a vývojáři dotčené knihovny (DOM4J) tvrdí, že podobné selhání není možné, jde o zapeklitý oříšek. UPDATE: chyba již byla vyřešena.

Včera se tato chyba projevila hned na dvou místech a to tak, že bylo velmi obtížné ji odhalit - proto jsme dlouho nevěděli, v čem vězí problém. Dizkuze na hlavní stránce nešly načíst, což jste si možná všimli, pokud už se vám přeci jen podařilo aspoň kousek stránky zobrazit. Každý pokus o zobrazení nezobrazitelných diskuzí zanechal v logu velkou hromadu textu (každá diskuze zvlášť, přičemž na hlavní stránce je docela dlouhý seznam aktuálních diskuzí) a to byl ten zásadní moment, který způsobil, že se server při takovém přívalu dat nezdravě zadýchal.

Nový server

Než se však podařilo objevit pravou příčinu problému, dost dlouho to trvalo. Výsledkem je však skutečnost, že Abíčko teď běží na nablýskaném novém serveru Sun Fire X2100 s Opteronem 175 dual-core 2,2GHz (který darovala společnost Sun Microsystems Czech s.r.o.; test na abclinuxu.cz). Migrace ze starého železa byla už nějakou dobu v plánu a všechno bylo v podstatě připraveno. Jen nikdo nečekal, že bude nutné ji provést s nožem na krku v deset večer ve všední den. Teď však máme nový stroj, nové jádro, novou Javu, nové boty... prostě paráda.

Doufáme, že si rychlost nového serveru, kterou lze pocítit na první poklik, budete vychutnávat stejně jako my.

P.S. Ale nějaké veřejné losování si asi příště ještě dobře rozmyslíme. Nechceme dvakrát otevřít stejnou Pandořinu skříňku.

       

Komentáře

[Stréc Ignác]

Prvniiiiiiiiiiiiiiiiiiiiiiiiiii

[Lukáš Zapletal]

Myslíte, že se dotyčný tím DOS útokem snažil získat čas pro včasné vložení svého výherního příspěvku?

[Kyosuke]

Hlavně, že nezkusil LINUX útok, ten by mohl být nebezpečnější...

[Lukáš Zapletal]

DOS útok = útočník se pokusí přepsat napadený operační systém MS DOSem

[Dalibor Smolík]

Aha, tak to jsem nevěděl. Tak v tom případě DDR paměť jsou pro změnu vzpomínky z bývalého východního Německa, tzv. Deutsche Demokratische Republik

[-zz-]

ak sa aj snazili, tak nestihli ;o)

[musashi]

Ocenuji, ze se problem popisuje otevrene a ze nemate problem priznat si, ze jste udelali chybu. Vetsinou je bezne, ze se takove problemy okecavaji necekanymi technickymi problemy, za ktere provozovatel serveru nenese bohuzel zodpovednost a blablabla ... :o) Drzim palce, at se vam podobne problemy pro priste vyhybaji a nemusite travit vecery s nozi na krku ;o)

[xkesh]

už nějakou dobu v plánu a všechno bylo v podstatě připraveno. Jen nikdo nečekal, že bude nutné ji provést s nožem na krku

Proste nepoucitelni :PPP

[Michal Čihař]

Ještě si nastavte reverzní DNS záznamy, jinak maily spousta MTA odmítne .

[Michal Čihař]

To samé platí pro maily z bugzilly.

[Leoš Literák]

Jelikoz zmena probihala v noci za spechu, byla provedena jen castecna migrace. Web se presunul, ale maily zustaly na starem stroji. Proto ta nekonzistence. Diky za upozorneni.

[klassik]

Kdyby to bezelo na Win urcite by se to nestalo)))))))

[stativ]

to je pravda, ty by lehly uplne

[Heron]

Rychlost nového stroje je opravdu poznat. Díky Sunu za něj.

Nemohl by Leoš (nebo někdo, kdo do toho vidí), napsat do blogu o co přesně šlo? Takovýto omluvný článek je sice pěkný, ale v podstatě říká "Někdo udělal DDOS" a "Něco to nezvládlo". Čekal bych, že popíšete jak konkrétně udělal DDOS a co všechno se vlastně stalo.

[Max]

Jseš si jistý, že opravdu DDOS? Podle mě spíše jen DOS, no, i když v kombinaci s tím hlasováním se z toho asi nakonec ten DDOS vyklubal
Zdar Max

[Robert Krátký]

Nemohl by Leoš (nebo někdo, kdo do toho vidí), napsat do blogu o co přesně šlo?

My jsme si sice chtěli nasypat popel na hlavu, ale ne ze sebe udělat příliš velké blbce. Takže jsem původní verzi článku trošku "zobecnil" - právě proto, abyste se sice dozvěděli, o co šlo, ale ne to, kde přesně byla chyba.

[Michal Kubeček]

Ale zase by se čtenářům, kteří sami nějaký server spravují, zvedlo sebevědomí - viděli by, že nejsou sami… :-)

[vencour]

Milé Ábíčko, za těch pár dlouhých hodin jsi nám dost chybělo , děkujeme, že jsi

[rastos]

absťák?

[vencour]

No jo, ať blogy, tak hledání v diskusích. Píšu si sem každou blbost v pokroku s noťasem a najednou tu byla černá díra.

[AloneInTheDark]

Smůla, ale jsem rád že se taková věc stane i ostříleným profíkům. Mě ty hadi uživatelský uhnali pro změnu mail server a upgrade také probíhal na ostro pod tlakem. Dnes už je tomu rok, ale stále vzpomínam na ten nervák :)

[vencour]

ty hadi uživatelský

[brozkeff]

~= BFU

[rastos]

P.S. Ale nějaké veřejné losování si asi příště ještě dobře rozmyslíme. Nechceme dvakrát otevřít stejnou Pandořinu skříňku.

Aj tak vás podozrievam, že systém hlasovnia bol vopred pripravený "stress test" systému.

(just kidding)

[David Jaša]

Podobně jako před dvaceli lety v Černobylu - tam taky probíhal nachystaný test a elektrárna nevyhověla. :-]

[Lukáš Zapletal]

Rusáci se snažili splnit pětiletku, takže spěchali...

[David Jaša]

Vím, vím. Ale nedalo mi to.

[Milan Horák]

A já měl aspoň originální "dárek" k narozeninám

[xvasek]

Rychlost je fakt mazec. Z mnou používané trojice cdr, root a abclinuxu jste se konečně dostali na druhé místo za cdr a předběhli tak roota. Na cdr to zatím ještě nestačí, ale ti mají několikanásobně jednodušší redakční systém. Každopádně se to fakt dobře pohnulo, ábíčko už bývalo pomalé i přes běžný den a podle mých představ jelo tak od 23:00. Užívám si si rychlost stejně jako vy.

[CIJOML]

Chapu dobre, ze od meho odchodu na ten server nikdo ani nesahnul, neupgradoval jadro, javu ani jetty? :DDD Tomu rikam od koliska skvela adminicina :DD

[tomfi]

vousaté jádro? .... nevím asi jsem si moc zvykl na apt-get, ale nechat bezet deravej system vic nez tyden je dle mých amatérských názorů adrenalinovej sport :D ... i ten tejden je na sešedivění :)

[Robert Krátký]

Jádro bylo "vousaté" tím, že to byla řada 2.4 - nicméně průběžně aktualizované (ostatní software také). Že si CIJOML rýpne, to se dalo čekat; on už je takový...

[Leoš Literák]

Kolisko prestal delat admina podle planu pred tydnem, kdy uz melo abicko bezet na novem stroji. Coz se bohuzel nestihlo.

[David Watzke]

Včera jsem se šel na výsledky dívat Linksem jinak to nešlo 90-96% packet loss.

[David Watzke]

Btw, super stroj, AbcL jede fakt znatelně rychleji Konečně využiju těch 5 Mb/s

[Max]

Hmm, na prohlížení www ti stačí mnohem míň , osobně nepoznávám rozdíl mezi 1Mbit, co mám doma a 100Mbit, co mám tady . Většinou je totiž úzké hrdlo krapet někde jinde
Zdar Max

[David Watzke]

Mě zrychlovali z 1 na 2 a pak na 5 Při brouzdání to - pravda - moc znát není, ale ten download - pohádka Nicméně Ábíčko je doopravdy znatelně rychlejší.

[Michal Kubeček]

Už při podstatně nižší rychlosti začnou být pro prohlížení normálních webů důležitější latence. Což si spousta lidí v honbě za vyšší nominální rychlostí neuvědomuje…

[Max]

Mno, oni většinou latence trošičku klesají s přibývající šířkou pásma, což je trošku udivující, ale ...
Zdar Max

[Michal Kubeček]

Obecně ano, ale nedá se tvrdit, že rychlejší připojení (ve smyslu propustnosti) znamená nižší latence. Zvláště u takových těch marketingových taháků bývají parametry všelijaké…

[Filip Jirsák]

V popisovaném případě bych spíš než DOM4J podezříval XML parser a vzájemnou komunikaci parseru s DOM4J. Ona má Java pěkně udělanou práci se Stringama (na vstupu a výstupu určím, jaké je kódování, a jinak mám ve string všude Unicode), ale parsery toto často nepochopitelně ignorují a dělají si kódování po svém (tedy, nepochopitelně - asi je to optimalizace ve stylu programů napsaných v C, ale nevím, jestli není kontraproduktivní). Myslím, že velmi časté použití je takové, že XML parser dostává data třeba v UTF-8, ale myslí si, že je to ISO8859-1 nebo 2. Za parserem je další knihovna, která se to znovu pokusí transformovat z bytů na UTF-8, takže se výsledně znaky načtou správně – tedy pokud to předtím proleze parserem. Což u obyčejného textu není problém, ale když se někde vyskytnou binární data, už může nastat problém, protože to parser při své představě, že jde o ISO8859-2, nějak změní. Druhá oblíbená varianta je, že parser načítá data jako byty a interpretuje je jako UTF-8, ovšem knihovna za ním to nevezme jako String, ale znova jako pole bytů a znova to překóduje podle UTF-8. To se většinou dohalí rachle, protože to druhé překódování se pro non-ASCII texty nepovede.

Konkrétně dom4j myslím docela dlouho používal onen magický způsob, kdy se někde po cestě znaky interpretují v jiném kódování, než mají, ale nakonci to většinou vyjde shodou okolností správně. Ve verzi 1.6 už je ale přidán paremetr do SAXReaderu, kterým se nastaví kódování, které pak probublá až do XML parseru a ten už pak byty na vstupu interpretuje podle zvoleného kódování.

[Pavel Janousek]

Tak tento humus se projevuje i v servletech... mate spravne cestinu, vice ze vse na klienta poslete v UTF-8, dokonce mate snifferem zjisteno, ze i ten blby klient odpoved posle zpet v UTF-8 (napr. data z formularu), presto nez z toho udelate java.lang.String tak to musite fiktivne prohnat pres ISO8859-1 a byte[]... - dokonce je to takova "verejna" znama "chyba", kterou se nikdo za celou dobu existence Java EE neobtezuje opravit...

A pokud znate lepsi reseni, tak by me vazne zajimalo...

[Filip Jirsák]

V některé z pozdějších specifikací byla přidána metoda javax.servlet.ServletRequest.setCharacterEncoding(java.lang.String enc), kterou by mělo jít nastavit, v jakém kódování poslal data klient. Je potřeba jí ale zavolat ještě před získáváním parametrů requestu, aby se překódování stihlo uplatnit.

V tomto případě je Černý Petr spíš v rukou autorů prohlížečů, které odesílaná data naštěstí kódují ve stejném kódování, v jakém data přijaly (takže alespoň víte, co můžete očekávat), ale charset= už do Content-Type nepřidají. Na druhou stranu, i kdyby přidaly, on jí zase dnes asi žádný server nezpracuje

V případě XML parserů je to bohužel chyba na jejich straně, protože validní XML dokument buď obsahuje XML prolog s uvedeným kódováním, nebo je kódován v UTF-8 (a pokud začíná příslušnou značkou, může být bez prologu možná ještě v UTF-16), ale parsery na tuhle informaci z vysoka kašlou.

[deda.jabko]

no tak s tim jsem si ted uzil dost srandy protoze nektere prohlizece misto definovaneho kodovani - posilaji data v iso-8859-1

[Pavel Janousek]

A proto to zrejme JDK od Sunu takto natvrdo predpoklada...

[Filip Jirsák]

Tomu moc nerozumím, jak ten prohlížeč v iso-8859-1 pošle třeba "ř"? Ve výsledku se samozřejmě posílá iso-8859-1 (přesněji us-ascii), ale to už jsou původní data zakódována URL kódováním, které ve výsledku dává us-ascii. Ale problém je, z jakého kódování se text překóduje do toho URL kódování – protože tohle kódování nekóduje znaky, ale oktety (byty).

[Pavel Janousek]

Znam, zkousel jsem, rozumne vysledky vsak nezaznamenany... proste korektni data, se kterymi by slo pracovat jako s nativnimi stringy v Jave (coz by mely byt plnohodnotne UNICODE znaky), jsem z toho nedostal... takze pouzivam otrocky prekodovani via byte[], ktery je taky multiplatformni a kupodivu funkcni....

[Martin Baleja]

Tak takové to tedy bylo.

[Jáchym Čepický]

Jedlo se, zpívalo, pilo.
princezna zářila štěstím
v hotelu nad náměstím,
...

[Bob]

...
drak hlídal u dveří sálu
na krku pletenou šálu.

[wake]

Hey and away we go
Through the grass, cross the snow
Big brown beastie, big brown face
I´d rather be with you than flying through space.

[Jan Přech]

Dědové vševědi okolo Popelky
žvatlavě slibují šaty a kabelky...

[Wop]

Tak to je dobre, ze sun venoval novou masinku. Nechtelo by ABiCko venovat svuj stary server me? Urcite by se mi hodil. Treba jako dar za hlasovani v soutezi, co vy na to?

[Filip Korbel]

Jak bude trochu casu, tak nastavime pravidla pro vyber. O tom, ze ten stroj se nekomu daruje je jiz davno rozhodnuto

[vencour]

Když vidim ten rozdíl, tak mne napadlo - na čem běželo ještě předevčírem AbcL? Že je to tak poznat?

[Leoš Literák]

pentium 4, 768 MB RAM

[vencour]

No, moudrej z toho nejsem, to ještě nic nevypovídá, ani porovnání s tim SUNem si z hlavy neudělam . Ale děkuju

P.S. jestli na tom stroji jelo všechno, databáze, webserver, tak ale zase vidim, že se o to může pokoušet dost lidí, o svuj píseček.

[Leoš Literák]

Zapomněl jsem dodat frekvenci, ta je 1.6 GHz. Na stroji jel web, databáze i mail.

[David Watzke]

1.6 GHz

Přesně jak jsem si myslel

[msk]

Gratulujem k novemu stroju a dakujem SUNu za prejav solidarity :)

[apollo2]

Kdyby býval server běžel na jádře řady 2.6, nic by se nestalo (až do včerejška používalo abclinuxu.cz již značně vousaté jádro 2.4).

V cem je jadro 2.6 lepsi oproti 2.4?

[brozkeff]

No je přece NOVÉ :-P

...teda jako myslím relativně k tomu 2.4kovému

[Michal Kubeček]

Přínosy jádra 2.6 jsou velmi výrazné, otázkou je spíš, kterou konkrétní změnu měli v článku na mysli.

P.S.: nové… jak se to vezme, pokud mne paměť neklame, verze 2.6.0 vyšla někdy na podzim 2003…

[Leoš Literák]

v clanku je tusim link na zpravicku o chybe v jadre umoznujici DOS utok a oprave pro jadra 2.6

[David Jaša]

Žádný takový link tam není.

[Robert Krátký]

Linux 2.6.16.13 opravuje DoS chybu v Netfilter - ale jestli to má souvislost, to nevím...