Způsobila přestupná sekunda pády systémů?

Rok 2008 byl delší o jednu přestupnou sekundu, která byla nutná pro to, aby lidmi používaný čas přesně odrážel rotaci Země. Minuta dlouhá 61 sekund údajně způsobila pád různých linuxových systémů - nereagovaly na ping a bylo třeba je natvrdo resetovat. Podle LinuxMagazine se nyní hledá viník této závažné chyby.

6.1.2009 11:10 | Luboš Doležel (Doli) | Zajímavý článek

Komentáře

[Shadow]

Já našel v logu hlášku "inserting leap second", ale systém mi to bohužel neshodilo. Respektive žádný z těch, co mám pod svou správou. Smůla, no...

[Luboš Doležel (Doli)]

Pravda, to jsem si nevšimnul

[3845086.485056] Clock: inserting leap second 23:59:60 UTC

[Shadow]

Já si nemohl nevšimnout, měl jsem to v poště od kamaráda Logchecka.

[CIJOML]

A me se to ani nezalogovalo a vsechno bezi :((

[Dan Ohnesorg]

Mam takovy pocit, ze systemy nepouzivajici NTP demona se o prestupne vterine nedozvedi.

[pc2005]

Takže je tedy tato chyba zneužitelná k vzdálenému shození serveru?

[Dan Ohnesorg]

Asi ano. Kazdopadne kompromitace zdroje presneho casu je velky bezpecnostni problem nejen kvuli vlozeni falesne prestupne sekundy. Zavisi na tom duveryhodnost auditnich zaznamu, platnosti certifikatu, omezeni prihlaseni pro uzivatele a velike mnozstvi dalsich veci. Ale fakt je, ze system se celkem uspesne bude branit tomu, aby nekdo posunul hodiny treba o hodinu zpet, nebo dokonce o rok nekam, ale odolat informaci o prestupne sekunde muze byt obtiznejsi.

[Luk]

Přesně tak. Navíc, jak jsem koukal do toho kódu, by se to mělo týkat jen jader s plánovačem CFS - původní plánovač se při plánování úlohy AFAIK nikde na čas nedotazoval (pouze se četla hodnota jiffies). Proto servery se staršími jádry nemohly kvůli přestupné vteřině padnout na hubu.

[Michal Kubeček]

To by také mohlo vysvětlovat, proč se nic podobného nedělo při předchozí přestupné sekundě na přelomu 2005/06.

[Dan Ohnesorg]

Spise je to trest za to, ze jsme se smali Microsoftu

Ono tech zatuhlych systemu musela byt promile, me nezatuhl ani jediny a to vesmes vsude uz bezely zalohy, takze o I/O operace nebyla nouze. Nakonec ani abicko nezatuhlo.

[Luk]

Nakonec ani abicko nezatuhlo.

Abíčko vůbec v poslední době běží stabilně

[Michal Fecko]

Klop klop...

[Spike]

Nepoužívá ten Microsoft náhodou Linux ve svém Zune? :)

[Wentasah]

Že by za to mohlo CFS se mi moc nezda. Jeho kod sice neznam, ale POSIXove systemy maji CLOCK_MONOTONIC a CLOCK_REALTIME. Monotonic bezi plynule bez ohledu na prestupne sekundy, zmenu letniho casu apod. Docela bych se divil, kdyby scheduler pouzival CLOCK_REALTIME, protoze pak by se dely podivne veci pri kazdem prenastaveni casu.

[michich]

POSIXové CLOCK_MONOTONIC a CLOCK_REALTIME jsou pojmy z rozhraní pro userspace. Neříká to nic o tom, jak se s časem pracuje uvnitř v kernelu.

[Luk]

Rozdíl (z hlediska daného problému) je ten, že když CFS plánuje úlohu k běhu na procesoru, může zavolat funkci pro zjištění aktuálního času. Funkce ktime_get_ts(), která čas zjišťuje, zamyká sekvenční zámek xtime_lock - tento zámek je oním problémem. Původní plánovač (klasický se dvěma poli front) se na čas nedotazuje - sice čte hodnotu jiffies, ale ta je uložena v běžné proměnné, nic se nezamyká.

[R]

Mne nastastie nic nezhodilo. Jeden server predtym dvakrat padol s novym jadrom, tak som sa obaval, ze s nim bude nejaky problem, ale vydrzal cele moje volno bez problemov.

[Michal Fecko]

A teraz si predstavte ze vedci prehlasia ze sa v tej jednej sekunde "sekli"

[Pavel Vymetálek]

Jak vypadá scénář takového pádu systému v této souvislosti?

[Luk]

Docela by mě zajímalo, co by mohlo takový zákus způsobit. Nevím o tom, že by něco kriticky důležitého využívalo hodiny reálného času (používá se monotónní čas). Že by mohly mít problém aplikace, je věc druhá (nedávno jsem zažil zákus Kerio Mail Serveru na Windows po změně reálného času v systému), ale u jádra je to hodně podivné.

[Ladicek]

Dá se doklikat do LKML, kde už je na to patch. Jedno malé printk, a co se nestane

[m1c4a1]

Stačí si představit nějaké realtime aplikace, které musí nějaký úkol splnit v rámci daného časového úseku; přijde sekunda navíc a dojde k selhání. Samozřejmě pokud to není programátorem ošetřeno.

[YYY]

Rekl bych, ze vyvojari asi vetsinou s 61sekundovou minutou nepocitaji.

[Michal Fecko]

if 1_second_more=true then do kernel_panic

[SB]

No fuj!

[Pavel Vymetálek]

Ale co přesně se stalo? Proč lehne jádro? A proč to někomu neudělalo? A vidím rozdíl mezi real-time (přesný čas) a real time (pravidelné odezvy systému v řádu jednotek mili/mikro sekund).

[Ladicek]

Tak já to tady ještě odkážu: http://lkml.org/lkml/2009/1/2/373

[stativ]

Šlo právě o zprávu, že byla vložena sekunda navíc. V podstatě to proběhlo tak, že systém vložil 1 sekundu navíc a vytvořil zámek xtime_lock. Pak jádro chtělo o vložení jedné sekundy informovat userspace a tudíž zavolalo printk (a tudíž i logger klogd). Problém nastal v případě, že na systému probíhal nějaký výpočet nebo IO (prostě se něco muselo dít). Scheduler se pak (zřejmě v rámci férovost ) rozhodl získat aktuální čas. A tady došlo k problému – získání času znamená získání zámku xtime_lock. To způsobilo deadlok (Jiank řečeno, systém chtěl informovat o leap sekundě, ale zároven si to blokoval).

Takže lidem, kterým se server v tu dobu flákal se nic nestalo.

[Pavel Vymetálek]

Díky za vysvětlení. Nevylo mi jasné proč by s tím měl "user space" mít problém, který by jádro nevyřešilo např. odstřelením aplikace.

[Ondrej 'SanTiago' Zajicek]

> Stačí si představit nějaké realtime aplikace, které musí nějaký úkol splnit v rámci daného časového úseku;

Takove aplikace obvykle pouzivaji monotonni cas, ktery je vuci takovym zmenam imunni. I kdyz je pravda, ze monotonni cas pres clock_gettime() je v Linuxu az od 2.6.x a pres times() obsahuje brutalni bugu, takze nektere programy radsi mohou vyuzivat wall-clock time pres time() nebo gettimeofday(), i kdyz by radsi meli pouzivat monotonni cas.

[Salamek]

Počkat co to teda znamená? že sekunda má 61s? nebo to bylo jen na chvilu ? drošku to nechápu :-P

[Jary]

http://cs.wikipedia.org/wiki/P%C5%99estupn%C3%A1_sekunda

[Michal Kubeček]

Minuta, ne sekunda.

[Salamek]

Jo sakra sem se uklepl,omlouvám se

[Kvakor]

To je jednoduche - od doby, kdy sekunda prestala byt definovana jako 1/86400 dne, je potreba cas od casu pridat jednu seknudu, protoze rotace Zeme se zpomaluje (za to muze hlavne priliv a odliv). Kolisani neni navic pravidelne, za urcitych okolnosti se muze rotace dokonce i zrychlit (napr. pokud by roztalo vetsi mnozsti ledovcu), proto nelze prestupne sekundy planovat dopredu a museji se pridavat podle potreby.

[jozka]

rotace Zeme se zpomaluje (za to muze hlavne priliv a odliv)

Presneji receno, mohou za to slapove sily, tj. ty same, co muzou za priliv a odliv.

[Michal Fecko]

Cize aj mesiac...

[s0]

"Já si myslím," zachvěl se Marigold, "že tam, v hlubinách, na samotném dně toho mizerného oceánu, sedí obrovská nestvůra, tlustá, šupinatá příšera, ropucha s rohy na obludném čele. A někdy natahuje vodu do panděra - a s tou vodou všechno, co tam žije a dá se jíst - ryby, tuleně, želvy, všechno. A pak, až kořist stráví, zase vodu vyvrhne a máme tady příliv. Co myslíš, Geralte?"

"Myslím, že jsi dětina. Yennefer mi kdysi říkala, že příliv a odliv způsobuje Měsíc." Marigold se rozřehtal.

"To je mi ale blbost! Co má Měsíc společného s mořem? Na Měsíc vyjí jenom psi. Dostala tě, ta tvoje lhářka, udělala si z tebe srandu. A podle toho, co vím, tak ne poprvé."

[vetinari]

Ještě se sluší uvést zdroj, ne každý zná páně Sapkowského ;)

[Michal Kubeček]

Nekulturní barbaři mohou použít Google.

[JP]

To je trochu odvážné tvrzení. Jsou literáti a literární kritici, kteří by Vás naopak za znalost Sapkowského považovali za nekulturního barbara, jelikož jste čas stravený nad ním mohl investovat jinak...

Tím nechci říct nic jiného, než že neznalce díla S. bych rozhodně nenazýval nekulturními barbary...

[Michal Kubeček]

Jsou literáti a literární kritici, kteří by Vás naopak za znalost Sapkowského považovali za nekulturního barbara

Nepochybně. Ale názory takových lidí jsou mi … (laskavý čtenář si doplní dle vlastního uvážení), stejně jako si nevybírám filmy podle toho, co o nich tvrdí Rejžek s Justem.

[Nicky726]

+1

[Zdeněk Štěpánek]

Nekulturni barbar hleda zdroj Sapkowskeho knizek.... Onehda na koleji jsem rpecetl veskere fantasy a sci-fi knizky ktere pritahl spolubydla a od te doby se chystam docist jednu knizku...

Mrtvi lide (presneji zemreli, nikoli poloschnile mrtvoly) pripluvy jakymsi vzduchoprazdnem na planetu a tam zili. Na jakychsi velkych asi kamennych houbach dostavli kazde rano jidlo do misky. Pak se "nas hrdina" vydal plout po rece za nejakymy bohi nebo kam, tam uz jsem nedoplul (nedocetl).

Neznate to nekdo?

Zdenek

[xxxs]

Řeka zmrtvýchvstání - To Your Scattered Bodies Go

Bájná loď - The Fabulous Riverboat

[Václav Kramář]

Jo. To je přesně ono. Zajímavý čtení.

[pc2005]

A nebo je pravda někde jinde .

[Nikola Ciprich]

jojo, jeden z mych oblibenych, vubec xkcd je skvely zdroj komixu...

ale stejne muj favorit je tento: http://xkcd.com/468/

[trekker.dk]

Přiznávám se, že nechápu komentář, který u tohohle obrázku je...

[Nikola Ciprich]

http://en.wikipedia.org/wiki/Hilbert_program ;)

[trekker.dk]

Děkuji za snahu, ale po prohlédnutí odkazovaného článku mám ten pocit, že vysvětlení, které bych pochopil, by muselo být česky, maximálně čtyři slova na větu a spoousta obrázků

[Salamek]

aha tak to jo já se lekl že minuta bude mít 61s nebo něco sem se moc nevyspal, tak mi to nemysli