Zkušenosti se správou systému pro domácí úlohy

4.5.2013 12:55 | Přečteno: 2212× | Linux | | poslední úprava: 4.5.2013 21:38

Ač by se mnou někteří studenti nejspíš nesouhlasili, mým cílem není jim přinést do života peklo. Domácí úlohy samy o sobě snadné nejsou (toho jsme si plně vědomi), tak proč jim ještě víc znepříjemňovat život tím, že když už úlohu pochopí, vyřeší a chtějí odevzdat, že jim to nepůjde?

Máme v každém semestru kolem 300 studentů, z čehož více jak 2/3 předmět nevzdají a domácí úlohy vypracovávají. Na domácí úlohu mají většinou dva týdny, takže přirozeně většina odevzdání probíhá poslední den, především pak navečer před půlnocí. Dovedete si tedy představit, jak nadšení studenti jsou, když zrovna v ten moment nastanou problémy. A nebo téměř kdykoliv jindy.

Náš systém jsme si vyvinuli a postupně ho vylepšili do podoby, kdy je robustní a zvládne daný nápor studentů, odevzdání (v posledním semestru kolem 1500-1800 na úlohu - studenti mohou odevzdávat vícekrát) a domácích úloh. Programátor by řekl, že v tom moment to nejspíš bude fungovat i nadále (koneckonců o čem jiném je testování) - on ví, že systém by již neměl nebo dokonce nemůže selhat (fail-safe), a je o tom přesvědčen do té doby, než mu studenti začnou psát, že to nefunguje.

Fault tolerance namísto fail-safe

Tento semestr je obzvláště povedený, co se týče výpadků a chyb, přestože nově nasazované vlastnosti za to nemohou. Zde je seznam věcí, které způsobily problémy:

• Výpadek síťového úložiště, způsobující nemožnost smazat hlavní zámek
• Zátěž serveru, na kterém systém běží
• Update VIMu
• Překročení kvóty na počet souborů
• Nespolehlivost externího SVN serveru

Tyto chyby mají jednu věc společnou - netýkají se vlastního systému, ale vnějšího prostředí. A v ten moment vám je vlastnost systému, že nemůže selhat, poněkud nedostatečná, neboť neprokývá vnější prostředí, které chybu způsobuje. V ten moment zbývá jediné - logovat, zjistit chybu, a problém vyřešit.

What keeps you up at night?

Podělím se zde o příběh s řešením jedné výše zmíněné chyby, díky které jsem toho opravdu tolik nenaspal. Těsně před deadline jedné úlohy jsem byl upozorněn na pomalost systému, tak jsem začal procházet logy a přišel na zvláštní řádek. Tento řádek mluvil o tom, že není možnost poslat přílohu cvičícímu na vyhodnocení. Důsledkem bylo, že přestože student odevzdal a úkol se vyhodnotil, email dorazil jen jemu, ale cvičícímu, který uděluje body, již ne. Student o tom samozřejmě nevěděl, neměl jak. Vypnutí systému nepřipadalo kvůli blížícímu se deadline v úvahu, takže jsem s hrůzou v očích sledoval, jak přes sto studentů odevzdává, a přemýšlel, jak to vyřeším. Napsal jsem tedy email cvičícím, ať body neudělují, že jim dané emaily nechodí, a začal situaci řešit.

Prvně jsem musel přijít na to, co chybu způsobuje, abych jí mohl napravit. Ukázalo se, že chyba je způsobena negenerováním HTML verze zdrojáků v ostrém systému. Paradoxně na mé lokální kopii na stejném stroji to fungovalo. Řešením bylo tuto vlastnost vypnout, posílat zdrojové kódy v plaintextu do té doby, než se to vyřeší. Na fakt, že chyba byla způsobena updatem verze vimu a mě nedostupným konfigurákem vimu (ostrý systém běží pod jiným uživatelem), jsem přišel až asi o dva dny později.
Poučení: Pro obnovu dat je potřeba zamezit reprodukci chyby, nikoliv nutně ji rovnou perfektně opravit.

Spousta studentů však již stihla odevzdat, takže bylo nyní potřeba vyřešit je. Log, do kterého se normálně píší strojově čitelná data ze všech vyhodnocení, a ze kterého se dá udělat znovu odevzdání, byl kvůli chybě neúplný. Naštěstí chybová hláška s nedostupností přílohy byla v jiném logu (celkovém), a byla i s cestou k adresáři s dočasnými soubory vyhodnocení. V tomto adresáři jsou uloženy i obsahy emailů posílané studentům a učitelům. S trochou magie (grep, sed, xargs) jsem tedy tyto emaily vyextrahoval a seskupil do archivů podle cvičících. Mohl jsem jim tedy tato vyhodnocení poslat separátně emailem. A mohl jít spát. (Paradoxně email kvůli zátěži emailového stroje nedošel, a já ho musel poslat ráno znovu.)
Poučení: Logujte několikrát, klidně v různých formátech, ale duplicitně. Pomůže vám to s obnovou v momentě, kdy nějaký log nebude dostupný. A buďme rádi za terminál!

Dalším velmi podstatným faktem je komunikace s okolím. Nebýt upozornění na jiný problém, chyby bych si všiml později, a studenti by ve velkém nadávali, proč nemají body; podobně jako kdyby nějaký cvičící začal o půlnoci rovnou opravovat vyhodnocení domácích úloh. Díky upřímné komunikaci s těmito lidmi předejdete problémům, které se mohou nepřímo dotknout někoho jiného, což rozhodně příjemné není. Podobná situace je dle mého názoru při komunikaci se zákazníkem či v našem případě se studenty - nevědomost je stresující, vede ke konfliktům a k dalším chybám. Komunikace naopak vede ke zklidnění situace a usnadňuje kooperaci v budoucnosti.
Poučení: Dejte o chybě vědět těm, kterých se bezprostředně týká. Oni se uklidní, nebudou vám psát nenávistné emaily a při další chybě budou kooperovat. Chybovat je předci lidské...

Log1, log2, log3...

Chybám se nevyhnete. Pokud s nimi však nebudete počítat, bude jakákoliv obnova velmi náročná. Více záznamů o chování systému, ze kterého můžete zjistit, co se vlastně stalo, vám dá možnost něco podniknout i v momentě, kdy nějaký ten záznam není. (To samozřejmě neznamená psát do dvou logů naráz, neboť k záznamu nemusí dojít vůbec.) Díky tomu jste schopni chybu vyřešit (ne nutně rovnou opravit) bez nutnosti pomoci od uživatelů, se kterými pokud komunikujete, tak vám nahlásí potom i další chyby, které nevyhnutelně nastanou, abyste je mohli co nejdříve řešit a přinést tak mír celé galaxii :)

       

Komentáře

[Jardík]

Takový přístup ke studentům se mi líbí. Férový. Né jako když jsme na FELu dostávali úkoly na angličtinu. Měli jsme zadání/témata na školním serveru a jelikož v týdnu nebyl čas (né jen pro mě), aneb vstávat ve 4 ráno do školy a přijíždět ve 22:30 domů, dělal jsem je vždy o víkendu. Jednoho hezkýho týdne se stalo, že od pátku celý víkend školní server nešel a cca 5 studentů z mé třídy dostalo na příští hodinu absenci, protože neměli domácí úlohu, nikoho nezajímalo, že nešel školní server a nemohli jste si zadání stáhnout, měli jste na úlohu přece celý týden a je tedy logické, že si ji musíte stáhnout hned v pondělí a radši ji i rovnou udělat, nejlépe o 15min přestávkách za chodu do jiné učebny, popř. v hučícím drncajícím vlaku, kde se nemůžete soustředit.

[pavlix]

Tohle docela stojí za pohovor s vedením fakulty. Alespoň v době, kdy už ti nic nehrozí. Vím, že během studií na to člověk moc nemyslí, ale je dobré si různé incidenty podobného typu okamžitě zdokumentovat a pak se teprve rozmyslet, jestli dokumentaci použiju, či nikoliv.

[Jardík]

Tak já to v té době řešil posláním stížnosti k vedoucí katedry, ta se zastala cvičícího (takovej ten namyšlenej mladej kokot z británie), stejně tak se k nim přiklonil správce serveru (nebo jak ho nazvat), že je to vlastně moje chyba. Dál jsem na angličtinu k danému cvičícímu přestal chodit, stejně mi připadal jako nějakej pedofilní buzerant, co měl potřebu šikanovat studenty.

[Ivan]

To na FA vypnuli server s Active Directory na cely "prazdniny" a vubec je nezajimalo, ze se studenti nemuzou v KOSu prihlasit na zkousky.

[xkucf03]

Tyto chyby mají jednu věc společnou - netýkají se vlastního systému, ale vnějšího prostředí.

Komplexnější úlohy je dobré rozdělit na více kroků – v prvním jen přijmeš soubor od studenta, bezpečně ho někam uložíš a potvrdíš studentovi přijetí souboru. A pak teprve řešit další kroky, které jsou závislé na vnějším okolí (tady můžou nastávat problémy, ale nic se neděje, protože vždycky se můžeš vrátit a začít znova zpracovávat data, která jsi získal v prvním kroku).

Paradoxně na mé lokální kopii na stejném stroji to fungovalo. Řešením bylo tuto vlastnost vypnout, posílat zdrojové kódy v plaintextu do té doby, než se to vyřeší. Na fakt, že chyba byla způsobena updatem verze vimu a mě nedostupným konfigurákem vimu (ostrý systém běží pod jiným uživatelem), jsem přišel až asi o dva dny později.

Po každém upgradu je dobré ostrý systém otestovat, alespoň základní scénář.

Nebýt upozornění na jiný problém, chyby bych si všiml později, a studenti by ve velkém nadávali, proč nemají body; podobně jako kdyby nějaký cvičící začal o půlnoci rovnou opravovat vyhodnocení domácích úloh.

Jestli student může přijít o body kvůli tomu, že se někde zasekl nějaký e-mail, tak je to prostě špatně navržený proces. K vyučujícímu by se měly dostat tyto tři stavy:

• student práci odevzdal → je možné ji hodnotit
• student práci v termínu neodevzdal → dáme mu asi 0 bodů
• ani jedno z toho → něco se rozbilo a je potřeba to řešit

[gogloid]

Díky za komentář, zkusím odpovědět:

1. Studenti mohou odevzdávat vícekrát, proto při odevzdání se jejich řešení stáhne z SVN repozitáře a rovnou vyhodnotí. Pokud se nepovede stáhnutí, pošle se jim email; jinak se to vyhodnotí a pošle email s vyhodnocením. Pokud je to ostré odevzdávání, pošle se potom email i cvičícímu daného studenta. Ale nápad je to dobrý, pokud by situace byla složitější, díky za něj.
2. Bohužel upgrady nejsou pod naší kontrolou :(
3. Proto se posílají emaily cvičícím, který uděluje body (ne přímo systém ukládá body), a obvykle píše email danému studentovi ohledně jeho zdrojáku. Pokud by tedy email nedošel, cvičící by žádný email studentovi neposlal a student by se ozval a dalo by se to řešit.

[David Jaša]

Bohužel upgrady nejsou pod naší kontrolou :(

Čuchám neexistující nebo nesprávně využitou virtualizaci.

[deda.jabko]

Takove automaticke testovani sice setri cas, ale podle me to neni uplne dobre. Vede to lidi k tomu, ze programuji stylem ,,funguje to/proslo to testy'' => ,,je to dobre naprogramovane''. Ti pak maji tendence prasit funkce na dve sta radku, nedodrzovat zakladni konvence pro pojmenovavani, atd. atd. A v takovem kodu, aby se pak prase vyznalo.

Dalsi neprijemnou strankou je, ze lidi odkojeni timto zpusobem testovani, jsou zvykli dostat zadani na zlatem podnose, typicky je zadane, co ma byt vstupem a co ma byt presne vystupem v takove a takove situaci, aby to slo dobre otestovat. Coz se v praxi stava malokdy, pominu-li fanousky TDD. V momente, kdy takove lidi postavite pred ukol, ktery ma otevrene reseni, napr. navrhnout format souboru a funkce pro ulozeni/nacteni dat, je s tim problem.

[v6ak]

Tady budu nesouhasit. (Tome, oprav/doplň mě, pokud jste tam něco změnili.)

• Student může naostro bez ztráty bodů odevzdat jen jednou. Případné testy si tedy člověk musí napsat sám.
• Je tu i odevzdání nanečisto se základními testy, které ale mají odchytit spíš to, že člověk naprosto nepochopí zadání.
• Cvičící si ty zdrojáky i čte, takže WET (Write Everything Twice) apod. by měl odhalit a penalizovat. Já jsem naopak už měl body za pěkný kód, takže to asi není jen teorie.
• Otevřený úkol by taky měl jeden být, aspoň do jisté míry. Program je pak testován jako celek přes rouru.

Souhlas, že takový automatizovaný systém sám o sobě by nestačil, ale pokud je jen jako doplněk, je to IMHO naprosto OK.

[WNJ]

Kdyby to umoznovalo neomezeny pocet odevzdani, tak by pak clovek mohl genetickym programovanim nechat ten ukol vyvinout

[gogloid]

Souhlasím, že to není ideální řešení, bohužel při daném množství studentů jsme nepřišli zatím na lepší způsob. Dodám však, že cvičící zdrojové kódy po úspěšném projetí testů kontroluje a má právo studentovi zdroják vrátit s tím, že ho zprasil (a děje se to).

K druhé části dodám, že daný předmět je zaměřen především na výuku programovacího jazyka, na úlohy s otevřeným řešením máme k dispozici jiné předměty (naštěstí).

[deda.jabko]

Souhlasím, že to není ideální řešení, bohužel při daném množství studentů jsme nepřišli zatím na lepší způsob.

Kolik vas tam je na takove mnozstvi?

Dodám však, že cvičící zdrojové kódy po úspěšném projetí testů kontroluje a má právo studentovi zdroják vrátit s tím, že ho zprasil (a děje se to).

Pak je to OK. Osobne preferuji oba pristupy soucasne.

[gogloid]

Zhruba dvanáct, co vedou cvičení; někteří mají cvičeních víc. A všichni studenti mají nějaké cvičení zapsané.

[deda.jabko]

dvanact lidi na tri sta, to neni xase tak hrozne...

[WNJ]

To je 25 studentu na cviciciho. A vyhodnotit 25 zdrojaku kazdy druhy tyden, to uz je docela hodne.

[dementni.lojzik]

Takove automaticke testovani sice setri cas, ale podle me to neni uplne dobre.

to mi pripomina jednu diskuzi na rootu

[vencour]

Přidal jsem do výběru.

[gogloid]

Děkuji za projevenou důvěru a pozitivní hodnocení, je to dobrá motivace psát dál :)

[vencour]

Můj pohled je, že je mnoho podob a forem "IT" a mohou ostatní obohatit ... a obráceně.
Kéž jsou pro Vás komentáře přiměřenou odpovědí na dobrou práci.

[v6ak]

"Domácí úlohy sami o sobě snadné nejsou"

To by museli být domácí úkolové (no fuj!), abys k nim mohl psát "sami".

[Tomáš]

chyba byla způsobena updatem verze vimu

No to mi vysvětli, jak vim ovlivňuje serverovou aplikaci?

[gogloid]

Konverze zdrojových kódu do HTML, aby se daly poslat jako příloha emailem. (Poněkud alibisticky dodám, že to nebyl můj nápad, na druhou stranu to funguje.)

[xkucf03]

Případně se dá použít Source-highlight nebo Pygments.

[Jendа]

Uf, a to se nepředpokládá, že si příjemce e-mailu umí otevřít přílohu v nějakém textovém editoru, který umí syntax highlighting?

[dementni.lojzik]

nebo dokonce to, ze prijemce dostane jen cislo revize a udela si checkou zdrojaku ze SVN sam? Btw: celem mi to silne pripomina continous integration (nekam poslu zdorjaky, pusti se vuci nim definovane testy, o vysledkou jsou informovani dani uzivatele). Nepremysleli jste nad reseni, ze puzijete nejkay CI server, pripadne si jej upravite podle toho, co vam tam chybi, misto vyvijet nejake vlastni resesni? Co se zbytku tyce (vypadky SVN, vysoky load na serveru, plny disk) - monitorovat to treba Nagoisem by melo zajistit minimalne vcasne informovani administratora, pripadne rovnou nekde spustit skripty, co se postaraji o napravu (napr. pridaji misto na disku)

[pavlix]

nebo dokonce to, ze prijemce dostane jen cislo revize a udela si checkou zdrojaku ze SVN sam?

Na prohlížení je ideální odkaz na pohled na danou revizi přes web.

[Josef Kufner]

Ono spíš v tomto případě jde o urychlení práce učitele. Pokud těch úkolů má prohlédnout hodně, tak je každých pár sekund úspory dobrých.

[Jendа]

Asi jsem lama, ale když zkoumám funkci netriviálního cizího kódu, tak ho stejně spouštím a dávám si do něj debug printy.

[Josef Kufner]

Pokud takových kódů vydíš třicet, stačí letmý pohled, zda to tak nějak sedí a automatický test ti už řekl, že to funguje.

[Tomáš]

To navrhuješ pouštět u sebe na serveru cizí kód? To může dopadnout hodně špatně.

[Jendа]

Zkus je vyownovat ;). Nebo tyhle nebo tyhle.

[dementni.lojzik]

ok, to je asi spis na osobni preferenci. Ja bych nejradeji link (jak pise pavlix vyse), zdrojaky v mailu jsou pro me ta nejmin preferovana varianta (nicmene chapu, ze kadzy to muze videt jinak a zdrojaky takle ve velkem jsem nikdy neprochazel, takze mozna pro tenhle ucel bych zmenil nakonec nazor)