Zkušenosti se správou systému pro domácí úlohy (diskuse)

[Jardík]

Takový přístup ke studentům se mi líbí. Férový. Né jako když jsme na FELu dostávali úkoly na angličtinu. Měli jsme zadání/témata na školním serveru a jelikož v týdnu nebyl čas (né jen pro mě), aneb vstávat ve 4 ráno do školy a přijíždět ve 22:30 domů, dělal jsem je vždy o víkendu. Jednoho hezkýho týdne se stalo, že od pátku celý víkend školní server nešel a cca 5 studentů z mé třídy dostalo na příští hodinu absenci, protože neměli domácí úlohu, nikoho nezajímalo, že nešel školní server a nemohli jste si zadání stáhnout, měli jste na úlohu přece celý týden a je tedy logické, že si ji musíte stáhnout hned v pondělí a radši ji i rovnou udělat, nejlépe o 15min přestávkách za chodu do jiné učebny, popř. v hučícím drncajícím vlaku, kde se nemůžete soustředit.

[pavlix]

Tohle docela stojí za pohovor s vedením fakulty. Alespoň v době, kdy už ti nic nehrozí. Vím, že během studií na to člověk moc nemyslí, ale je dobré si různé incidenty podobného typu okamžitě zdokumentovat a pak se teprve rozmyslet, jestli dokumentaci použiju, či nikoliv.

[Jardík]

Tak já to v té době řešil posláním stížnosti k vedoucí katedry, ta se zastala cvičícího (takovej ten namyšlenej mladej kokot z británie), stejně tak se k nim přiklonil správce serveru (nebo jak ho nazvat), že je to vlastně moje chyba. Dál jsem na angličtinu k danému cvičícímu přestal chodit, stejně mi připadal jako nějakej pedofilní buzerant, co měl potřebu šikanovat studenty.

[Ivan]

To na FA vypnuli server s Active Directory na cely "prazdniny" a vubec je nezajimalo, ze se studenti nemuzou v KOSu prihlasit na zkousky.

[xkucf03]

Tyto chyby mají jednu věc společnou - netýkají se vlastního systému, ale vnějšího prostředí.

Komplexnější úlohy je dobré rozdělit na více kroků – v prvním jen přijmeš soubor od studenta, bezpečně ho někam uložíš a potvrdíš studentovi přijetí souboru. A pak teprve řešit další kroky, které jsou závislé na vnějším okolí (tady můžou nastávat problémy, ale nic se neděje, protože vždycky se můžeš vrátit a začít znova zpracovávat data, která jsi získal v prvním kroku).

Paradoxně na mé lokální kopii na stejném stroji to fungovalo. Řešením bylo tuto vlastnost vypnout, posílat zdrojové kódy v plaintextu do té doby, než se to vyřeší. Na fakt, že chyba byla způsobena updatem verze vimu a mě nedostupným konfigurákem vimu (ostrý systém běží pod jiným uživatelem), jsem přišel až asi o dva dny později.

Po každém upgradu je dobré ostrý systém otestovat, alespoň základní scénář.

Nebýt upozornění na jiný problém, chyby bych si všiml později, a studenti by ve velkém nadávali, proč nemají body; podobně jako kdyby nějaký cvičící začal o půlnoci rovnou opravovat vyhodnocení domácích úloh.

Jestli student může přijít o body kvůli tomu, že se někde zasekl nějaký e-mail, tak je to prostě špatně navržený proces. K vyučujícímu by se měly dostat tyto tři stavy:

• student práci odevzdal → je možné ji hodnotit
• student práci v termínu neodevzdal → dáme mu asi 0 bodů
• ani jedno z toho → něco se rozbilo a je potřeba to řešit

[gogloid]

Díky za komentář, zkusím odpovědět:

1. Studenti mohou odevzdávat vícekrát, proto při odevzdání se jejich řešení stáhne z SVN repozitáře a rovnou vyhodnotí. Pokud se nepovede stáhnutí, pošle se jim email; jinak se to vyhodnotí a pošle email s vyhodnocením. Pokud je to ostré odevzdávání, pošle se potom email i cvičícímu daného studenta. Ale nápad je to dobrý, pokud by situace byla složitější, díky za něj.
2. Bohužel upgrady nejsou pod naší kontrolou :(
3. Proto se posílají emaily cvičícím, který uděluje body (ne přímo systém ukládá body), a obvykle píše email danému studentovi ohledně jeho zdrojáku. Pokud by tedy email nedošel, cvičící by žádný email studentovi neposlal a student by se ozval a dalo by se to řešit.

[David Jaša]

Bohužel upgrady nejsou pod naší kontrolou :(

Čuchám neexistující nebo nesprávně využitou virtualizaci.

[deda.jabko]

Takove automaticke testovani sice setri cas, ale podle me to neni uplne dobre. Vede to lidi k tomu, ze programuji stylem ,,funguje to/proslo to testy'' => ,,je to dobre naprogramovane''. Ti pak maji tendence prasit funkce na dve sta radku, nedodrzovat zakladni konvence pro pojmenovavani, atd. atd. A v takovem kodu, aby se pak prase vyznalo.

Dalsi neprijemnou strankou je, ze lidi odkojeni timto zpusobem testovani, jsou zvykli dostat zadani na zlatem podnose, typicky je zadane, co ma byt vstupem a co ma byt presne vystupem v takove a takove situaci, aby to slo dobre otestovat. Coz se v praxi stava malokdy, pominu-li fanousky TDD. V momente, kdy takove lidi postavite pred ukol, ktery ma otevrene reseni, napr. navrhnout format souboru a funkce pro ulozeni/nacteni dat, je s tim problem.

[v6ak]

Tady budu nesouhasit. (Tome, oprav/doplň mě, pokud jste tam něco změnili.)

• Student může naostro bez ztráty bodů odevzdat jen jednou. Případné testy si tedy člověk musí napsat sám.
• Je tu i odevzdání nanečisto se základními testy, které ale mají odchytit spíš to, že člověk naprosto nepochopí zadání.
• Cvičící si ty zdrojáky i čte, takže WET (Write Everything Twice) apod. by měl odhalit a penalizovat. Já jsem naopak už měl body za pěkný kód, takže to asi není jen teorie.
• Otevřený úkol by taky měl jeden být, aspoň do jisté míry. Program je pak testován jako celek přes rouru.

Souhlas, že takový automatizovaný systém sám o sobě by nestačil, ale pokud je jen jako doplněk, je to IMHO naprosto OK.

[WNJ]

Kdyby to umoznovalo neomezeny pocet odevzdani, tak by pak clovek mohl genetickym programovanim nechat ten ukol vyvinout

[gogloid]

Souhlasím, že to není ideální řešení, bohužel při daném množství studentů jsme nepřišli zatím na lepší způsob. Dodám však, že cvičící zdrojové kódy po úspěšném projetí testů kontroluje a má právo studentovi zdroják vrátit s tím, že ho zprasil (a děje se to).

K druhé části dodám, že daný předmět je zaměřen především na výuku programovacího jazyka, na úlohy s otevřeným řešením máme k dispozici jiné předměty (naštěstí).

[deda.jabko]

Souhlasím, že to není ideální řešení, bohužel při daném množství studentů jsme nepřišli zatím na lepší způsob.

Kolik vas tam je na takove mnozstvi?

Dodám však, že cvičící zdrojové kódy po úspěšném projetí testů kontroluje a má právo studentovi zdroják vrátit s tím, že ho zprasil (a děje se to).

Pak je to OK. Osobne preferuji oba pristupy soucasne.

[gogloid]

Zhruba dvanáct, co vedou cvičení; někteří mají cvičeních víc. A všichni studenti mají nějaké cvičení zapsané.

[deda.jabko]

dvanact lidi na tri sta, to neni xase tak hrozne...

[WNJ]

To je 25 studentu na cviciciho. A vyhodnotit 25 zdrojaku kazdy druhy tyden, to uz je docela hodne.

[dementni.lojzik]

Takove automaticke testovani sice setri cas, ale podle me to neni uplne dobre.

to mi pripomina jednu diskuzi na rootu

[vencour]

Přidal jsem do výběru.

[gogloid]

Děkuji za projevenou důvěru a pozitivní hodnocení, je to dobrá motivace psát dál :)

[vencour]

Můj pohled je, že je mnoho podob a forem "IT" a mohou ostatní obohatit ... a obráceně.
Kéž jsou pro Vás komentáře přiměřenou odpovědí na dobrou práci.

[v6ak]

"Domácí úlohy sami o sobě snadné nejsou"

To by museli být domácí úkolové (no fuj!), abys k nim mohl psát "sami".

[Tomáš]

chyba byla způsobena updatem verze vimu

No to mi vysvětli, jak vim ovlivňuje serverovou aplikaci?

[gogloid]

Konverze zdrojových kódu do HTML, aby se daly poslat jako příloha emailem. (Poněkud alibisticky dodám, že to nebyl můj nápad, na druhou stranu to funguje.)

[xkucf03]

Případně se dá použít Source-highlight nebo Pygments.

[Jendа]

Uf, a to se nepředpokládá, že si příjemce e-mailu umí otevřít přílohu v nějakém textovém editoru, který umí syntax highlighting?

[dementni.lojzik]

nebo dokonce to, ze prijemce dostane jen cislo revize a udela si checkou zdrojaku ze SVN sam? Btw: celem mi to silne pripomina continous integration (nekam poslu zdorjaky, pusti se vuci nim definovane testy, o vysledkou jsou informovani dani uzivatele). Nepremysleli jste nad reseni, ze puzijete nejkay CI server, pripadne si jej upravite podle toho, co vam tam chybi, misto vyvijet nejake vlastni resesni? Co se zbytku tyce (vypadky SVN, vysoky load na serveru, plny disk) - monitorovat to treba Nagoisem by melo zajistit minimalne vcasne informovani administratora, pripadne rovnou nekde spustit skripty, co se postaraji o napravu (napr. pridaji misto na disku)

[pavlix]

nebo dokonce to, ze prijemce dostane jen cislo revize a udela si checkou zdrojaku ze SVN sam?

Na prohlížení je ideální odkaz na pohled na danou revizi přes web.

[Josef Kufner]

Ono spíš v tomto případě jde o urychlení práce učitele. Pokud těch úkolů má prohlédnout hodně, tak je každých pár sekund úspory dobrých.

[Jendа]

Asi jsem lama, ale když zkoumám funkci netriviálního cizího kódu, tak ho stejně spouštím a dávám si do něj debug printy.

[Josef Kufner]

Pokud takových kódů vydíš třicet, stačí letmý pohled, zda to tak nějak sedí a automatický test ti už řekl, že to funguje.

[Tomáš]

To navrhuješ pouštět u sebe na serveru cizí kód? To může dopadnout hodně špatně.

[Jendа]

Zkus je vyownovat ;). Nebo tyhle nebo tyhle.

[dementni.lojzik]

ok, to je asi spis na osobni preferenci. Ja bych nejradeji link (jak pise pavlix vyse), zdrojaky v mailu jsou pro me ta nejmin preferovana varianta (nicmene chapu, ze kadzy to muze videt jinak a zdrojaky takle ve velkem jsem nikdy neprochazel, takze mozna pro tenhle ucel bych zmenil nakonec nazor)