Záhadné samospouštění počítačů

27.3.2020 18:07 | Přečteno: 1850× | Za vším hledej Linux | poslední úprava: 8.10.2020 11:23

Dnes se mi konečně podařilo vyřešit další vleklý problém, který mě dlouhodobě vytáčel. V jedné z laboratoří totiž nešly vypnout stroje. Bez ohledu na nastavení biosu se opakovaně nahazovaly, jako byste dali místo příkazu poweroff reboot. Svině svinuté. Problém IT laboratoře, které se problém týkal byl ten, že šlo o jednu z nejvytíženějších laborek, kde neustále někdo strašil. Od pondělka do pátku, od rána do večera, tam běžela výuka a pokud se tam zrovna náhodou neučilo, tak tam seděli studenti. To je ostatně důvod, proč mám nejvíc práce, když mají všichni ve škole volno – jedině tehdy se dá s těmi laborkami něco dělat, testovat a tak.

V diskuzi se beztak zase najdou chytráci, pro které je nepochopitelné, čemu to vadí, když se stroj sám od sebe zapíná. Kromě toho, že to žere nějaký proud. Takže to musím vzít trochu ze široka.

Disklessový systém používaný v laborkách tvoří sendvič, který se operativně sestavuje během zavádění z několika vrstev nasdílených přes NFS. Problém nastává, pokud se do některé z těch vrstev drbne. A cvičící občas do těch vrstev drbat chtějí a potřebují. Bohužel pak záleží na tom, kam se drbne.

Pokud se drbne jen do nějakého dílčího adresáře, je to v pohodě. Ale pokud se něco změní na úrovni kořene, nebo adresáře, ze kterého se má načíst soubor nezbytný k běhu počítače, nebo k přihlášení, nastane problém. Problém, který sice umím vyřešit, ovšem pouze za předpokladu, že jsem už na tom stroji přihlášený a ještě není úplně mrkev. Jinak nezbývá, než do té laborky fyzicky dojít a stroj restartovat.

Ideální řešení je, před podobnou operací všechny laboratorní stroje vypnout, udělat změnu a pak je znovu nahodit. Všechno je řešitelné vzdáleně. Vzdálené vypnutí není problém a k nahození strojů používám budík. Je to normální shellový skript, který nepracuje s etherwake ani wakeonlan. Sestaví paket na základě toho co vytáhne z DHCP konfigurace a pošle to co je třeba, tam kde je třeba. Používám ho za normálních okolností jen jednou za půl roku. Ostatně, preferuji shellové skripty, které fungují spolehlivěji, než produkty velkých korporátů, co dělají nemlich to samé.

Bohužel za normální situace, kdy probíhá výuka to takovým způsobem ale dělat nelze, protože s tím systémem pořád někdo někde dělá. Takže velké aktualizace, kdy se hrabe do základního systému mohu realizovat v relativně krátkém období kdy končí zkouškové a začíná semestr. A to ještě se najdou jedinci co žebroní ať do toho nevrtám, protože si na tom ještě studenti potřebují dodělávat nějaké věci, tak abych jim to nerozbil.

No a pak začne semestr. To se probudí z letargie zase jiní vyučující, co si do té doby nebyli schopni najít půlhodinu na to, aby si před začátkem semestru zkontrolovali, jestli jim všechno běhá tak jak má. Takže se do toho drbe, ač již semestr začíná a vyučující pak remcaj že jim to tuhne atp. Pochopitelně z toho nejsem šťastný, ale co se dá dělat. Navíc některé změny a úpravy vyplynou až z reálné situace, kdy se zjistí, že něco souvisí s něčím co buď chybí, nebo je zastaralé a vyžaduje aktualizaci. Řešení je rychlé, ale problém dělaly ty prožluklé stroje co nešly vypnout.

Na první pohled vypadaly, že jsou ok. Jenže byly tuhé, protože se na ně nedalo přihlásit a nebylo možné udělat remount sendviče, aby to NFS srovnalo.

Tak a teď k problému. V té laborce je 30 strojů. Nějaké stroje od HP, ty však byly ok. Problém dělaly jen stroje od Dellu. Jenže ne všechny, ačkoliv měly naprosto stejně nastavené biosy. Některé se automaticky nahazovaly, jiné ne.

Hledal jsem příčinu nejprve v konfiguraci LAN. Pak jsem si říkal, jestli se problém nevyřeší když změním zavádění z legacy PXE módu a UEFI PXE. Ale nemělo to žádný efekt. Byl to pěkně zákeřný problém a kdybych náhodou na jedné webové stránce nenarazil na drobnou zmínku v diskuzi, tak by mě ani nenapadlo hledat příčinu v USB.

Ukázalo se, že ty velké mrchy (OPTIPLEX 9020) musí mít vypnutou podporu USB 3.0. Jenže ty menší mrchy (OPTIPLEX 9010) žádnou takovou volbu v biosu neměly. A při tom se jeden stroj normálně vypínal a druhý ne. Zkusil jsem tedy zpřeházet USB kabely metodou pokus omyl. A voilá! Ukázalo se, že se ten stroj samovolně nahazoval, pokud byla v některém z prvních dvou USB portů v řadě strčená klávesnice.        

Komentáře

[xkucf03]

Jednou jsem řešil podobné problémy a nakonec se ukázalo, že za to může vadná čtečka karet – pravidelně resetovala USB sběrnici nebo snad i zkratovala a dělalo to nepěkné věci, IIRC systém tehdy zamrzal, protože se neustále přidávala a mizela USB zařízení.

Jak u vás vypadá testovací prostředí? A nešlo by dát na začátek nějakou nabídku, kde by si uživatel vybral, jestli chce spustit stabilní odladěnou verzi systémů nebo nějakou jinou?

[Aleš Kapica]

Jak vypadá testovací prostředí?

Tak jak ho udělám. V podstatě se ale jede naostro, pokud nejde o fakt velkou změnu. Postup je jednoduchý.

Než se začne hrabat do vrstvy, udělá se snapshot (úložiště je na Btrfs). Pokud se ukáže, že ta změna zavlekla nějaký problém, původní subvolume se zruší, udělá se nový snapshot s jeho názvem, zavolá se exportfs s parametrem -r a všechno je jak bylo.

Snapshoty mažu jen když je to nezbytně nutné. Místa je dost.

U vrstvev, do kterých mohou cvičící hrabat nejsou klíčové adresáře, takže pokud zrovna někdo s takovým adresářem zrovna něco nedělá, tak ani neví, že k nějaké změně došlo.

Letos jsem řešil v podstatě jen jeden takový problém. Chtěl jsem překlopit systém na aktualizovanou verzi, ale ukázalo se, že distribuční singularity, které se při výuce používá, má bug, který se projevil zrovna v našem prostředí. Takže jsem musel narychlo nastavit aby se jako výchozí volba startoval původní systém. U normálních pracovních stanic je to šumák. Ale u turtlebotů to nebylo tak jednoduché.

Ovšem ty jsem pořešil minulý týden. Pokud vás to zajímá, můžete se kouknout na to jak je vzdáleně drezíruji (video má titulky, kapitoly a trvá necelých 6 minut).

[limit_false]

Wow. Čekal jsem co to bude za problém. Dobré debug schopnosti.

Občas taky cítím ten WAT moment když objevím důvod hardfaultu na embedded procesoru. Který je skrytý v tisíce stranách dokumentace.

[Aleš Kapica]

Každopádně doufám, že si po přečtení studenti uvědomí proč nás tak vytáčí když vyškubávají ze strojů kabely, které pak nevrací zpět.

Nejtypičtější problémy laborek, shrnuté za 10 let:

1. Vytažený napájecí kabel - notebook studenta má přeci přednost, že? Důsledek? Buď nejde monitor, což je pro většinu studentů signál "ten stroj je nefunkční". Nebo naopak nejde nahodit stroj.
2. Vytažený ethernetový kabel - studentův obstarožní notebook má buď problém s wifi, nebo se student potřebuje dostat na stejný subnet. Buď pak ethernetový kabel nevrátí vůbec, nebo ho zastrčí blbě. Zástrčky tím trpí. Což o to, kabel se dá předkrimplovat, ale komp s rozdrbanou ethernetovou kartou je na vyhození
3. Vytažené myši a klávesnice - co to dělá jsem zmínil v blogu. Taky se vyskytují různé zapomenuté dongly atp.
4. Vyrvaný, ne vytažený ale skutečně vyrvaný kabel monitoru z displejportu - to považuji skutečně za důkaz mentální nedostatečnosti budoucího inženýra. Bohužel zjistit, které prase je schopno takovou věc udělat nelze.

Laborky se nešmírují a my se takovou věc stejně dozvíme až náhodou a se zpožděním - nikdy se nestalo, že by se našel student, který by se k nám stavil a oznámil, že je v nějaké laborce problém se strojem.

Tak to jen na okraj k tomu co je také náplní práce "IT bastliče z ČVUT" a důvodem proč tam fyzicky každý den jsem, ač s ohledem na výuku defakto nic moc kloudného dělat nemohu.

Vzdálený přístup na laboratorní stroje je v tomto směru pro mne ideální - žádný z výše uvedených problémů samovolně nenastane a vše funguje.

Teď už zbývá poslední problém. Před lety zapůjčila katedra kybernetiky několik strojů katedře počítačů a nějaký debil neměl lepší nápad než jim zaheslovat biosy jiným než obvyklým heslem. Což o to. Za normálního stavu to až tak nevadí, jenže v biosu je nastaveno, aby ty stroje při probuzení přes LAN startovaly rovnou z disku. No a to pak zůstanou viset.

[Matlák]

Vytažený napájecí kabel je asi známkou poddimenzovaného počtu zásuvek. Myslím že příčetný student ČVUT snad nebude vytahovat monitor nebo dokonce samotné PC ze zásuvky když by vedle byly ještě 4 volné... a ty vyrvané DP kabely občas taky potkám - obzvlášť mladší generaci totiž DP moc neříká a jsou zvýklí na HDMI které západku nemá (což samozřejmě neomlouvá mladého budoucího inženýra, takový by asi měl mít ke strojům trochu vztah).

[xkucf03]

obzvlášť mladší generaci totiž DP moc neříká a jsou zvýklí na HDMI

DP je přece mladší než HDMI, ne?

[Matlák]

To je bohužel irelevantní. Podstatnější je s čím typický mladý člověk přijde do styku. A drtivá většina spotřební elektroniky má HDMI, podobně jako má třeba drtivá většina laptopů nainstalovaná Windows. Je to spíš trhem než stářím samotného rozhraní.

[kotyz]

ono ma dp nakej zamecek aby neslo vytahnout? to sem nevedel, nikdy nevidel...

[xkucf03]

Ty velké ano, viz zoubky a tlačítko, ty malé ne.

[Blaazen]

U tohohle by člověka ani nenapadlo, že je to zámek. Já mám podobný na takovým spešl kabelu k foťáku Sony (na fotce vpravo), taky už jsem to párkrát tahal silou, naštěstí jsem si vzpomněl. Dřív na VGA, DVI, sériovým, paralelním a game portu byly ty dva šroubky, to člověka trklo.

[Josef Kufner]

Na UTP máš také takový zobáček, jen je celý vidět.

[Blaazen]

Tam je to udělané dobře, ten zobáček téměř nejde nestiskout.

[kotyz]

holt sem to nikdy na zadny karte ani monitoru nemel. akorat na notebooku mam minidp a k tomu potrebuju redukci na hdmi...

[...]

"ono ma dp nakej zamecek aby neslo vytahnout? to sem nevedel, nikdy nevidel..."

Pripomina to stary vtip o prijmackach k policii "3 z 10-ti uchazecu prijati pro mimoradnou inteligenci, zbytek pro mimoradnou silu."

[xxx]

Z toho prispevku je videt, ze ve sklepenich na Karlaku stale panuje predstava, ze studenti jsou povl, kterej te treba drzet zkratka. Ti si zkratka zadny zasuvky nezaslouzi. Narozdil od Dejvic, si ale alespon muzou postavit klavesnici na nozicky.

[Aleš Kapica]

Když máš v místnosti která byla původně navržena pro 20 počítačů těch počítačů 31, tak už ti moc volných portů nezbývá. Obzvláště pokud jsou tam ještě jiná zařízení. To už pak řešíš i takové věci, jako kupř. aby ti to v létě, kdy běží klimatizace nevyhazovalo jistič, když se všechno zapne.

[Aleš Kapica]

Ano. Z mého pohledu mají studenti šoupat nohama. Podle mě žádná všeobjímací demokracie na školách nemá co dělat. Můj názor ovšem je pochopitelně deformovaný tím, že jsem byl studentem na jiných školách. A mohu vás ubezpečit, že na těch se se studenty nikdo nemazal.

Ve srovnání s nimi se na ČVUT ke studentům chovají vyučující přímo mateřsky.

[xxx]

No tak to bych budoucim studentum doporucil, at jdou radsi na skolu, kde budou v hierarchii vys nez uklizecka nebo spravce site. Protoze proc ztracet cas v instituci, kde si obsluzny personal mysli, ze je dulezitejsi nez ti, kvuli kterym tam je.

[trekker.dk]

Upřímně řečeno, když jsem viděl některé svoje spolustudenty v prvním ročníku, tak bych použil i horší výrazy než "póvl". Chováním připomínali spíš sedmnáctileté studenty učňáku než vysokoškoláky.

Holt důsledek systému, kde se nabere co nejvíc lidí, aby se za ně dostalo co nejvíc peněz, načež je snaha je v prvním semestru vyházet

[xxx]

Videl, ale je to jen chaba vymluva.

[Aleš Kapica]

Ten obslužný personál tam není primárně kvůli studentům, ale kvůli těm, co ty studenty učí. To za prvé. A za druhé. Bez onoho obslužného personálu bys to mohl rovnou zabalit a jít domů, protože by ti nefungovalo nic.

[xxx]

Ten obslužný personál tam není primárně kvůli studentům, ale kvůli těm, co ty studenty učí.

To jako myslis vazne? To muzu rovnou napsat, ze nejsem v praci primarne kvuli zakaznikum, ale kvuli obchodnikum, co jim prodavaji. Tuhle pervrzni inverzi muze vymyslet snad jen statni urednik. Nebo vlastne osoba celozivotne placena z verejnych penez. Pokud o tom pochybuje, tak se podivej alespon na zacatek zakona, kterym jsou zrizeny VS.

Ale chapu, takova labka bez studentu je dream job. Neni student, nejsou problemy. Otazka je, jestli pak jeste bude i labka a obsluzny personal.

Bez onoho obslužného personálu bys to mohl rovnou zabalit a jít domů, protože by ti nefungovalo nic.

Tak delba prace ve spolecnosti uz nejakou dobu je. Nic to ale nerika o tom, ze ten student existuje kvuli popelari.

[Aleš Kapica]

To muzu rovnou napsat, ze nejsem v praci primarne kvuli zakaznikum, ale kvuli obchodnikum, co jim prodavaji.

To musíš vědět ty co pro koho děláš.

Ale chapu, takova labka bez studentu je dream job. Neni student, nejsou problemy. Otazka je, jestli pak jeste bude i labka a obsluzny personal.

Tak si říkám, jestli si vůbec uvědomuješ realitu kolem nás. Koncept, kdy 40% výuky ve škole představují přednášky, 40% samostudium a 20% laboratorní cvičení, je dávno pryč.

Proč by měli vyučující stále dokola přednášet to samé, když si mohou studenti tu přednášku pustit ze záznamu? Jenže laboratorní cvičení samostudiem nenahradíš, protože všichni studenti nemají rovné podmínky. Nemají stejné hardwarové vybavení a mnohdy ani licenční podmínky nedovolují, aby si mohl každý z nich nainstalovat používaný software.

Podle mě tedy situace dopadne tak, že se výrazně sníží potřeba přednáškových místností, ale u těch laboratorek si jist nejsem. Možná se v nich sníží počet strojů, aby nedocházelo k takové koncentraci studentů jako dosud. Ale s možností práce na vzdáleném desktopu jejich vytížení poroste, protože studenti na těch strojích budou moct pracovat paralelně a bez časového omezení.

Jenže ty nemáš ani páru, co taková laborka obnáší a vynášíš tady nějaké svoje pochybné soudy.

Tak delba prace ve spolecnosti uz nejakou dobu je. Nic to ale nerika o tom, ze ten student existuje kvuli popelari.

Vypovídá to dost na to, aby sis uvědomil, že bez práce těchto lidí bys byl namydlený a tahle společnost by se zhroutila jak domek z karet. Ty si nejspíš sedíš někde v karanténě, ale tihle lidé makají jak fretky a ještě se jim při tom hážou nejrůznější klacky pod nohy naprosto chaotickým vyhlašováním nesmyslných nařízení.

[trekker.dk]

Nebýt studentů, není potřeba obslužný personál, protože nebude koho učit. I s tím vaším úkrokem stranou, že jste tam primárně pro ty, kdo učí, jste bez studentů k ničemu.

[Aleš Kapica]

Nebýt studentů, není potřeba obslužný personál, protože nebude koho učit. …

Jo. To je je pravda. Jenom vám nějak nedochází, že to by nejdřív musela komplet zavřít krám ČVUT. Chápu že by se vám to líbilo, protože by tím získali konkureční výhodu všichni co své studium dokončili, jenže taková situace – nejspíš k vaší velké lítosti – nenastane.

[trekker.dk]

To už je jedno, jak by taková situace nastala. Podstatné je jenom to, že když nebudou studenti, tak je vaše pracovní pozice zbytečná, zatímco student si jinou školu najde. Tudíž byste svůj postoj, že jste důležitější než ti studenti, kteří vám tu pracovní pozici vytvářejí, měl přehodnotit.

[Aleš Kapica]

Můžete být bez starosti. Já jsem si doposud práci taky vždycky našel. A rozhodně mám větší zkušenosti v tomto směru než vy, nebo většina z obyvatel skleníku ve kterém dnes pracuji.

[Aleš Kapica]

Mimochodem, to já byl před 12 lety (to to letí) osloven, zdali bych měl o tu práci zájem. A vůbec by mě tehdy nenapadlo, že mě to bude na té škole bavit i za deset let. Původně jsem to bral jenom jako provizorium. Netuším co bude za dalších 10 let a trochu se toho možná děsím, protože jsem zažil už dost lidí co kdysi byli borci a dnes už jsou z nich jen průměrní uživatelé, kterým ujel vlak. Ale faktem je, že tohle prostředí nedovoluje usínání na vavřínech. A naštěstí mám dost velkou svobodu na to, abych neupadnul do stereotypu a mohl se věnovat různým věcem co mě baví. V minulosti se už několikrát ukázalo, že jsem byl díky tomu o několik kroků napřed oproti všeobecnému trendu. Jak někdy říkám kolegům v práci: "Chlapci, pamatujte že místa na která vstupujete dnes, jsou místa kterými já už prošel." Pochopitelně je to míněno obrazně. Je to dané zkrátka tím, že jsem o pár let starší než oni. A dostal se k tomu co dělám zcela jinou cestou než oni. A co je nejlepší - tady je vždycky někdo od koho se dá něco přiučit.

[Aleš Kapica]

Jenže hlupáci jako ty asi potřebujou konkrétní akci, aby si uvědomili, kdo je a není důležitý.

[Aleš Kapica]

Netvrdím, že jsou všichni studenti dementi. To vůbec ne. Jenom to, že se i mezi vysokoškolskými jedinci takoví najdou.

Osobně přicházím do styku spíš s těmi studenty z opačné strany Gaussovy křivky. Z těch ale tady nediskutuje nejspíš nikdo. Ostatně, i Pavel Píša byl dlouhé roky pouze pasivním čtenářem abclinuxu. A nejspíš se jím po nedávné zkušenosti se zdejšími diskutéry zase stane, pokud ho to neustálé tlachání o koronaviru 100x jinak totálně neodradí.

[Martin Tůma]

Pokuď má Pavel Píša problém s tím, že ho tady někdo upozorní na to, že na ČVUT není od toho, aby tam získával zakázky pro svojí soukromou firmu, bude si holt muset najít jiné diskuzní forum. Stejně jako ty, pokuď máš problém s tím, že tě tu jiní upozorní na to, že ty na ČVUT jseš kvůli jejím studentům.

[trekker.dk]

Pokud je to pro obě strany výhodné, tak nechť tam od toho je. Lepší, než kdyby se přes výběrové řízení kupovalo něco dvakrát dražšího a napůl nepoužitelného, jak už to ve výběrových řízení bývá. Zejména když by se to výběrové řízení vypisovalo jenom kvůli tomu, aby hyperkorektní blbečci měli klid v duši.

[xxxs]

kokso, cista monotema.

ak pisa a skola porusili zakon, oznam to. mohol by si aj vycislit, o kolko stat prisiel, ak by uprednostnili nejake ine riesenia. len aby nevysvitlo, ze ten rybnik je taky maly, ze ine ryby v nom neziju a ak by zili, boli by mastnejsie.

[» FIDESZ🧡! «]

se asi chudák rozčílil že jako nejde kabel normálně vyndat tak pořádně zabral to ještě neznamená žeto je nějakej vomezenej blbeček :O :O :D :D

sem taky narazila jednou na nevyndatelnej kabel se muselo zapřít nohou o tu plechovou počítačovou krabici aby kabel šlo obouruč vyndat. jenže ho pak nešlo strčit zpátky jak předtim byl furt vypadával a bzučel a tak sem ho nauzel přivázala k opěradlu židle a uplně tiše zmizla :D ;D

[ZAH]

Přidám svůj obdobný zážitek. Jedna klient si stěžoval, že když ráno přijde k počítači je obvykle zapnutý. Protože pracuje s dost důvěrnými daty a on sám je trochu paranoidní napadlo ho ledacos. Po různém zkoušení to začalo napadat i mne. .... .... Spásný nápad přišel až po delší době. Skript, který po startu logoval přesný čas a ejhle zapínalo to jen v pracovní dny a vždy skoro přesně ve stejný čas. Protože nevěřím na duchy hledal jsem něco racionálního.

Výsledek. Pravděpodobně vadný zdroj reagoval na elektrickou lokomotivu. Po výměně zdroje vše Ok. Back UPS nepomáhal.

[trekker.dk]

To jenom dokazuje, že lidi jsou nadřazení strojům... narozdíl od počítačů dokážeme projíždějící vlak úplně v klidu prospat.

[Matlák]

Mně se takhle zapínal počítač třeba na lampičku se zářivkou a klasickým zapojením se startérem a tlumivkou. A taky jsem měl ten paranoidní moment když jsem to viděl jak se to samo zaplo .) Prostě to elektromagnetické "drcnutí" při zapálení výboje ovlivňovalo něco na desce. U té lokomotivy se nedivím, pokud je blízko, musí to pěkně zářit ještě přes trolejové dráty. A dobrý zdroj asi to rušení umí zkrotit (kondenzátory na sekundárních větvích možná?) a proto to přestalo.

[jiwopene]

Také jsem se s něčím takovým setkal. Cca 30 sekund po vypnutí se počítač zase zapnul. „Vyřešil“ jsem to tak, že GRUB počítač zase vypne. Na počítači byl dualboot Windows a Linuxu. Z nějakého důvodu to dělalo pouze po používání Windows.

[jen tak]

W10 - někde v nastavení aktualizací je volba pro dálkové ovládaní nebo kontrolu těch aktualizací. Vypnout a bude klid.

[xsubway]

Díky za podrobný rozbor.