Eskalace

8.10. 17:51 | Přečteno: 1711× | Jen tak na okraj

Eskalace, neboli stupňování, resp. postupné navyšování významu a důležitosti určité záležitosti, ovlivňuje termín řešení. Když se to přepískne, může působit kontraproduktivně a řešení místo urychlení naopak oddálí.

Před 25 lety jsem pracoval na helpdesku serveru atlas.cz, v době kdy zažíval boom. Než jsem přišel, zajišťovali tuhle službu dva kluci, Toty a Lasáně. Jenže ve dvou lidech se služba 24/7 zajistit nedá. Toty, který byl ustaven jako šéf, se mi přiznal že když mne přijímal, tak měl pocit že jsem proti němu úplnej „dědek”. O to víc byl překvapen, když jsem nastoupil. Bylo mi třicet a ten dojem v něm vyvolalo sako v kombinaci s plnovousem. Využil jsem zkušeností z dob kdy jsem šéfoval oddělení v Makru a naplánoval směny, které jsme zpočátku točili ve čtyřech. Záhy přibyli i další helpdeskáři, ale z nich už mi v paměti nikdo neutkvěl.

Naším úkolem bylo hlídat služby, sedět na telefonu, přijímat e-maily, vyhodnocovat požadavky, řešit a podle závažnosti problému dál eskalovat. Jeli jsme 12 hodinové směny, protože jedině tak se dalo zajistit, aby tu práci mohli dělat i ti, co dojížděli. Ale častokrát jsme si vzájemně vypomáhali. Komu by se taky chtělo courat jen tak po Praze.

Byla to cenná zkušenost. Eskalovat problémy tak, aby i přes vysoké nasazení nedocházelo ke konfliktům a zůstaly zachovány dobré vztahy, jak s klienty na straně jedné, tak s vývojáři a adminy na straně druhé, je umění.

Otázka první: „Je řešení v mé kompetenci?”

Umět rychle vyhodnotit v čem spočívá problém, je asi to nejdůležitější. Protože když se valí jeden požadavek za druhým a všechny mají jednu a tu samou příčinu, nemůžete ztrácet čas tím, že vyřizujete e-maily. Je potřeba nejdřív vyřešit příčinu a pak už bude času dost na vysvětlení problému a omluvy. Bez toho by jen přicházely další a další požadavky ze strany postiženýc klientů.

Triviální problémy, jako např. zapomenuté heslo, atp. jsme řešili rychle. Ale pokud šlo o nedostupnost nějaké služby, bylo nutné postoupit řešení problému někomu dál. A tam už hraje roli to, jak moc je ta služba důležitá. Aktuální předpověď počasí či nedostupná seznamka je asi většině lidí u zadku, ale nedostupná e-mailová schránka, nebo firemní web, to už je pálilo víc. Ovšem každou službu řešil někdo jiný a bylo na nás vědět komu a kdy zavolat a jakým způsobem ho upomínat, pokud se problém do určité doby nevyřešil.

Od té doby uplynulo 25 let. Dnes už jsem to já, kdo řeší disklessovou infrastrukturu, ze které jede linuxový systém v laborkách. Nepotřebuji žádný helpdesk, protože když udělám něco blbě, můžou se všichni sbalit a jít domů, protože nepojede nic. Zkrátka fatální chyby si nelze dovolit. Ale vznikají jiné chyby. Například síť není v mé kompetenci. O tu se stará SVTI. Takže specifikem našeho IT oddělení je prolínání kompetencí.

To byla pro mne asi nejzásadnější novinka, když jsem v roce 2008 nastoupil. Do té doby jsem se totiž nesetkal s tím, že by někdo měl více než jeden úvazek. Ale na ČVUT jsou zcela běžné kombinované úvazky nebo práce na dohodu. A mnozí vyučující mají paralelně i své soukromé firmy. Co si o tom myslím, by vydalo na samostatný blogpost, ale možná je to i ku prospěchu věci.

Dnes mám i já dělený úvazek, přesto že dělám pořád jednu a tu samou práci a sedím pořád na stejné židli.

V roce 2016 totiž koketoval náš tehdejší šéf katedry s odchodem na CIIRC a podle mne jen blázen vymění historickou budovu ČVUT na Karlově náměstí za ptáka se šprckou někde za hory a doly v Dejvicích. Posichroval jsem se tedy tím, že jsem se vetřel na katedru kybernetiky, ze které z CIIRCU vysáli kolegu, který řešil jejich laborky. Z odchodu na CIIRC později sešlo, ale situace vytvořila ideální podmínky pro to, aby se časem laboratorní systém sjednotil.

I mí kolegové mají dělené úvazky, ale na rozdíl ode mne, jsou všichni zaháčkovaní v SVTI. Místy je to až komické, protože Petr šéfuje Martinovi z pozice tajemníka katedry DCE a Martin šéfuje Petrovi z pozice vedoucího SVTI. A Petr občas zapomíná, že nejsem zaměstancem SVTI, takže nevím o informacích, co projedou v rámci komunikační sítě SVTI, protože se k nim nedostanu.

A s tím souvisí i kompetence. Kupř. DHCP server DCE a DC mám pod palcem já, v rámci katederní disklessové infrastruktury, ale DHCP v budově A má pod palcem SVTI, tedy Ondra. To co děláme se do určité míry prolíná, takže je první s kým řeším problémy u kterých není jasné kde je příčina. Ale i on má i jiné úvazky a tím pádem povinnosti a priority.

Otázka druhá: „Napsat e-mail, zavolat, nebo napsat SMS?”

Každému kdo má problém důrazně doporučujeme napsat e-mail. V dávných dobách, kdy jsme ještě byli jenom IT zaměstnanci katedry a nebylo toho moc, byli vyučující zvyklí vyklopit svůj problém „per huba” při první příležitosti, která se naskytla. A když se nenaskytla, vtrhli do naší kanceláře, kde jsem obvykle první na ráně, protože na rozdíl od zaměstnanců SVTI, co pendlují mezi Karlákem a Dejvicemi, sedím většinu času na jedné a té samé židli. Jenže já nejsem sekretářka. Mám svoji práci a když se na ni soustředím, nevnímám co je kolem a pokud jejich problém zrovna není můj problém, a není to akutní problém který je potřeba ihned řešit, mají většinou smůlu, protože na takovou „návštěvu” obratem zapomenu.

I já svým kolegům píšu e-maily, pokud není problém akutní. A pokud problém nevyřeší, tak je také upomínám, jak jsem o tom psal v minulém blogpostu na téma Priority. Ale navzájem se nehoníme!

Pokud je problém akutní, řešíme to nejdřív telefonátem tomu, kdo by mohl být kompetentní. Pokud to nevezme, zkusíme alternativu – přeci jenom jistou zastupitelnost mezi sebou máme. A pokud už jiná alternativa není, pošleme pro jistotu ještě SMS. Přes teamsy si píšeme jen když to nehoří, protože každý není na mobilu on-line.

Proč ta SMS? No. Sám mívám mobil často v tichém módu a zapomínám si to přepnout, takže pokud někdo zavolá, nebo pošle SMS, nic nezvoní, jen zavibrují hodinky a když zrovna něco dělám, nemusím to zaregistrovat. Ovšem v průběhu dne se na telefon koukám častěji než do mailu – třeba na záchodě, protože ty hovadiny co tu píše Žako & spol. jsou skvělé laxativum. A tak se k té SMS dostanu dříve, než k e-mailu, který se dá taky mezi jinými lehce přehlédnout.

E-maily čtu a vyřizuji hlavně ráno, když dorazím. V průběhu dne už pak na ně moc nekoukám. Jejich vyřizování žere čas, a ten pak chybí jinde.

Otázka třetí: „Do jaké míry požadavek hrotit?”

Ctíme to, že si priority třídí každý sám a pokud to není kritické, upomínáme se buď přes e-mail, nebo „per huba” pokud jsme zrovna pohromadě v kanclu. Každý zapomíná, takže se neuháníme. Nemá cenu tlačit, protože pokud se mu začíná dělat blbě, jen co vidí kdo mu píše mail, tak se nevyřeší nic.

Takže i když řešíme vážný problém, platí: „Zavolat, upozornit přes SMS a pokud nepřichází žádná reakce, přemýšlet co s tím dál.” Jestli počkat, nebo napsat pro jistotu ještě skupinový e-mail. Ale většinou, když se řeší akutní problém, není čas na romány. A pokud je problém v síti, nemusí ten e-mail vůbec dorazit.

Možná si vzpomenete na letošní červencový blackout. Všichni v čudu a bylo potřeba rozmyslet, jestli to nechat všechno padnout, nebo ihned informovat kolegy, aby preventivně vypnuli co se dá a tak udržet UPS naživu o pár minut déle. Nakonec jsme z toho vyšli celkem dobře, i když to centrální UPS neudržela. Nic neshořelo a protože už všichni (včetně těch co byli na dovolené) o problému věděli, mohli vzápětí, poté co začala jít šťáva, zkontrolovat co naběhlo a případně dát po telefonu instrukce co je nutné ještě udělat. Takže jsem nakonec stihnul i ten vlak.

       

Komentáře

[Max]

Jo, zlatý časy. Nyní ISO 27001, přípravy na NIS2 v nejostřejším provedení, nutnost řešit SOC, všechny postupy formálně sepsány do směrnic, audity a kontroly, že dokchází k naplňování atd.
Zdar Max

[Heron]

To také záleží kdo je na druhé straně. Technikovi stačí jedna věta emailem a jsou lidi, kteří si chtějí pokecat po telefonu.

[Want]

Od toho je ten helpdesk. S klientem pokecá, technikovi pošle tu jednu větu. My helpdesk nemáme. Požadavky se zadávají prostřednictvím aplikace ServiceDesk. Ale problémy je potřeba řešit co nejrychleji.

Jen pro ilustraci. Dnes ke mně dorazil mail, který se týkal incidentu, který už byl vyřešen předminulý víkend. Považuji za slušné za takové upozornění poděkovat, a objasnit jak a kdy byl problém vyřešen. Ovšem to sepisování mi zabralo hodinu a půl času, který teď chybí jinde.

Pokud by šlo o aktuální problém, tak bych momentálně situaci řešil a odepsal někdy později. Ale stále bych měl větší pochybnosti, ze je vše odbyto než teď, kdy už je to víc jak týden starou minulostí.

[Heron]

A vy nepíšete reporty hned jako se to opraví? Potom stačí jen poslat odkaz a netrávit čas odpovědí na jeden dotaz.

[Aleš Kapica]

Většinou jsou prkotiny řešitelné v řádu minut, způsobené nějakým překlepem, na které přijdeme dřív než někdo jiný. Tohle byl výjimečný případ, daný okolnostmi, a tím, že wordpress je wordpress. Proto byla na základě toho nasazena zostřená opatření, ale nebudu se omlouvat jako Dr. Chocholoušek. Prostě se stalo, co se stalo, je to vyřešené, uzavřené a jedeme dál. Bohužel wordpress a jeho pluginy jsou veš v kožiše, u které do budoucna nemůžeš nic podobného vyloučit, protože je blbě navržen už od základu.

[Heron]

Já používám WP od roku 2012 a žádný problém. Pochopitelně zálohy, ale dlouho to má automatický update a žádné napadení si nepamatuju.

Zažil jsem WP nasazené stylem nainstaluj a zapomeň, ale to je katastrofa u každého SW.

[Aleš Kapica]

Pokud s něčím pracuješ, je to vždycky snazší, protože už máš v oku co tam má být. Jenže my neděláme web hosting. Jde o weby, které si někdo svého času nechal udělat na míru v rámci nějakého projektu, a po nějakém čase zjistil, že je údržba nad jeho síly. A co s takovým webem? Aktualizovat se to z nejrůznějších příčin nedá, ale dokud projekt běží, musí se to nějak udržet při životě. Pak se to buď odstřelí, nebo se z toho udělá statický archiv. A když to běží na nějakých virtuálech, nebo v kontejnerech, je to bída na druhou.

[Heron]

Tak ona výhoda kontejneru je ve snapshotech, takže pokud to nejde updatovat, tak po napadení obnovíš snapshot a zase to běží dál. (A zablokuješ útočníka.)

[Want]

Tak k tomu bych ti mohl přidat další příběh, který předcházel tomu, než u mne skončil ten WP.

[Heron]

Tak klidně piš. Já používám WP, protože jsem si zatím nenapsal nic vlastního.

Používal jsem statické generátoru webu, jako Jekyll (Ruby On Rails), ale to se blbě instaluje v Debianu (neustále chybí balíčky), potom jsem chtěl používat HUGO (Golang - programuju v tom), ale zase to tak nabobtnalo, že jsem raději zůstal u WP. A to nemám rád PHP any MySQL.

A v Golangu to jde tak snadno (má to šablony i http server), že si to raději napíšu sám, než se rozčilovat s Hugem.

[Want]

Není čas. Tlačím před sebou akutnější věci, které se díky takovým "historkám" hýbou kupředu jen pomalu. Všimni si, že po delší době se našel čas až na malé povolební resumé a ty poslední dva blogy jsou víceméně vedlejší produkty oné wordpressové lapálie. Je už sice vyřešená, ale ten blog dopíšu až budu mít jistotu, že se to nebude opakovat. Těch 350 IP adres není v recidive jailu pro nic za nic.

[Heron]

Jasně, já tě nenutím a děkuji za diskusi. Až budu mít čas na cestu do Prahy, tak se ozvu.

[Max]

Já jsem si kdysi oblíbil CMS Made Simple.
Odlehčené, podpora šablonování a prostě veškeré základy, co člověk potřebuje na menší web.
Padnul na mně jeden web na WP, který je fakt starý, je poskládán z asi 40 doplňků. Část se změnila na placené, část zanikla úplně atd. Vůbec se mi nechce přinutit ten hnůj dávat dohromady na aktuální verze, ale budu muset, postupně začínají umírat i důležité pluginy. Naposledy jsem mysel ručně upravovat zásilkovnu, protože zrušili nějaká js a překopali pár věcí (ano, už mají sami ofiko plugin, ale ten je s touto verzí WP nepoužitelný).
Zdar Max

[Want]

Upřímnou soustrast.

[kolcon]

no a kazda normalni instituce/firma ma nejaky helpdeskovy system, aby mohla merit, jak se tam flakas, jak rychle ty tickety vyridis a jestli by nahodou nestacilo na ten objem ticketu polovina patu a matu.

[Max]

Je to tak. Na druhou stranu, u nás je pain donutit všechny, aby tam psali všechno. Výsledkem je, že tam cca 20% věcí není, protože např. u některých trvá jejich vyřízení stejný čas jako datlování do ticketu. Ale ano, je to prostě nutnost. Lépe se pak balancuje přiřazování úkolů, reporting apod.
Každopádně pokud jsou třeba tři lidi v teamu, a záznamy ukážou, že jsou potřeba jen dva, tak nemusí být vhodné ponížit stav kvůli např. balancingu při dov, nemoci apod. Tj. aspektů je více.
Zdar Max

[Aleš Kapica]

Helpdeskový systém tu existuje samozřejmě taky. Ale je to jak píše Max. Krom toho, je naprostá hovadina řešit nedostupnost síťových služeb přes systém, který na nich může být závislý. Telefonát, nebo SMS jde přes úplně jinou infrastrukturu. Jestli tohle někdo nepochopil, tak by se měl podle mne zamyslet, jestli nedělá někde něco špatně.

Mimo jiné, je to i důvod proč wiki, která slouží primárně k dokumentaci, nemám navázanou na nějaký LDAP či AD. V ní jsou totiž popsané i postupy, jak řešit základní problémy. A to že jede, je zároveň signál, že je s velkou pravděpodobností vše ok. Takže problém co se týká virtuálu na kterém běží, má nejvyšší prioritu, i když je z hlediska provozu disklessové infrastruktury neškodný, neboť citlivá data v ní uložena nejsou. Neveřejný obsah který má, je skrytý jen kvůli tomu, že by ho mohl někdo chytřejší zneužít k tomu aby škodil.

[kolcon]

Kdybys to měl někde v cloudu tak místo nahazováni wiki, která nikoho nezajímá mohl řešit problémy pana profesora

[Aleš Kapica]

Kdybych to měl někde v cloudu, tak by to bylo už pěkných pár let po smrti. A problémy pana profesora ať si řeší kdo chce, když je tak hloupý, že mu nedochází, že bez těch lidí nma kterých je závislý, by nedostal od nikoho nic.

[Want]

Kdybys to měl někde v cloudu tak místo nahazováni wiki, která nikoho nezajímá mohl řešit problémy pana profesora

Opravdu?

[kolcon]

Furt lepší jeden krátký výpadek než živit pata a mata s jejich zablešenou vm, co ani neumí uspokojit svého zákazníka pana profesora

[Aleš Kapica]

To souhlasím. Naši profesoři jsou spokojení. Ty si žebrej o práci kde chceš.