Linux admin - nobody I'd rather be

24.4.2016 10:17 | Přečteno: 2530× | Novinky | poslední úprava: 1.5.2016 10:08

Od svých zhruba 10-11 let jsem se chtěl živit IT. Tenkrát jsem chtěl být programátor, protože mě fascinovalo, že dobrý programátor může vytvořit cokoliv ho napadne - sebesložitější program je s dostatečným skillem jen otázkou času. Programovat jsem se naučil, zdaleka ne tedy na god-like úrovni, nad kterou jsem uvažoval v předchozí větě, ale vydal jsem se pak jiným směrem. Linux používám jako primární OS od svých 14 let a od chvíle, co jsem na něj přešel, netrvalo dlouho a doufal jsem, že mě to jednou bude živit... a bylo mi celkem jedno jestli budu programovat open-source anebo spravovat linuxové servery.

Doufal jsem, že jednou budu dělat pro SUSE nebo Red Hat, protože to byly jediné relevantní firmy, o kterých jsem tenkrát věděl. Samozřejmě když člověk netrvá na tom, aby programoval open-source, tak je možností mnoho. A admin je podle mě v pohodě i když trvá na tom, aby se staral o (převážně) open-source technologie - možností je mnoho. Živit se IT byl takový můj sen, ale čím se v reálu nakonec budu živit, to jsem vážně netušil a rozhodně jsem IT nebral jako samozřejmost - netušil jsem jak to chodí.

Když jsem v roce 2011 nastupoval do superhostingu, myslel jsem si, že už toho o linuxu vím celkem hodně, ale rychle jsem pochopil, že se mám co učit. Šudlit linux na pár kompech doma je trochu jiná pohádka než nést zodpovědnost za servery, na kterých běží služby platících zákazníků. Tato práce a primárně skvělí kolegové mě velice posunuli během těch tří let, ale byl čas jít dál. Chtělo to větší výzvu.

V avastu jsem brzo zapadnul do týmu špičkových linux adminů, kde všichni mají rozsáhlé "common" zkušenosti, ale každý je expert na něco jiného. Od začátku jsem byl profilován jako hadoop admin, což mě poněkud děsilo, vzhledem k tomu, že jsem o tom nic nevěděl. To se velmi rychle změnilo, díky kolegovi, který je dnes můj šéf a věnoval se mi. To, v kombinaci s mým zájmem se učit novým věcem, docela rychle vyústilo v to, že jsem se stal hlavním správcem několika středně velkých výpočetních clusterů (50-150 serverů). Postupně zodpovědnost začala narůstat a dnes už se starám o řadu dalších backendů - jmenovitě o různé Kafka clustery a kopec in-house backendů, např. Streaming Updates, který obstarává "real-time" distribuci mikro-updatů virových databází.

Svou práci mám moc rád, protože spravovat velké systémy je něco, co mě baví a když to můžu dělat s lidmi, od kterých se mám pořád co učit a kteří se, věřím, naučí i něco ode mě, tak je to paráda. Můj šéf je hardcore linux admin - co víc si přát :D Pořád si pamatuju ten pocit, kdy jsem poprvé v rámci nějaké úlohy spustil parallel přes pdsh na stovce serverů a odstartoval tím nějaký svůj šílený skript. A to byl teprv začátek. Je to každý den nová výzva. Někdy performance-tuning služby, která běžně drží 1,5 milionu navázaných TCP spojení na každém (celkem obyčejném) serveru, jindy implementace CDN-like origin/cache modelu pro distribuci našich balíčků, která pak nahradila naivní mirror model. Nebo třeba implementace nástrojů pro automatické pravidelné spouštění puppeta, které nesmí kolidovat s automatickým deploymentem našich backendů. V týmu linux adminů nás není moc, ovšem serverů je šílená kopa po celém světě, takže každý z nás má velký vliv na pořádný kus infrastruktury a člověk opravdu zřetelně vidí plody svojí práce.

Práce je to hodně náročná, ale to a její rozmanitost jsou věci, který na ní mám rád. Pracovní doba díky tomu uteče raz dva a já nemám pocit, že jsem nahraditelnej sadou skriptů ;)

       

Komentáře

[Aleš Kapica]

Zdá se, že jsi konečně dospěl. Skvělé. 8-)

[SonnyMafiaBoy]

Tak držim palce nech sa ti darí. Je pekné keď niekoho baví práca. Mňa by nebavilo chodiť do práce každý deň a mať z toho pár korún.

[David Watzke]

Díky. Proč myslíš, že z toho mám pár korun? Vůbec jsem plat nezmiňoval (a nebudu).

[Mrkva]

Treba je pro dotycneho "par korun" min nez 1M/mesic, nebo nejaka podobna pro typickeho zamestnance nerealna castka.

[David Watzke]

Třeba jsem atypickej zaměstnanec a za 1M/měsíc bych ani nevstal z postele.

[vyhodny_vychodniar]

Pretoze tvoja pracovna pozicia je uplne na spodu IT hierarchie. Peasant, niktos, nula a x dalsich sposobov ako to nazvat. Ale v poriadku, mat v zivote nizke ciele nie je hanba. Ak by si predsa len postupil niekam vysie (napr programatorska lopata) stale budes robit na nejakeho debila, ktoremu vymenis svoje roky mladosti a dusevneho zdrava za par chechtakov.

[romeo]

Pretoze tvoja pracovna pozicia je uplne na spodu IT hierarchie

Akorát že není, slováku od ovčího sekretu upatlanej..

[..]

ma pravdu s tou vymenou za par chechtakov

[Mrkva]

Tech 8h denne za ty prachy docela stoji :) Takhle bych zit asi nechtel.

[..]

asi aj tým teoretikom, co chcu ist robit adminov do Liberlandu

[.]

a pak se někdo divte, že slovensku se říká maroko ...

[Michal Kubeček]

To, že člověk nemá za životní cíl postupovat v nějaké hierarchii, neznamená automaticky, že má nízké cíle. Třeba má jen jiné priority.

[David Watzke]

Souhlasim, ale presto bych rad podotknul, ze to neni muj pripad, i kdyz chapu, ze z titulku to tam mohlo vyznit. Myslim, ze i jako admin mam stale dost prostoru pro zlepsovani a potom muzu teoreticky vest tym adminu (a stale jim i byt) a potom kdo vi - treba zalozit svou firmu a delat na necem svem. Pointa tohoto zapisku je ta, ze ted jsem spokojeny. Rozhodne si nepripadam jako clovek s nizkymi cily. Kdyz se podivam kolem sebe anebo na libovolnou statistiku, tak vidim, ze se vubec nemam spatne a to je teprv zacatek. Vzdyt je mi teprv 24 let. Ale pravda, Zuckerberg byl v tomhle veku uz za vodou, stejne jako mistni anonymni chytrolini

[Aleš Kapica]

Smiř se s tím, že tím co děláš ses přehoupnul do skupiny lidí, jejichž pracovní náplň má většina lidí problém vůbec pochopit, natož ocenit. A to bohužel i na tomto webu.

[pavlix]

Já mám taky problém pochopit a ocenit náplň práce většiny lidí, takže v tom nevidím až takový problém. :)

[Aleš Kapica]

Jistě. Ale jsou jedinci a myslím, že je ani není nutné jmenovat, co tento problém mají. A jejich diskuzní příspěvky nejsou ani k věci a bohužel ani nepobaví - jenom vyprudí. A když se k tomu přidají existence, jejichž výskyt na tomto webu už vůbec nechápu, tak je výsledem diskuze kterou ani nemám chuť číst - byť by byla k jinak celkem zajímavému blogpostu.

[_]

Snad mi něco ušlo, ale Vaše příspěvky se taky nesetkávají s nadšením.

[Aleš Kapica]

Zato nad vašimi davy jásají.

[_]

:-P já tu nejsem kvůli tomu, aby jste nade mnou jásal, Vy jeden dave

[Aleš Kapica]

Asi mi něco uniklo, ale mně váš příspěvek k popukání nepřipadal.

[Bystroushaak]

Někdy si říkám, že by nebylo od věci prostě zavést diskuzi jen pro registrované uživatele. Tahle retardace by sice nezmizela, ale alespoň by člověk už podle nicku věděl kdy nemá smysl plýtvat čas další diskuzí.

[Aleš Kapica]

Tak pokud vím, tenhle nápad se tady už několikrát objevil, ale nikdy nebyl realizován. Škoda.

[trekker.dk]

Byl. Nejsem si jistý, jestli pod blogy, ale pod zprávičkami určitě. Pak se to zrušilo, protože si blbci prostě zakládali účty a nikomu se asi nechtělo to dál řešit třeba přidáním omezení podle skóre. (A kdoví, jakou roli v tom hrály příjmy z reklam, protože se zobrazují i trollům.)

[Bedňa]

Ja som podobnú fjučúra nahlásil pred rokmi ako bug, teda aby som nevidel neregistrovaných a pokiaľ si pamätám vyzíval som tunajšiu komunitu aby hlasovali za bug.

Na druhej strane som tu roky chodil ako neregistrovaný a registrácia by sa minimálne nemala dotknúť poradne, pretože to je linka prvej pomoci a spravidla tam nebýva HATE, hoci niekedy ... ale to sú známe výnimky a poznáme ich.

[Bystroushaak]

Mě v principu nevadí neregistrovaní uživatelé, vadí mi že prostě nevím, s kým se bavím a druhá strana toho pak zneužívá. Kdyby tam alespoň byla vidět IP adresa, nebo její hash, tak by mi to pomohlo prostě některé příspěvky filtrovat rovnou, bez toho abych je musel číst.

[Fluttershy, yay!]

4chan hadra.

[Michal Kubeček]

To je naivní představa. Ze zkušenosti (jeden chat jsem dost dlouho provozoval) vás mohu ujistit, že dostatečně umíněného trolla (a obávám se, že pár takových tu je) to akorát přiměje začít používat anonymizéry.

[Bystroushaak]

Tak samozřejmě. Bavím se o tom abych ty sračky nemusel číst, ne o dokonalém systému.

[sad]

Protože založit si víc účtů nejde... ty jsi koumák

[Bystroushaak]

Nic takového jsem ani nepsal, ani neočekával. Zkus vytáhnout hlavu z prdele a číst co vlastně píšu. Třeba pak přestaneš mít problém se čtením nesmyslů mezi řádky, na které tak idiotsky reaguješ.

[sad]

Jak se čertí, blbeček

[Bystroushaak]

Ano, děkuji. Teď když máme praktickou ukázku za sebou bych se rád vrátil zpět k původní myšlence;

Osobně mi přijde nejrozumnější nechat moderaci přímo na autorech blogů, protože jsou to ostatně oni, kdo tu generuje prostor pro diskuze ostatních.

[sad]

Jo, ukazuje to, jak chce uražený nedomrdlý fašoun s mlékem na bradě nadávat ostatním tak, aby neviděl jejich reakce. Zbabělé, tohle tu ale neprojde.

[Bedňa]

Neviem či ti to dochádza, ale sám potrdzuješ anonymnú lúzu. Sám by som bol za úplnú demokraciu bez obmedzení, ale vidíš ako to dopadne keď sa prostý ľud dostane k technológiam ktorých význam nechápe.

[sad]

Jako známý představitel registrované lůzy naopak celou svou myšlenku redukuješ na mokrý sen

[Bedňa]

Vždy sme si nakoniec tie rozpory nejak vydiskutovali. S mnohými som časom naviazal aj kontak mimo portál. Jako niesom anielik, samozrejme to dobré mi nikto do oči hádzať nebude. Jaké je jednoduché si na mňa kliknúť a prelustrovať si ma že?

[sad]

Pointa je, že registrovaní tu nejsou žádní svatoušci, vždyť je to tu jeden psychopat vedle druhého. Navíc, kdo si jako myslíš, že tu vystupuje pod neregistrovanými nicky?

[Bedňa]

Tak nejak už prehliadam to zlé a už si z toho vlasy netrhám.

Rád by som si s Bystroushaakom, alebo tebou len tak sadol cez víkend na chate, otvoril slivku a na papier by sme si písali prečo nejaký jazyk stojí za hovno, alebo že v tých jazykoch až také rozdiely niesú ako sa to bežne hejtuje. Tak to by som fakt rád. Hoci pri s....md sa niekedy neudržím, ale aj to už minimalizujem.

[petr_p]

Skrývání příspěvků funguje i na neregistrované.

[Bystroushaak]

Jenže je to k ničemu, když můžou libovolně měnit nick. Nehledě na to, že občas sem někteří registrovaní členové píší pod neregistrovaným nickem a pak se za ně trolové vydávají.

[Bystroushaak]

vidim, ze se vubec nemam spatne a to je teprv zacatek. Vzdyt je mi teprv 24 let

+1 za odvahu tohle říct veřejně.

Poslední dobou mám podobný pocit. Chvíli jsem taky přemýšlel, že bych si na tohle téma zablogoval, ale nakonec jsem na to nenašel odvahu. Přijde mi, že tohle lidi neradi vidí. Jakože .. třeba na základce jsem se naučil, že je lepší říkat, že je všechno a všichni nahovno, od učitelů po politiku. Říct, že mám hromadu peněz k utracení, jsem zdravý, mladý a mám se skvěle, to mi přijde, že prostě nejde, i když je to třeba zrovna pravda.

[David Watzke]

Jakmile napíšeš, že jsi spokojenej, tak se spustí lavina, protože to nespokojený lidi rozčiluje. To mě ale na abclinuxu už nezaskočí. Ale všimni si, že můj zápisek má 100% hodnocení (21 upvotes), přičemž hodnotit můžou pouze registrovaní. A závistiví anonymní trollové nemůžou hodnotit, takže žádné downvotes. Je tedy stále vidět, že to není tak zlý, akorát ti negativní jsou vždycky nejvíc slyšet

Já si představuju co asi musí být zač člověk, který trolluje 24letýho kluka za to, že je admin a spokojí se s málem. V žádný z mých představ to není někdo úspěšný. Už vidím třeba Kellnera, jak má podobný starosti Trollovat adminy ve fórech. Haha.

[melkors]

Nebrec, to prejde

[vyhodny_vychodniar]

Ine priority? To by som bral, keby pracu robil len kvoli penazom a inak sa venoval napr. rodine. Lenze on tu doslova strieka od stastia ,ze robi admina. A preto MA nizke ciele. Ja sa nikoho nechcem dotknut, nepisem ,ze na lepsie nema. Len nechapem preco niekomu vyhovuje ostat dole ,ked sa moze pohnut vyssie.

[Josef Kufner]

Ono ne pro každého je korporátní RPG kdoví jak lákavé. Pokud chce dělat, co ho baví, tak nemá smysl lézt v hierarchii nahoru, neboť na vyšších pozicích bude řešit administrativní blbosti a ne to, co ho baví. Navíc tahle hierarchie není jediná možnost, jak se rozvíjet a růst.

[hypvofxy]

Prispevek postrada pouze nekolik drobnosti, po jejichz doplneni zacne byt alespon okrajove (*1) relevantni:

• kdo jsi
• co delas
• proc to delas
• co je ti kurva do toho, co dela on

*1: Bez ohledu na to kdo jsi, co delas, proc to delas a co je ti do toho, si on muze delat co chce, proc chce a ze je s tim spokojeny je jen dobre pro nej.

[vyhodny_vychodniar]

To by si chcel vediet STBacik co? Na ten druhy bod si odpovedaj s tym svojim stvrtym bodom. Na miestny plankton ako ty uz nebudem reagovat.

[Mrkva]

Proc si myslis ze byt admin je nejaka nizka pozice?

[Aleš Kapica]

To si většinou myslí ten kdo to nedělá. A většinou do chvíle než se něco posere. Takže nic nového pod sluncem.

[Michal Kubeček]

Pro někoho, pro koho je jedinou představou kariérního růstu šplhání v hierarchii, to může být obtížně pochopitelné, ale někdo prostě nechce vést tým, ať už proto, že by ho to nebavilo, proto, že si uvědomuje, že se na to nehodí, nebo z obou důvodů současně.

Nikde není psáno, že za pár let se na to nebude dívat jinak a nezačne ho zajímat něco trochu jiného. A i kdyby ne, i jako systémák se může pořád odborně vzdělávat a učit nové věci (nebo by spíš měl, bez toho se ta práce pořádně dělat nedá).

To, že je v určitých kruzích zvykem se na některé pozice (kromě adminů to bývá třeba support nebo QA) dívat s patra, neznamená, že ta práce musí opravdu být nezajímavá, nekvalifikovaná nebo jinak podřadná. Takový pohled svědčí spíš o nedostatečném rozhledu a ignoranci toho, kdo takové odsudky hlásá.

[xkucf03]

Pro někoho, pro koho je jedinou představou kariérního růstu šplhání v hierarchii, to může být obtížně pochopitelné, ale někdo prostě nechce vést tým, ať už proto, že by ho to nebavilo, proto, že si uvědomuje, že se na to nehodí, nebo z obou důvodů současně.

+1 Ono většinou ani nejde dělat oboje – zvyšovat si odbornost a vést lidi. Je to sice taková hezká představa, že na nudnou práci budeš mít lidi a to ti uvolní ruce pro něco zajímavějšího… jenže pokud ti lidé nepracují sami od sebe, tak žádný volný čas nezískáš, ale naopak ztratíš, protože ho budeš trávit byrokracií, administrativou a režií spojenou s mezilidskou komunikací. Být manažerem bohužel znamená stagnaci (a dlouhodobě propad) v odborném směru.

Fungovat to může, když jsou ti kolegové na stejné úrovni ve formální hierarchii a ty je něco naučíš a předáš jim část svojí práce, ale nemusíš je vést/řídit a nést za ně odpovědnost.

[melkors]

"... někdo prostě nechce vést tým, ať už proto, že by ho to nebavilo, ..."

Presne. Vyzkousel jsem si to a hrube me to nebavilo. Administrativa, porady, lejstra, lejstra, lestra, ...

[Grunt]

Pro někoho, pro koho je jedinou představou kariérního růstu šplhání v hierarchii, to může být obtížně pochopitelné, ale někdo prostě nechce vést tým, ať už proto, že by ho to nebavilo, proto, že si uvědomuje, že se na to nehodí, nebo z obou důvodů současně.

Já taky tu fascinaci naprosté většiny mého okolí furt někomu šéfovat místo toho aby něco užitečného dělali nikdy nepochopil. Osobně bych teda tisíckrát víc ocenil kdybych mohl dělat něco co umím a co mě baví aniž by mi do toho furt někdo kecal/šéfoval (a neměl z toho profit ) než abych furt ostatním říkal/ukazoval co mají dělat. Ono je to spíš prostě další z fetišů korporátního světa bez jehož existence si někteří jedinci ani svůj život představit nedovedou.

[Michal Kubeček]

A to já nemám problém pochopit a ocenit užitečnost dobrého manažera (na kterékoli úrovni toho stromu) a nemám problém s tím, že někoho naplňuje tato forma kariérního růstu. Problém mám jen s tím, když někdo nechápe, že to tak nevnímají všichni.

[Bystroushaak]

Ine priority? To by som bral, keby pracu robil len kvoli penazom a inak sa venoval napr. rodine. Lenze on tu doslova strieka od stastia ,ze robi admina. A preto MA nizke ciele. Ja sa nikoho nechcem dotknut, nepisem ,ze na lepsie nema. Len nechapem preco niekomu vyhovuje ostat dole ,ked sa moze pohnut vyssie.

Ona existuje nějaká lepší práce, než když ti dobře platí za to co tě baví? Co je u tebe „pohnut vissie“? Dělat manažera? CEO? Ředitele zeměkoule? Věnoval spoustu času a námahy, aby se naučil co umí a teď tu práci dělá. Pokud ho to naplňuje, těžko se můžeme bavit o existenci pro něj subjektivně lepší práce. To jsou jen tvoje projekce vlastního žebříčku priorit do někoho jiného.

[Fluttershy, yay!]

To mi přijde jako lajdáctví…

Dělat manažera? CEO? Ředitele zeměkoule?

Konzultanta?

[Bystroushaak]

To je lepší než ředitel zeměkoule?

[pavlix]

Ty bys chtěl šéfovat mimojiné i všem těm trollům? :D

[Fluttershy, yay!]

Ředitel/manažer/… jsou populární slamění panáci.

Konzultant může být náplní zaměstnání mnohem blíž technické pozici.

[Aleš Kapica]

Před patnácti lety jsem v podstatě konzultanta dělal. Jenže placen jsem nebyl za konzultace, ale odvedenou práci. A začalo to drhnout přesně v okamžiku, kdy najali typka co práci za kterou jsem byl placen začal dohazovat svým kamarádům. Dva měsíce jsem to překlepal, protože visela ve vzduchu velká zakázka. Pak jsem je hodil k ledu.

Na to aby někdo mohl dělat konzultanta je třeba mít odhad a také určitou míru drzosti, o jakou sumu peněz si říct. Tam co jsem byl tenkrát to fungovalo tak, že za mnou přišli s konkrétní částkou. A buď se mi zdála odpovídající, nebo ne. V takovém případě ji klientovi navýšili. Ale to bylo závislé na objemu práce kterou jsem s tím měl. Dotyčný měl pocit, že tyhle cenové odhady budu dělat dál a žít zřejmě že vzduchu.

[Tomáš Vyčítal]

kdyz jsem byl maly, tak jsem cetl podobny clanek myslim v Rudem Pravu. Psala ho jakasi mlada dojicka krav z nejakeho pohranicniho JZD a bylo to jak pres kopirak s timto blogem.

Uz tenkrat jsem vedel, ze smyslem tehdejsiho clanku byla propaganda aktualniho socialistickeho systemu.

Smysl tohoto blogpostu mi unika.

[pavele]

Mě by spíš zajímalo, jak řeší dobrý spánek při té zodpovědnosti, že se něco pokazí.

[David Watzke]

Samozřejmě děláme na tom, aby se nic pokazit nemohlo (do míry, jak to jen lze), dále na tom, že když už se to pokazí, ať se to dozvíme hned a ať to ovlivní co nejmíň věcí. A v takovým případě prostě jdeme a opravíme to. Normálka. Pořád je to "jen" IT a nejde o životy. U nás se neukazuje prstem, když se někomu něco nepovede, prostě si z toho vezmeme ponaučení a zkusíme tomu předejít pro příště. Pochopitelně jsou citlivé systémy, při jejichž údržbě je nutné být maximálně opatrný, ale to začneš dělat ráno někdy začátkem týdne a než skončí pracovní doba, tak stihneš vyřešit případný problémy a odcházíš, když je vše OK.

[pavele]

A když máš dovolenou?

[David Watzke]

Když mám dovolenou, tak nemám co pokazit Každý projekt má někoho, kdo se o něj stará primárně a pak ještě sekundárního admina - musí tam být samozřejmě zastupitelnost, byť ne úplně 100% (např. neočekává se, že někdo bude provádět upgrade hadoop clusteru, když mám dovolenou). A pohotovost si vezme někdo jiný.

[pavele]

Tak to máš dobrý, asi si budu muset taky sehnat sekundárního admina.

[David Watzke]

Není nás sice tolik, kolik by se nám líbilo, ale fungování infrastruktury nelze založit na tom, že se o nějakou komponentu stará pouze jeden člověk - na to se dříve nebo později hodně tvrdě doplatí, to je jasný. A jak si takový člověk odpočine (vezme dovolenou), to mi není jasný. To je stejný jako single-instance vs. HA u softwaru Dbáš na to, abys nikde neměl SPoF.

[pavele]

Takový člověk odpočívá tak, že je na telefonu a každý den u bazénu na ostrově kontroluje na notebooku, jestli všechno běží OK. Problém je, když si takový člověk zapomene nabíječku na notebook. Nejsou zdroje... Ještě že existuje HA.

[David Watzke]

Pobavilo. Věřím, že dojička krav měla hodně starostí s tuningem TCP stacku.

Smyslů je několik: primárně mě baví občas se vykecat. Nikdo to číst nemusí, ale vím, že jsou lidi, co si to rádi přečtou - přinejmenším známí. Dále: v minulosti jsem napsal blogpost, který teď nejsem schopen dohledat, pojednávající o tom, zda platí programátor > admin. Teď se domnívám, že to vyústí v TypeError, protože to nelze srovnávat a obojí lze dělat pořádně anebo naopak flákat. V tomto postu popisuju, že jsem velmi spokojen s tou cestou, kterou jsem se vydal, protože to zahrnuje mnohem víc věcí než jsem si kdysi představoval. Ale jak je vidět, když se někomu daří a nenechá si to pro sebe, vždycky to někoho pobouří, znechutí anebo fascinuje a nutně za tím musí být nějaký zlý úmysl.

[Fluttershy, yay!]

Pobavilo. Věřím, že dojička krav měla hodně starostí s tuningem TCP stacku.

Buď vkládám do předřečníka příliš velká očekávání, nebo jsi vůbec nepochopil, na co narážel.

Totéž se dá říct o komentáři (podepsaném SonnyMafiaBoy) výše: buď je to klasické povyšování se (viz „lopaty“ na Rootu), nebo naopak narážka na přeceňování kariéry.

[David Watzke]

Já vím, že tu podobnost myslel jinak, jen jsem si z toho vystřelil - právě proto, že lidi, co se podobně povyšují, neberu vážně. A kariéru nepřeceňuju, jen jsem napsal, že mám svou práci rád a to bohatě stačilo k popuzení hned několika závistivců.

[Fluttershy, yay!]

Já nevím, jak to který z nich myslel, ostatně jsme na internetech, ale pokud to nebyl trolling, dovedu si představit, že by z toho tvého blogísku mohla na někoho dýchnout yuppíkovská kultura.

[dementni.lojzik]

jsem se stal hlavním správcem několika středně velkých výpočetních clusterů (50-150 serverů)

nechces nekdy sepsat nejake problemy, co musite resit (napr. jak se to chova pri split brainu, jestli se vam to nekdy stalo a pod.) a pripadne, pokud pouzivate i Spark, jestli je z pohledu administratora Spark vyrazne nachylnejsi k problemum nez Hadoop? Diky

[David Watzke]

No, je fakt, že bych mohl udělat nějaký reboot svého blogu, ale podobné poznatky by asi bylo užitečnější psát v angličtině. Na druhou stranu ale nemám moc času. Už takhle nestíhám všechno, co jsem si nasázel do osobního TODO, natož kdybych po práci ještě shrnoval co jsem tam dělal :)

Split brain jaké komponenty máš na mysli? U HDFS se to pokud vím stát nemůže, pač journalnody (JN) dohlíží na to, že pouze jedna namenode (NN) zapisuje. A JN zase fungují pouze když mají quorum, jinak smůla. A nevzpomínám si, že bych to u nějaké komponenty musel řešit. Spark (na YARNu) používáme dlouho a zezačátku trpěl řadou dětských nemocí a postupně se to zlepšuje, ale je znát, že na běh pod YARNem nebyl od začátku navrhovaný. Ještě donedávna měl dost zásadní problémy s preempcí a ani poslední verze není úplná hitparáda, co se bugů týká, ale dá se to provozovat. A rychlost (oproti Hive) se tomu upřít nedá.

[xkucf03]

Na druhou stranu ale nemám moc času. Už takhle nestíhám

Hodně lidí píše blogy i jako poznámky pro sebe – když už na něco přijdeš, tak abys to nemusel objevovat příště znovu. Navíc veřejný blog má tu výhodu, že se k němu dostaneš odkudkoli a ani se nemusíš nikam přihlašovat (což neplatí pro různé soukromé poznámky a soubory na disku). Už několikrát se mi to vyplatilo (blog, zdrájáky…).

[dementni.lojzik]

Split brain jaké komponenty máš na mysli?

cely system jako celek (teda, mel jsem na mysli hlaven ZooKepper - tam je taky quorum, takze teoreticky by to taky melo v pohode, ale chovani v praxi je druha vec

[David Watzke]

Se ZooKeeperem obecně nemáme problémy (a používáme ho nejen pro Hadoop, ale i pro zmiňované Kafka clustery) - teda jednou ho rozesíral HiveServer, když neuzavíral spojení, ale to jsme nějak vyřešili a nahodili na to monitoring, abychom to zjistili dřív, kdyby se to objevilo znova.

[Aleš Kapica]

Já bych s tím problém měl. Je to javě.

[David Watzke]

Nevím nakolik trolluješ, ale já jsem na Javu takhle v minulosti taky držkoval (a myslel to docela vážně). To tě ale docela přejde, když poznáš hadoop anebo jestli si z mýho zápisku pamatuješ zmínku o 1,5 milionu TCP spojení per server - tak to handluje náš backend napsaný v javě Nepadám z javy na zadek, to ani omylem a nic svého bych v ní za normálních okolností nepsal, ale musí se nechat, že svý přednosti má (ale nebudu se teď obtěžovat s jejich vyjmenováváním, dokud nevím, jestli jsi to myslel vážně).

[Aleš Kapica]

Netrolluji. Myslím to smrtelně vážně. Uvažoval jsem o vyzkoušení zookeeperu v souvislosti s Sheepdogem, ale jak jsem viděl co všechno si to hodlá sebou přitáhnout, tak jsem to ihned zavrhnul. Corosync je mnohem subtilnější. Mimochodem z hlediska výkonu - alespoň podle různých testů na které jsem narazil je na tom hadoop v porovnání s technologiemi co používám dost bídně. A víceméně mi to potvrdily i zkušenosti bývalého kolegy co s ním byl nucen pracovat v jedné korporátní firmě.

Slyšel jsem, že existují i pěkně napsané aplikace v javě, ale jaksi jsem se v reálu s nimi moc nesetkal. Teda.. pokud nepočítám synátorův oblíbený Minecraft

[David Watzke]

Co s sebou zookeeper tahá? Vždyť je to jedna appka, která běží v JVM.

Oproti čemu je na tom hadoop bídně? (Neříkám, že neexistuje nic výkonnějšího.)

[Aleš Kapica]

No tu javu přeci.

Jen tak na první ťuk nalezené srovnání HDFS (Hadoop), GlusterFS a Ceph.

[cezz]

Inak v tom porovnani si hdfs nevedie az tak zle. Cele by som to bral trosku s odstupom, lebo napr. Gluster je naozaj pomerne vykonny s jednym velkym suborom, (testovali na 10GB subore v oboch pripadoch) ale vela malych suborov mu robi problemy.

[Aleš Kapica]

Já vím Je to dané tím, jak to interně funguje.

Co mne v tom srovnání poněkud překvapilo, byl výkon toho CephFS - čekal jsem, že bude lepší. Nakonec si říkám, jestli by nakonec nebyla z hlediska výkonu nejlepší kombinace Sheepdog (nebo Ceph) + Ocfs2. Nebo něco takového. Bohužel na nějaké testování nemám k dispozici dostatečný počet strojů.

[David Watzke]

Srovnává to tam s nějakou pravěkou verzi hadoopu a ještě se tam přiznává, že z ní nečte nativně, ale přes fuse mount. K tomu není třeba nic dodávat.

[David Watzke]

A ještě co se týče té propostnosti HDFS: pokud nemáš mezi rackama 40+ Gbit/s propoje (přesné číslo se odvíjí od vícero faktorů, např. množství dat per server, rychlost úložistě a propojů mezi servery v racku), tak tě bude omezovat vlastní infrastruktura a ne výkon HDFS. To mám vyzkoušené.

[xkucf03]

No tu javu přeci.

A co aplikace psané v Pythonu, Perlu, Ruby, PHP, Erlangu…? To fakt provozuješ jen věci psané v C/C++ a s minimem knihoven?

[Aleš Kapica]

Většinou jo. A když už, tak většinou jsou jejich obslužné utility napsané v pythonu. Ovšem nejsou to žádné molochoidni aplikace. Openvswitch, corosync, pacemaker, qemu, sheepdog, glusterfs, nfs-ganesha. To je tak v kostce vše.

[Aleš Kapica]

Víš, tvůj pohled je logicky ovlivněn tím, že jsi naskočil do vlaku, který roztlačil někdo jiný. Děláš s tím dnes a denně a tak předpokládám, že moc zkušeností s něčím si ani neměl kde získat. Navíc je něco jiného provozovat distribuovaný systém na desítkách až stovkách strojů a něco jiného na pár strojích, kde ti jak sláma z bot vyleze každý blbě navržený kus kódu.

[cezz]

V tomto som zajedno s Davidom. Blbo navrhnuty kus kodu sa da urobit v kazdom jazyku. Ja tiez javu moc nemusim (zvlast nie na desktope) ale na serveroch s nou nemam az taky problem. Napriklad taky Elasticsearch, alebo Logstash - vsetko bezi na jvm, ale ked je ten kod dobre napisany, tak to na vykone nepoznas.

[Aleš Kapica]

Chlapci já vám to neberu. Pro mne vždy znamenaly aplikace v javě jen komplikace a problémy, které bylo nutno řešit. Proto se jim snažím vyhýbat.

[cezz]

Za to "chlapci" ta rad pozvem na pivo.

[Aleš Kapica]

Beru. Žel Žilina je pro mne aktuálně krapet z ruky. 8-/ Tak někdy v Praze - vždy připraven!

[Radek Miček]

split brain jaké komponenty máš na mysli? U HDFS se to pokud vím stát nemůže, pač journalnody (JN) dohlíží na to, že pouze jedna namenode (NN) zapisuje. A JN zase fungují pouze když mají quorum, jinak smůla.

Nejsem žádný expert na HDFS, ale to, co zmiňujete, IMO nepomůže, pokud quorum není nadpoloviční většina všech serverů, co máte. A takové quorum se IMO nepoužívá, neboť to vede ke špatné dostupnosti systému (pokud například máte dvě identické serverovny a jedna vám vypadne, tak jste ztratil quorum).

A pokud je quorum polovina serverů nebo méně, tak už vás to před split brainem nezachrání - například se rozpadne spojení mezi dvěma serverovnami a namenode pojede v každé z nich zcela nezávisle.

[jozka]

Zivis se tim, co te bavi? Jsi stastny clovek. Neni moc lidi, co to takhle maj. Pak se i stresy a nasery zvladaj lip.

[Bedňa]

Čo dodať, pekný blog a úprimne som rád že sa ti tak darí.

[byvaly_admin]

Tak to ti přeju, že děláš zajímavou práci. Važ si toho. Mě okolnosti donutily nechat se najmout jako programátor v jedné německé firmě a je to již několik let trvající tragédie ... Společnost, pro kterou jsem před tím pracoval, pobočku zrušila a nic jiného tady u nás není...
Protože už mám rodinu, nemůžu se jen tak sebrat a odejít do Prahy nebo Brna. A tak dělám práci pro cvičenou opici, plnou byrokracie - to je takový německý bonus.
No, snad to ještě někdy změním, abych se každé ráno nemusel přemáhat do té pakárny jít...Ještěže aspoň pravidelně a poměrně dobře platí :-/

[Venda]

v jedné německé firmě

Nemecko je velmi siroky pojem. Ta zeme je velika a nakonec i u nas jsou jiz znacne regionalni rozdily. Tim spise tam. S jakymi Nemci 'bojujete' konktertne.

[⧠ A = 0]

+1

[⧠ A = 0]

Protože už mám rodinu, nemůžu se jen tak sebrat a odejít do Prahy nebo Brna.

To je ale hloupá racionalisace. Rodina není nemovitost.

[Michal Kubeček]

Obecně ne, ale zrovna tak není pokaždé pravda, že manželka se může (a nebo chce) jen tak sebrat, nechat práce, kterou má, a hledat novou jinde. Ani u dětí to není nic příjemného.

Doba přeci jen trochu pokročila od starozákonního "XY s dvaceti ženami, padesáti velbloudy a sto otroky".

[⧠ A = 0]

Ano, ale vždy je to o nalezení kompromisu – pakliže se jeden cítí na daném místě nespokojen, měli by oba zkusit najít cestu, jak z toho. Děti stěhování snášejí snad ze všech nejlépe, alespoň ty předškolní. U starších to problém být může.

[⧠ A = 0]

(Pro mne osobně je spíš málo pochopitelné, že by se někdo chtěl stěhovat do toxické stoky jménem Praha. Ale každému, co jeho jest.)

[Aleš Kapica]

Ajaj. Severní vítr je krutý. Asi ti krapet přifouknul mozkové závity. Já mám teda o pojmu "toxická stoka" trochu jinou představu.

[⧠ A = 0]

Nadsázku znáš? Nicméně naprosto vážně: kvalita ovzduší je v Praze objektivně mnohem horší. Od té doby, co jsem z Prahy pryč, nemám (s nímž jsem měl problémy celoročně; dcera podobně, nicméně u ní bylo ještě třeba omezit mléko ve stravě) a sezonní alergie je mnohem mírnější (což se dá ovšem přisuzovat i jiným vlivům, jako je skladba místního rostlinstva).

[Michal Kubeček]

kvalita ovzduší je v Praze objektivně mnohem horší

Tahle věta nedává smysl. Slovo "horší" slouží k porovnání dvou hodnot, takže by bylo potřeba říct, horší než kde to má být. A určitě by se našla místa, pro která by to pravda nebyla (možná i právě to, které má Aleš Kapica napsané v profilu).

[Aleš Kapica]

Tak ono to je silně relativní. V Ostravě jsou oblasti, kterým vy označení "toxická stoka" plným právem náleželo (hlavně ty severně od fakriky okupované tím indickým lupičem), ale také oblasti, které by mohly směle konkurovat tomu Finsku. Pokud jde o Prahu, tak tam vytvořili takové "toxické stoky" chytráci, co je napadlo táhnout hlavní tahy středem města. Ale Praha, to není jen okolí hlavních tahů.

[⧠ A = 0]

Bydlel jsem většinu času v Bohnicích, i tam to bylo například s prašností horší než v kterékoliv části Helsinek, které znám (můj dojem, neměřil jsem).

[⧠ A = 0]

Kdyby stála samostatně, vskutku by smysl nedávala. Nicméně z kontextu je zřejmé, že srovnávám Helsinky.

[Aleš Kapica]

Tak je pravda, že Helsinky na tom budou z hlediska prašnosti každopádně lépe než jakákoliv středoevropská lokalita.

[Jendа]

Pro mne osobně je spíš málo pochopitelné, že by se někdo chtěl stěhovat do toxické stoky jménem Praha.

Za mě:

• Je tu matfyz.
• Je tu hackerspace.
• Je tu práce.

[pavlix]

A je tam relativně čistý vzduch a dobrá voda. Člověk nesmí dát na pověry, musí si to vyzkoušet.

[⧠ A = 0]

Jo, to je pochopitelně dobrý argument pro ty, kteří mají výraznější vazbu na ČR (taky jsem se stěhoval do Prahy kvůli matfyzu), ale předřečník dělá v BRD, a tam je tebou uvedené na mnoha místech.

[Honz]

Chtělo to větší výzvu
Klkasický zmrdspík...

[cezz]

Chtělo to větší výzvu
Klkasický zmrdspík...

Klasicke krcmove reci.

[JiK]

to je ten borec co dela v mekaci?

[David Watzke]

Prosím?

[Bedňa]

Evidentne si ťa pomýlil s udérníkom z Mekáča.

[Richard]

ty voe, to je od tebe prvne po 10 letech zase jedna rozumna otazka.

[Mrkva]

Rozesmalo. Ale ne, ten ma blog tady

[Dušan Hokův]

Dalsi zapisek bude o tom jak se ti dva potkali v mekaci.

[Petr Tomášek]

Kafka clustery

To zní hrůzostrašně, ještě že nevím, o co jde

[David Watzke]

Není to tak zlý. Je to HA fronta zpráv. Posíláš si tam zprávy (třeba z nějakého client-facing backendu - říkejme mu X) a jinde je zase vyčítáš. Např. nechceš ládovat data přímo z X na HDFS, protože když pak potřebuješ odstavit HDFS, tak ztrácíš data (anebo musíš X překonfigurovat, ať dočasně láduje data do jiného clusteru). Navíc ti to dává možnost zpracovávat data z více míst najednou - např. jeden konzument překydává data do HDFS a jiný dělá real-time analýzu. Je to celkem fajn záležitost.

[xxx]

No nevim. Mit pod palcem jeden z nejvetsich botnetu je asi fajn. Jenom by mne trochu mrzelo, ze jeho ucelem je distribuovat data pro takovou zbytecnost jako antivir.

[David Watzke]

Většina lidí používá Windows a tam antivirus zbytečnost není. Zrovna tak třeba detekce malicious apps na mobilech - to se pro běžný usery hodí.

[xxx]

No pokud si ta vetsina lidi neumi odpustit to, ze spusti kazdou picovinu co najdou, nebo jim vyskoci v browseru, pak ano.

No a ten vas bazmek pro mobily mi ani nepripominej. Jeho samovolna a nechtena instalace diky vykradenym cookies z browesru me dovedla k nazoru, ze jediny rozdil mezi normalni malicious app a antivirem je ten, ze u antiviru clovek souhlasi s tim, ze mu bude skodit v licencnich podminkach.

[Jendа]

Já vidím jediný užitek antiviru v tom, že mi nestačí vygenerovat metasploitem defaultní payload, ale musím použít trochu kreativity (přičemž na internetu se povalují příklady, kdy stačilo pro obejití antiviru i něco tak triviálního jako přexorovat konstanou atd.). Užitečnost této funkce mi přijde sporná a nezáleží na tom, na jakém OS antivir běží (kromě pár extrémů typu QubesOS). Uchází mi něco?

[Radek Miček]

Navíc se může stát, že antivirus obsahuje chyby, jenž naopak bezpečnost systému snižují.

[KOLEGA]

Ahoj,

Mně se tvůj blogpost líbí. Lidi jsou málo spokojený s tím, kde jsou a vlastně se trochu zbytečně stresujou ... Já jsem lama na školu jsem sral a teď studuju dálkově a dělám "hloupého" učitele + (živnostník), ale jsem šťastnej ... Nemyslím si, že ucim špatně a hrozně mě to baví ... Někdo to bere jako totální neúspěch, já jsem strašně šťastnej člověk (vím že to není na furt, ale teď jsem prostě šťastnej)

[Leoš Literák]

super, jsem rád, že se ti daří