Vlastimil Pečínka o IT v Seznamu

16. 6. 2008 | Robert Krátký | Rozhovory | 6108×

Vlastimil Pečínka v rozhovoru popisuje například interní IT oddělení Seznamu, důvody pro používání distribuce Debian na serverech, výběr linuxového jádra pro produkční systémy a projekt SeznamFS.

Vlastimil Pečínka

1) Představte se, prosím, čtenářům. Co v Seznamu děláte a jak a kdy jste do Seznamu přišel?

Věřím, že o mě již čtenáři AbcLinuxu něco četli. V Seznamu v současnosti pracuji na pozici technického ředitele, tj. pozici, která má na starosti řízení celého IT oddělení. Jsem původem a srdcem vývojář, profesionální dráhu jsem začal v Brně v ATC, s. r. o. Ta je nejvíc známá asi díky Email.cz, který jsem vyvíjel a provozoval, prsty jsem však měl i v dalších projektech. Po osmi letech jsem v roce 2004 přešel do Seznamu pracovat v týmu Štěpána Škroba na zbrusu novém fulltextovém vyhledávači. Díky Štěpánovi a inspirativní práci na tomto projektu jsem se v Seznamu rychle uchytil.

Zhruba po roce došlo k restrukturalizaci vývoje a já se ujal nabídnuté pozice senior programátora týmu, který měl na starosti email, registrace a homepage. V té době vznikl webmail v podobě provozované dodnes, Seznam koupil Email.cz a Post.cz a zaintegroval je nebo vznikla první dynamická homepage Seznamu. Díky Ondrovi Procházkovi, tehdejšímu šéfovi vývoje, a systému manažerského vzdělávání v Seznamu to byl pro mě silně akcelerující rok z hlediska zkušeností.

Za další rok došlo k další reorganizaci, tentokrát se to již týkalo celého Seznamu. Pavel Zima, do té doby technický ředitel, se stal výkonným ředitelem a vypsal minitendr na pozici technického ředitele. Byl jsem také osloven a minitendr vyhrál. Od srpna roku 2006 tak řídím celé IT Seznamu.

2) A jak vypadá takové IT oddělení Seznamu?

Skládá se z několika pododdělení. Pochopitelně zde najdete vývojové oddělení, resp. dvě taková - jedno v Praze a druhé v Brně. Dále pak provozní oddělení (nazývané Operations) a oddělení helpdesku. Nově zvažuji samostatné testovací pododdělení. Provozní oddělení je strukturou nové, donedávna to byla dvě samostatná oddělení - provoz, který byl zaměřený na naše internetové služby, a podpora a kontrola kvality - zaměřené na interní IT Seznamu.

3) O interním IT Seznamu se moc nemluví. Jak vypadá v takové internetové firmě? Děláte si také vlastní aplikace?

Náplní je určitě podobné obdobným oddělením v jiných společnostech. Některé aplikace jsou naše, některé samozřejmě kupujeme. Kluci z "interního IT" mají tu výhodu, že mohou sdílet know-how a postupy zbytku oddělení, zejména provozu. Ostatně, to byla i jedna z motivací organizačního sloučení obou oddělení.

Seznam.cz má asi 500 zaměstnanců. Nejsou to všichni "ajťáci", je potřeba jim pomáhat s hardwarem i softwarem, obecně je potřeba jim poskytnout IT servis. Tedy podporu a provoz systémů. Těch systémů je hodně, ať již na Linuxu nebo MS Windows. Nyní probíhá projekt implementace centrálního informačního systému, takže hledáme snad poprvé v historii Seznamu i MS Windows administrátory.

4) Tedy nepatříte k Linux či Windows dogmatikům...

To rozhodně ne. Jsem pragmatik. Vývoj a provoz našich internetových služeb je z hlediska možností a svobody rozhodně výhodnější v linuxovém světě. Pro obchodníky, produktové manažery, finanční oddělení a další části Seznamu je však výhodnější jít s mainstreamem. Zde hrají roli i psychologické otázky. Lidé řeší, jestli mají ten nebo ten software, ten nebo ten notebook, apod. Takový obchodník má však svobodu volby, může se klidně pro Linux rozhodnout :).

5) Objevuje se svoboda volby i jinde, např. v tom, v jakém programovacím jazyce programátor píše?

Na to se nedá jednoznačně odpovědět. Podporuji ty, kteří chtějí něco zkoušet, hledat jiné alternativní cesty. Na druhou stranu za ta léta, co Seznam vyvíjí své aplikace, používá především C/C++ a Python. Vše ostatní vybočuje a je z hlediska nákladů a distribuce know-how náročnější. Spíš se svoboda volby projevuje v tom, že je možné zkoušet, adoptovat nebo vyvinout novou technologii a obhájit ji. Například SeznamFS. A taky v tom, v jakém prostředí si vývojář vyvíjí, jakou linuxovou distribuci používá, apod. Výstup je však jednotný - debianovský balíček pro podporovanou verzi distribuce.

6) Takže v provozu používáte Debian?

Ano, v drtivé většině případů je to Debian Etch (64bit, amd64), některé nezmigrované služby ještě jedou dočasně na Debian Sarge (32bit, i386). S 64bitovým kernelem jsme začali experimentovat v době čekání na Etch a pak se rozhodli zmigrovat i naše aplikace. Zejména u některých datově náročných aplikací jsme velmi často naráželi na limit velikosti virtuální paměti. Dnes už není např. problém si namapovat do paměti mnohagigabajtové datové barely a zahodit v aplikacích složitou logiku manipulace se souborem po částech.

Debian nám vyhovuje z hlediska podpory prostředků pro vývoj aplikací a určité konzervativnosti distribuce. To je důležité pro stabilitu výsledného provozního prostředí a omezení výskytu chyb plynoucích z toho, že máte nejnovější knihovny, programy nebo kernel. Na druhou stranu konzervativnost v otázce kernelu je zároveň překážkou, protože ne všechny nové věci v něm nalezneme.

Zdeněk Vlach

7) A jak je to tedy s jádrem v Seznamu?

Opakovaně řešíme otázku, jestli používat distribuční jádro, distribuční jádro s našimi či jinými patchi, případně vanilla kernel s případnými patchi. Aktuálně je situace taková, že si udržujeme dvě verze kernelu. Tzv. hard verze kernelu vychází z Red Hat jádra, je určena pro drtivou většinu strojů a obsahuje pouze nezbytné a ověřené komponenty. Druhá udržovaná verze kopíruje víceméne oficiální vanilla verzi a slouží k experimentům, zkoumáním, nasazením tam, kde potřebujeme využít inovací (algoritmy v kernelu nebo nové drivery).

8) Vaše servery sice běží na Linuxu, ale weby musejí být dobře přístupné i pro uživatele MSIE. Jak se vypořádáváte s chybami a nedostatky tohoto prohlížeče?

Ony jsou to dva rozdílné světy. Svět prohlížečů a svět serverů. Tady žádná překážka není. Samotný MSIE je jeden z několika podporovaných prohlížečů, na kterých naše aplikace testujeme. Naši webmasteři pracují s více operačními systémy, takže mají možnost ověřit si chování a vzhled na všem, co používá drtivá většina uživatelů. Chyby a nedostatky mají všechny prohlížeče.

9) Nedávno jste vydali souborový systém SeznamFS. Podle blogu, ve kterém byl projekt oznámen, to vypadá, že šlo o 'one-man-show'. Jak doopravdy probíhal vývoj a ladění? Jak dlouho trvalo, než byl kód připraven k nasazení?

SeznamFS je v zásadě především dítě Edy Veleby, který jej napsal. Hledali jsme jednoduché a efektivní řešení, jak distribuovat soubory mezi dvěma lokalitami navzájem a v rámci lokalit na více strojů. S tím, aby nebylo třeba řešit kolize. Do té doby jsme používali interní AsapSync postavený na iNotify, ale ten nesplňoval prvky "master-master" replikace a jeho výkon byl žalostně nízký. Diskutovaly se existující distribuované filesystémy, vylepšení AsapSync, něco postaveného na FUSE, ... Pak jednou Eda přišel, že si s tím hrál a má to v podobě plně funkčního prototypu. Dostal prostor to dotáhnout, nechat si otestovat od kolegů v oddělení kontroly kvality a nasadit na Sport.cz. V čistém čase to byla otázka několika dní, procesně se to stihlo odhadem za 3 týdny dostat do našeho provozu a hlav ostatních programátorů.

10) SeznamFS je uvolněn jako opensource. Jaké další opensource projekty máte a jaké plánujete?

Vedle SeznamFS na http://opensource.seznam.cz najdete náš jednoduchý šablonovací systém Teng, dále FastRPC knihovnu middleware, konsoli k FastRPC a XML-RPC serverům, JavaScriptovou knihovnu JAK z dílny našich webmasterů. Dále k nim patří malé knihovničky DBGlog a ConfigParser.

Uveřejňování opensource není nijak plánováno a kalkulováno, je spíš založeno na momentálním nápadu nebo okolnostech. Např. DBGlog a ConfigParser byly uveřejněny, protože jsou prerekvizitou pro SeznamFS.

11) Je používání open source v Seznamu ideologické nebo praktické rozhodnutí?

Především pragmatické. Slovo ideologie se mi nelíbí, protože i proprietární uzavřené systémy mohou mít svůj význam a přínos. Open source je pro nás synonymem pro svobodu volby, možnosti porozumění toho, co přijímáme, možnosti adaptace, možnosti podělit se o naše poznatky. To vše vede k potřebné vnitřní i vnější flexibilitě (ve vývoji, v řešení chyb, ...), která je potřebná, pokud chcete jít v daném oboru odhodlaně za svým cílem. Open source nevnímám jako nic, co by bylo nespolehlivé nebo nestabilní.

12) Které vývojové nástroje používáte? Jak řešíte správu zdrojových kódů? Co používáte pro interní komunikaci?

Pokračování

       

Komentáře

[JohnnyDoe]

Mno, vypada to hezky, ale postavit plysovyho Tuxe vedle NB na kterym bezej windows...

[miso]

Prave to vysvetlil myslim dostatocne

[Vlastimil Pečínka]

:) Dobrý postřeh. V době, kdy to bylo foceno, jsem měl dual boot. Dnes už mi na Kubuntu běží Virtualbox a v něm Windows Visty (zejména kvůli MS Office 2007 - holt manažerština), nemůžu si vynachválit. Chvíli jsme měl VMWare, ale vše bylo pomalé a nenažrané. Virtualbox je v tomto směru (pro mě) asi o 3 řády dál. Mohu vřele doporučit.

[Schmaker]

Nejde mi tak o obsah článku, ten mi moc použitelných informací nedal, jde mi spíš o svobodu volby, o které mluví. Člověk má mít možnost svobodně si vybrat mezi Windows, OS X a různými distribucemi s různými prostředími bez toho, aby ho za to někdo kamenoval. Takže žádný KDE rulezz a Gnome suxx (nebo obráceně :) ) a Linux rulez - Windows suxx... Prostě člověk by si měl svobodně vybrat a fanatismus je jedna z věcí, která linuxovou komunitu špiní.

[lmanik]

+1, linux rulezzzz

[antiseznam]

Asi takto Seznam si hraje na neco co neni. Dostal ohromnou dotaci diky polickym tlakum a tak ho tu mame stale. Me by tedy nechybel. Jsou tu lepsi. Tvrdi, ze se neda koupit poradi v jako vyhledavaci, ale presto byl zverejnen jasny dukaz, ze je tomu naopak. Z chvastani Ivo L. na prednaskach se mi dela zle.

[karotka]

Kromne toho planeho kecani by to chtelo nejake priklady. Politika ???. Jinak zbytecny prispevek, ze by se pisatel dneska spatne vyspal, nebo ho neco hned z rana nastvalo ....?

[antiseznam]

Ano politika, obchod s letadlama, byvali ministr zahranicia apod.

[ludvik]

Zajímalo by mě, jestli zkoušeli GlusterFS. Teď si s tím hraju a jeho AFR mód (automatic file replication) funguje naprosto skvěle. Sice nemůžu posoudit výkon (resp netestoval jsem to, ale na gigové síti míchané s 155Mbit rádiem to subjektivně vypadá jako lokální disk), ale dle jejich testů je vysoký. Jede to nad FUSE.

[edois]

samozrejme zkouseli a ac je na spoustu veci dobry, na nektere veci se proste nehodi. zajimavejsi bude, az tam konecne dodelaji selfheal (ne, tu fintu s findem opravdu jako selfheal neberu, navic kdyz je tech souboru hodne, zacne mi hazet input/output error, ale to bude mozna moje chyba).

[Vlastimil Pečínka]

GlusterFS se zkoušel (a pokud se nepletu tak v provozu běží), problém je jeho složitost. Pro naše potřeby, kdy si konflikty na filesystemu dokážeme vyřešit v aplikační vrstvě, dostačuje to, co poskytuje SeznamFS.

[Prom]

Hmm, YATE (yet-another-... však to znáte), mrknem teda na ten příklad, co mají na stránce:

Fatal error: Call to undefined function: teng_init() in /www/hobit/im.cz/teng/hello/index.php on line 7

arrrgh.... no nic, to se stává i v lepších rodinách. Třeba už tam mají zase smarty... :)

[Vlastimil Pečínka]

Naštěstí aplikace na internetu jsou "živé organismy" a dá se to fixnout na jednom místě a nemusí se posílat patche

Díky za upozornění, chybička se vloudí.

[svido]

Seznam.cz, aclikov pouziva Linux, nemam osobne moc a nikdy jsem od teto spolecnosti neocekaval nic kvalitniho. Vyhledavac je naprosta katastrofa s hafo reklamou, jejich Open Source co jsem zkousel nefungoval (skoncilo na kompilaci)... Seznam mi prijde jako hrac, ktery uz nemuze a kope vsude kolem sebe. Na Google nikdy nedosahne a bude "kopat" max. na svem pisecku, tj. CR. Podotykam, ze je to pouze muj vlastni nazor

[Käyttäjä 11133]

No on i český píseček nabízí docela velký kapitál.

[Vlastimil Pečínka]

Jsem rád, že Seznam se nesnaží o to, aby ho měli uživatelé rádi, protože používá Linux. To by byla špatná strategie. Na svůj postoj k Seznamu máte plné právo, naštěstí žijeme v relativně svobodné zemi (a pokud jde o internet, tak světě), a každý si může vybrat to, co mu vyhovuje. Tak jak to dělám já nebo každý z nás.

Možná i přes ten svůj negativní vztah k Seznamu zkuste mi dát feedback. V čem Vám Seznam přijde, že už dál nemůže a jen kope kolem sebe? Víte, dost často se v internetových diskusích objevují takové výkřiky. Málokdo však je schopen mimo své pocity dodat nějaká data. Kde vidíte "hafo reklamy" ve vyhledávači? Zkoušel jste třeba porovnat stránku s výsledkem na dotaz "dřevěná okna" na Seznamu a na tom bájném Google?

[hankey]

Já plně souhlasím, už i "dřevěná okna" hledám v Google, protože už i na vyhledávání českých firem a výrazů se seznam úplně marný (a to mám google v polštině ). Nechci tu řešit, že tím podporuju američany a seznam je (pevně doufám) český, ale:
Uvědomte si přátelé, že internet=seznam.cz -> myšlení českého národa. Denně zapojím několik lidí do internetu a je to VŠUDE!!! Seznam vnímám jako český mor (a nemyslím to vulgárně, prostě to tak je). Myslím, že si ještě dlouho udrží svoje zákazníky.

[svido]

Neni se cemu divit. Osobne me to taky stve, ze lidi berou jako internet = Seznam. Na druhou stranku se neni cemu divit. Internetove kavarny a verejna mista maji vesmes defaultne nastaveny jako home page bohuzel Seznam. Takze pak tezko nekomu vysvetlovat, ze existuje Google, ktery ma 100x lespi vyhledavani, aplikace a zapojuje se relativne dost v OpenSource atd.

[David Jaša]

Zkoušel jste třeba porovnat stránku s výsledkem na dotaz "dřevěná okna" na Seznamu a na tom bájném Google?

Občas bych hodně ocenil volbu -eshop, která by pustila jenom výsledky mimo internetové obchody.

[svido]

Nevidim duvod, proc bych Vam mel delat nejaky feedback... Na to snad mate lidi. Bohuzel 99% Cechu bere "internet" ="Seznam". Pro Vas jako firmu to je mozna OK, ale pro mne jako uzivatele je to naprosto sklicujici. Nehlede na to, ze Seznam nebude mit tak obsahle DB jako Google - hraje si jen na lokalnim pisecku. Co se tyce vyhledavani, tak to je stejne. Na Seznamu je to predevsim sama blba reklama, ktera jen otravuje a podstatne informace jsou zakopane dole. Graf. zpracovani naprosto katastrofa. Google tezko nekdo nekdy prekona. Informace jsou hned po ruce, reklamy sice jsou, ale neotravuji a predevsim vzdy najdu co hledam. Osobne je mi uplne jedno co najdu na "drevena okna", ja kdyz neco hledal na Seznamu, tak vetsina veci mela neplatnou URL nebo to nebylo co jsem potreboval. Je sice pravda, ze bylo uz drive, ale i tak nevidim duvod proc lezt na jiny server nez Google. To co najdu na Google, mozna najdu i na Seznamu, jenze mi to nikdo nezaruci. Jednoduse Google je jednicka. Tedy alespon pro mne.

To nejsou vykriky. Na Seznamu jsem nikdy nenasel nic relevantniho. A kde vidim hafo reklamy? Vsude, ted jsem koukal na Seznam (asi po 3 letech). Uz na uvodni strance je mi spatne...

- Seznam => linky na vsechny mozne aplikace a je to pres celou strank. Ve chvily kdy potrebuji neco najit, je pro me vsechno ostatni k nicemu, tj, horoskopy, pocasi, firmy, novinky, sport atd.

- Google => pouze text input. Naprosto genialni reseni. V jednoduchosti je neskutecna sila.

Ale to je vcelku jedno, nechci tu vyvolat flame. Me vyhovuje Google, tak ho vyuzivam. Tod vse

[eXces]

8 otázka je vážně směšná. To by se do normálního rozhovoru snad ani dostat nemělo. Jinak zajímavý.

[.]

vím proč furt seznam....jsem proti seznam.cz a google is good

[edois]

proc jste proti seznamu, nechcete uvest neco konkretniho?

[.]

protože seznam je nejhorši email který jsem videl...kolikrat davno byly vypadky a byl jsem toho nastvany a jsem rozhodl že prejdu na Google...na Google je 100% lepší nez Seznam...Seznam treba na Stream ti lidi delaji same blbosti, spamuji je nejvic...seznam vypada ze je ukraden od Google atd....prosim prestante psat o seznam.cz

[Deleted [8409]]

Pokud jako aktivitu obou firem vidíte pouze email, tak to je hodně slabý argument.

[Vlastimil Pečínka]

Taky názor. Já nejsem ani proti google, yahoo, microsoftu, nebo centru. :) Já jsem proti násilí, lidské blbosti a "takovým těm věcem".

[.]

mam pripominku a jak se budete zbavit na streamu ti spamy (ti lidicky neustale spamuji treba prosim posilejte sms, podivejte na wwww...atd...)prominte je to muj nazor atd...nerikam ze jses blbej atd...kazdy ma nazor...nekdo je spokojeny na google nebo na seznam atd....

[motyq]

proste, no!

[Vlastimil Pečínka]

To není přímo moje parketa, ale předám to lidem, co se o stream.cz starají.

[sutrak]

Pouzivame Debian Etch... a jadro z RedHatu. Usmevne