vpsFree.cz: Shrnutí zkušeností

3.5.2010 12:11 | Přečteno: 3960× | vpsFree.cz | | poslední úprava: 3.5.2010 13:38

Slíbil jsem tu v diskuzi, že shrnu dosavadní zkušenosti s provozem vpsFree.cz. Většina členů našeho sdružení k nám přišla odsud, z ABC Linuxu, snad nevadí, že to píšu sem. Všiml jsem si, že jsou tu lidé docela alergičtí na jednozápiskové reklamní blogy, můj sice nemá jenom jeden zápisek, ale i tak je dost reklamní. Snad pro dobrou věc a snad to chápete.

Jak dlouho zvládne vpsFree takhle růst

Na tuhle otázku jsem narazil u kohosi na Twitteru, cituji:

OS VPSFree.cz přídává do své stáje další server. Jsem zvědavý, jak dlouho ještě budou schopni díky růstu členů operaci technicky udžovat.

Datum u toho tweetu sedí s přidáním našeho zatím posledního serveru, Epsilonu. Právě teď má vpsFree.cz 113 členů, provozujeme 126 VPS na pěti serverech. Takže - jak dlouho budeme schopní zvládat růst počtu členů?

Dlouho. Reálně si myslím, že bychom měli zvládat provoz okolo tisícovky VPS. Nezůstáváme totiž stát na místě, automatizujeme si práci, zapojujeme další aktivní lidi a vymýšlíme neustále, jak celé sdružení ukočírovat co nejlíp a s co nejmenšími časovými náklady.

Máme vpsAdmin, s tím zvládneme provozovat o hodně víc, než máme teď. Nainstalovali jsme a používáme Request Tracker, zřídili jsme pomocí něj "support" linku, do odpovídání na problémy a dotazy členů jsou aktuálně zapojení čtyři lidi, takže vždycky někdo odpoví, a to relativně rychle.

Pro koho členství ve vpsFree není?

Měli jsme bohužel pár členů, se kterými jsme se museli rozloučit, jelikož jejich požadavky prostě neseděly s "ideály" vpsFree. Ve všech případech šlo o lidi, kteří si v jednom našem VPS byli schopní rozjet gamehosting v takové velikosti, že by jim na to pravděpodobně nestačil běžný Core2Duo, který se dá sehnat jako dedicated za solidní cenu. Oni se prostě rozhodli, že na VPS za tři stovky rozjedou gamehosting za dvacetkrát tolik. Nemám nic proti, když si člen udělá ve VPS "hosting" pro pár lidí okolo, nebo když na tom hostuje pracovní (tím pádem komerční) věci. To je naprosto v pořádku. Ale nesnáším, když se někdo snaží VPS zneužívat na úkor ostatních.

Členství bych ale nedoporučil ani těm, co si myslí, že jednou jsou členy a odteď je musí všichni obskakovat. Jasněže se snažíme vyjít každému vstříc, ale když pak neděláte nic jiného, než že celý týden, každý den řešíte výmysly jednoho človíčka, to pěkně otráví. Takové lidi rád přenechám komerčním hostingům, které si to taky pěkně od hodinky naúčtují.

Jak funguje běžný provoz takového projektu?

Většinou je to docela stereotyp, ráno vstanu, zkontroluju logy ze serverů. Přes den možná přijde pár přihlášek, to většinou vyřeší někdo jiný. Přijde dost možná pár mailů na support, to taky většinou vyřeší kluci z rady. Já většinou visím na jabberu, kde domlouváme s ostatníma, co a jak bude, hlavně teď třeba plánujeme dva servery, protože začínáme mít docela těsno jak v Bratislavě, tak v Praze. Potom vymýšlíme nějaké zlepšováky, jako mirrorování záloh napříč servery a další. V tomhle jsme pořád v pohybu, jak sdružení roste, začínají být větší prostředky k implementaci zajímavostí, jako třeba centrální úložiště, kterému se zřejmě nevyhneme. Zase, jako všechno, by se to dalo vyřešit strašně jednoduše nějakým "levným" komerčním řešením, ale to by nebyl náš styl. To se ještě nechte překvapit, až přesně vymyslíme, jak to spáchat, rád se o to podělím.

Fyzické srazy jsou propadák

Zkoušeli jsme to několikrát, zatím největší úspěch byla účast sedmi lidí, a to na posledním srazu u příležitosti ročního výročí založení. Teď v červnu bychom chtěli pořádat další, snad se bude účastnit víc lidí, ono nejde moc o "řešení věcí", spíš jako o naplnění toho komunitního principu sdružení. Asi pozveme i nečleny, možná bych mohl dát echo sem na Ábíčko, třeba to zvedne účast. On je to pro většinu členů problém se dostat vůbec do Prahy, jelikož jsou všichni z různých koutů ČR i SR.

Zkušenosti s provozem OpenVZ

Většina z vás asi ví, že virtuály provozujeme na OpenVZ pod Debianem. Shrnu tedy tak trochu, jak to jede.

Pro skoro všechny členy OpenVZ není problém, rozjedou tam, co potřebují. Občas se objeví nějaké problémy s Alsou ve VPS, s IPv6 netfilterem a podobně. Je to v minimu případů a většinou najdeme nějaký workaround. Na druhou stranu nám OpenVZ umožnilo dát s přehledem 30 virtuálů na jeden náš fyzický server, to je myslím docela úspěch, nikdo si totiž ještě nestěžoval na výkon VPS. Ona režie pro "virtualizaci" je s kontejnery vždycky jinde, než plná nebo para-virtualizace.

Co ovšem občas zlobí, je nestabilita live (on-line) migrace, aspoň tedy na debianním kernelu. Někdy se migrace prostě nepovede, to je v relativně v pohodě, protože to vpsAdmin pozná a nasadí off-line migraci, naštěstí to data virtuálu nerozhází nijak. Nicméně se dvakrát stalo, že nás při live migraci navštívil kernel panic, jednou na Betě asi před půl rokem a teď naposled na Deltě minulý týden. Naštěstí vývojáři OpenVZ neumřeli, takže se těším na 2.6.32 patch, který je teď v docela živém vývoji.

Zkušenost s Master Internet

Když jsem psal pár úvodních blogů, kdy vpsFree.cz byla ještě myšlenka, ptal jsem se tu také, kam ty servery umístit. Doporučili jste Master Internet, takže naše zkušenosti s nimi:

Technické zázemí je řekl bych na špičkové úrovní (co jsem navštívil už pár datacenter, absolutně nesrovnatelné třeba se "studeným" housingem, kdo zná, pochopí). Obchodníci reagují hodně pružně na měnící se požadavky našeho sdružení, vůbec to není jako jinde, kde prostě mají tabulky a když se nevejdete, máte smůlu (myslím tím různé tarify housingu). Všechno bylo dohodnuté hodně individuálně a hodně výhodně pro naší stranu. S technickou podporou mám jenom ty nejlepší zkušenosti, když potřebuju jejich asistenci, pomůžou. A že by si to mohli hodně naúčtovat, nedělají to. Vždycky se snaží pomoct, jak to jde - stalo se párkrát, že jsem chudáka supporta hnal k serverům několikrát, jelikož jsem trochu zmatkoval - to víte, výpadek, adrenalin, docela sranda. Teď už je to lepší, řeším to s chladnou hlavou, začátky byly ale zajímavé.

Jediné, co bych mohl Masteru trochu vytknout, je lehce laxní přístup k papírování, když si totiž dohodneme, že pozměníme odebíranou službu, měli bychom také pozměnit její specifikaci ve smlouvě. Vždycky to nakonec vyřešíme, ale ještě se mi nestalo, že bych přijel, přidal nový server a rovnou podepsal novou verzi specifikace. No, holt nikdo není dokonalý, tohle jim s klidem budu tolerovat, to chod našich serverů neovlivňuje.

Docela jsem se rozepsal

Takže konec trochu ustřihnu - pokud chcete něco vědět, ptejte se v diskuzi, případně pište na podpora [zavináč] vpsfree.cz

       

Komentáře

[junckritter]

"těsno v Bratislavě" znamená že už sa nikto nevojde? Celkom nad vami totiž uvažujem.

[snajpa]

Ještě jsou tam 3 volná místa. Navíc do měsíce tam dáme další server, takže místa bude zase dost

[filbar]

Mám u nich dva vservery a můži říct, že jsou super. Ani ten výpadek minulý týden na deltě netrval moc dlouho - jenom asi 30 min.

Jenom škoda, že se neprezentovali na LinuxExpu, určitě by je to o dost více zviditelnilo, protože se jedná o jedinečný projekt.

[snajpa]

Pravděpodobně na příštím chybět nebudeme

[Jan Grmela]

Díky správcům za skvělé služby vpsFree.cz. Jsem velmi spokojen. Server je velmi rychlý a bez výpadků. A za ty prachy... Fakt dobrá služba. Oceňuji dostupnost IPv6 out-of-box.

Málokterý můj CentOS si může tak spokojeně chrochtat

[trekker.dk]

jako třeba centrální úložiště, kterému se zřejmě nevyhneme

Na data strojů nebo na zálohy a spol.?

Asi pozveme i nečleny, možná bych mohl dát echo sem na Ábíčko, třeba to zvedne účast

Dobrej nápad.

Ona režie pro "virtualizaci" je s kontejnery vždycky jinde, než plná nebo para-virtualizace.

IMO jak pro co - dokud nepřijde na řadu intenzivní I/O disku, tak bych neřekl, že je to tak výrazné - např. na výpočetní výkon náročné úlohy si s plnou či paravirtualizací řeknou o nějakých 10% času navíc.

[snajpa]

Na data strojů nebo na zálohy a spol.?

Na data VPS, kvůli failoveru při výpadku HW stroje.

plnou či paravirtualizací řeknou o nějakých 10% času navíc

OpenVZ si řekne tak o 3% navíc maximálně, a to i u I/O.

[trekker.dk]

OpenVZ si řekne tak o 3% navíc maximálně, a to i u I/O.

Nebýt toho rozdílu u I/O, tak bych řekl, že je to jedno. 3 nebo 10 procent není tak velký rozdíl.

(U těch 30 VPS to dělá 3 VPS rozdíl. Než tam dávat 27, to tam stejně dáš 30 a bude to fungovat taky a pravděpodobně bez pozorovatelných rozdílů...)

[snajpa]

Jo, to asi jo, ale paměťově je to nesrovnatelně poznat. Nemusíš mít 31x kernel a další obligátní démony, atd. Sice třeba KVM umí využití RAM shodnýma stránkama redukovat, ale pořád to nebude tak, jako s OpenVZ.

[trekker.dk]

Jo, to asi jo, ale paměťově je to nesrovnatelně poznat.

Experimentoval jsi s tím nějak? Docela by mě zajímala čísla.

Sice třeba KVM umí využití RAM shodnýma stránkama redukovat, ale pořád to nebude tak, jako s OpenVZ.

Pokud je v hostech stejný kernel (což na OpenVZ je vždycky), tak ho na KVM nemusíš mít 30x, ale jednou - IMO opět žádný velký rozdíl. (S přidanou hodnotou, že když chci na hostovi jiné jádro, můžu.)

Zkoušel jsem to slučování stránek na 28 VS (čerstvě po startu všech VS - jádro + standardní démoni z Debianu + Apache) - po zapnutí KSM pokleslo využívání paměti o nějakých 90MB na jeden VS (suma sumárum cca 2,5GB) během nějaké půl minuty. Podle mě je těch 90MB součet právě za jádro, ty démony i Apache.

Samozřejmě - když ve VS nebudou stejné verze programů, ta hodnota klesne, to je jasné. Ale na druhou stranu předpokládám, že když na OpenVZ spustím 30 stejných Apachů, tak si všichni zaberou paměť, protože se nepozná, že je to stejný program. Tudíž se slučováním stránek u KVM se v téhle oblasti dostaneme nejhůř na úroveň OpenVZ.

Tím by se mohlo vyrovnat to, co je ve VS oproti OpenVZ hostovi navíc.

Nicméně na OpenVZ jsem to netestoval, proto se ptám, jestli jsi tady experimentoval víc.

[snajpa]

KVM jsem zkoušel asi tak, jako ty OpenVZ
Asi na to budu muset mrknout líp

[trekker.dk]

Tak jsem udělal malý pokus - OpenVZ běží (trochu*) pod KVM - a vypadá to, že OpenVZ s Apachem si (při těch 28 hostech) vezme cca polovinu paměti oproti KVM.

Je otázka, kolik z paměti KVM hosta jsou diskové cache, které by v podstatě mělo být možné vrátit hostiteli (pokud hostitel cachuje sám), ale uznávám, že zajistit, aby KVM nemělo o moc větší nároky na paměť než OpenVZ, by bylo asi docela složité.

* trochu = dvakrát mi to spadlo při postupném apt-get install apache2 na jednotlivých hostech.

[grubber]

Zkoušeli jsme to několikrát, zatím největší úspěch byla účast sedmi lidí, a to na posledním srazu u příležitosti ročního výročí založení. Teď v červnu bychom chtěli pořádat další, snad se bude účastnit víc lidí, ono nejde moc o "řešení věcí", spíš jako o naplnění toho komunitního principu sdružení. Asi pozveme i nečleny, možná bych mohl dát echo sem na Ábíčko, třeba to zvedne účast. On je to pro většinu členů problém se dostat vůbec do Prahy, jelikož jsou všichni z různých koutů ČR i SR.

Možná, že by se to od příště mělo dělat komunitně a hlasovat o místě srazu. Abych pravdu řekl, ta Praha pořád dokola mě trochu vadí, nemám se tam jak dostat. Uvítal bych sraz v Brně, nebo někde východněji.

[MMMMMMMMM]

Pěkné čtení docela

[VSi]

Zajímavé. Je pěkné, že to celé takhle funguje - technicky, ekonomicky, organizačně. Zajímalo by mě pár věcí

Používáte nějaký systém na monitorování serverů, popř služeb - prostě aby se správce co nejrychleji dozvěděl, že server spadnul? Vím, že existuje Nagios, ale ten se mi pro nasazení na pár serverech zdá zbytečně složitý.

Máte nějaký plán, co dělat, když odejde HW - třeba základní deska? To zálohování by určitě bylo dobré vyřešit lépe. Pochopil jsem, že se zatím zálohuje jen na jiný disk v tom samém stroji. Vadný zdroj může snadno zničit všechny disky naráz. Zálohování 1× za týden je taky docela málo - můžu přijít o data i za 7 dnů zpět.

Jak Master Internet řeší energetickou spotřebu serverů? Někde koukají na "štítkový" max. výkon zdroje a chtějí dost zásadní příplatky za kažých 100 W třeba nad 300 W limit.

[snajpa]

Monitoring si většinou řeší člen sám, my poznáme, když spadne celý server, docela jednoduše - vždycky se někdo ozve, a to dost rychle Do budoucna máme v plánu vyřešit to přes MonitoringServerů.cz, aby mi to poslalo SMS.

Když odejde HW, v Praze máme 3 lidi, kteří mají přístup do datacentra a na účtu je vždycky dost, aby se dal nějaký ten HW koupit. Teď plánujeme nakoupit šuplíky na disky, aby je support v Masteru jenom přehodil do spare mašiny (ta je taky v plánu na nejbližší dobu). Hardware je docela nový, měli bychom to stihnout vyřešit, než dostane šanci selhat.

Ztrátu dat hodláme vyřešit sdíleným úložištěm, které by mělo obsahovat v každou chvíli aktuální mirror všech VPS.

Se zvyšujícím se počtem členů na to začínáme mít prostředky, takže budeme realizovat řešení, jak mít dostatečně vysokou dostupnost. Takže čím víc nových členů, tím líp pro všechny.

Když přinesu HW do datacentra, nebo dělám změny, jednoduše se přeměří spotřeba wattmetrem (takový ten levný z Hypernovy, ale co už). Na štítkový údaj se naštěstí nehraje.

[Heron]

Zálohování 1× za týden je taky docela málo - můžu přijít o data i za 7 dnů zpět.

To je k diskusi. Osobně jsem přesvědčen, že, a zejména u takto levného hostingu, by zálohování nemělo být vůbec věcí hostingu.

Jak Master Internet řeší energetickou spotřebu serverů?

Master, alespoň pro nás, měří spotřebu racku a pokud překročí nasmlouvanou hodnotu, tak se ozve s návhrem na navýšení příkonu.

[Non_E]

Pěkně se to čte. Myslím si, že by nejen mě zajímala nějaká statistická data, jako např. nejpoužívanější guest distribuce nebo nejčastější využití vps. Tipuju http a smtp server Zarazila mě také ta zmínka o ALSA: to se na serveru k něčemu používá?

[snajpa]

Jo, to je asi good nápad

Debian lenny: 105
CentOS 5: 8
OpenSUSE: 2
Ubuntu 8.04: 7
Archlinux: 3
Gentoo: 2

V přípravě je Ubuntu 10.04.

Alsa byla tuším pro nějakou VOIP-věc, nepamatuju si přesně, o co šlo.

Přesnou statistiku, co kdo ve VPS má, nevedeme - nechci se nikomu hrabat v datech. Ale myslím, že je tam dost často LAMP, pár django instalací, nějaká ta java, pár vývojových repozitářů a pár herních serverů na známé a méně známé tituly. Každopádně si docela uvědomuju, že tam spousta lidí má důležité věci, taky proto kujeme pikle co se týče pár řešení, jak zabezpečit data

[Vskutečnosti Saýc]

Skoda ze povolujete jen tak malo trafficu. Na jednu stranu chapu, ze se sam nezaplati, na druhou stranu kdyby si clovek chtel pustit TOR nebo freenet node tak nema sanci.

[snajpa]

Tohle s radostí necháváme na ostatních poskytovatelích. Legalita takových sítí je více než diskutabilní a nehodláme se vystavovat byť nejmenšímu riziku zákazu činnosti našeho sdružení.

[trekker.dk]

Legalita takových sítí je více než diskutabilní

Co je na tom diskutabilního - v ČR?

A zakázat sdružení není zas až tak jednoduché.

[snajpa]

Určitě se nebudeme dohadovat o tom, co přes ty sítě teče, že ne

Tím myslím není víc co dodat, absolutně nechávám stranou, jestli je to či ono dobře nebo špatně morálně. Jde o zákony, doma a na svoje jméno ať si dělá každý co chce.

[trekker.dk]

Určitě se nebudeme dohadovat o tom, co přes ty sítě teče, že ne

To ani nemusíme, ale už bychom se mohli dohadovat o tom, kdo je za ta data zodpovědný. A podle českých zákonů to IMO není ten, přes koho ta data protékají, ale ten, kdo je poskytuje.

[USAMA]

Musím říct že jsem na VPSFree už rok a spokojeně si chrochtám. Všechno funguje tak že si toho vubec nevšímám, Just Works!

[pavlix]

Na fyzický sraz bych se občas podíval, kdybyste aspoň na Abclinuxu trošku sledovali sekci "Akce". Pokud vypíšete sraz na stejnou dobu jako je sraz Abclinuxu nebo jiná velká konkurence, tak s váma fakt posedět nepůjdu.

[Limoto]

Dík.

[maertien]

Mam vps u vas jiz cca dva-tri mesice a jsem moc spokojen. Slape to hezky. Preju hodne stesti a diky za snahu zvysit spolehlivost :)