Dotaz: Cloud do 40k

[Roman Mickal]

Dala by se vymyslet konfigurace "cloudu" cenove zaklad do 40k s moznosti rozsireni az budou penize, poskladana z low end component a opensoouce software a co vlastne takovy cloud musi nabizet aby to byl cloud? Stavel jste uz nekdo neco takoveho ? jeden storage a 2-3 uzly ktere poskytuji sluzby?

---

---

Odpovědi

[Luboš Doležel (Doli)]

Aby to byl cloud, musí umět podle zátěže automaticky migrovat aplikace mezi uzly, startovat je a ukončovat, a předávat mezi nimi provoz. Týká se to jak aplikací, tak úložiště. Takže jedno úložiště určitě nestačí, dva až tři uzly je taky dost málo, spíš jich musejí být desítky, aby to dávalo nějaký smysl.

Dneska už se ale cloud říká snad i tomu, když si nosíte data s sebou na USB flash disku. Takže správná odpověď na otázku, co to má umět, aby to byl cloud, dneska zní: udělejte cokoli a nazvěte to cloud. Ale ta otázka stejně nedává moc smysl, neptejte se, co udělat, aby se to mohlo nazvat cloudem, ale definujte si, jaké máte požadavky, a pak se ptejte, jak splnit ty požadavky.

[Josef Kufner]

Jeden storage je blbej nápad, protože když jeden storage chcípne, tak žádný nezbyde. Cloud se vyznačuje mimojiné oddolností proti HW výpadkům, kdy se provoz virtuálních strojů přesune na jiný fyzický stroj.

[Roman Mickal]

Chapu, ale lze vybudovat levne odolny storage rekneme o kapacite 1TB, postaveny na bezne dostupnem hw?

[Josef Kufner]

Postavíš si dva vcelku obyčejné servery a budeš doufat, že se nepodělají oba současně. Proti výpadku fyzického disku se lze bránit diskovým polem, proti výpadku toho zbytku máš druhý server a kvalitní zálohování.

Jestli na těch serverech budeš provozovat služby ve virtuálních počítačích nebo přímo je celkem jedno, to už záleží na požadovaných službách a schopnostech správců.

[Filip Jirsák]

Když ten 1 TB budete hostovat na Amazon S3, měsíčně stáhnete 1 TB ve 100 kB souborech, bude vás to stát cca 4500 Kč měsíčně. Serverhousing pro dva 1U servery vás bude stát aspoň 3000 Kč měsíčně. Za 40 tisíc to tedy můžete u Amazonu provozovat přes dva roky. To akorát tak vydrží hardware, pokud budete mít to štěstí, a nebudete muset nic měnit dřív (s čímž se u low-cost moc nepočítá). O vlastní servery se navíc budete muset starat.

Nebo taky můžete koupit NAS krabičku za pár tisíc, nacpat do ní 2 disky po 1 TB v RAIDu a nacpat to pod stůl. Bude to levné (tak za 10 tisíc celkem), bude to postavené na běžně dostupném hardwaru, bude to spíš pomalé. Dneska by to dokonce kde kdo nazval cloudem, protože se tak nazývá všechno. Trochu odolné to taky bude - když odejde jenom jeden disk, data budou ještě na tom druhém.

Hodně záleží na tom, čemu říkáte "odolný". Ale pokud vynecháme extrémy (jako ten NAS uvedený výše na straně jedné, a řešení s tisíci uzlů jako má Google na straně druhé), znamená "odolný" nakoupit úložiště jako službu. Protože na levném hardwaru nedosáhnete ani takové spolehlivosti, ani ceny.

[lertimir]

Když ten 1 TB budete hostovat na Amazon S3, měsíčně stáhnete 1 TB ve 100 kB souborech, bude vás to stát cca 4500 Kč měsíčně. Serverhousing pro dva 1U servery vás bude stát aspoň 3000 Kč měsíčně. Za 40 tisíc to tedy můžete u Amazonu provozovat přes dva roky. To akorát tak vydrží hardware, pokud budete mít to štěstí, a nebudete muset nic měnit dřív (s čímž se u low-cost moc nepočítá). O vlastní servery se navíc budete muset starat.

Mohl bych vědět jakým způsobem je možné ze 40 000 Kč platit 4 500 Kč měsíčně po celé dva roky?

[pavlix]

Nad tím jsem taky dlouho přemýšlel, jak že to vlastně myslí. Ale pak jsem se znovu podíval na jméno... :). Pardon.

[Filip Jirsák]

Ze 40 000 Kč je možné platit 1 500 Kč po celé dva roky. 1 500 Kč je 4 500 Kč mínus 3 000 Kč, tedy částka, kterou je potřeba zaplatit navíc oproti obyčejnému housingu.

[Mike Stuffel]

pisete len a len o virtualizacii.

hlavnym odlisovacim znakom cloudu od virtualizovanych prostredi je _ELASTICITA_. Tj. ked na zaklade "podnetu" su dynamicky nastavovane parametre bez nutnosti restartu. Napr. vypoctovy vykon, diskova ci pamatova kapacita, atd...

[Roman Mickal]

a jak se dosahne takove pruznosti bez restartu? kdyz virtualnimu serveru zmenim pamet chce restart, pridam vcpu chce restart, zvetseni disku je snad jeste vetsi orisek, jelikoz se musi uvnitr virtualu udelat resize fs, nebo je na to nejaky figl?

[Ivan]

Treba takovy AIX podporuje hotplug CPU, hotplug pameti a online resize disku. Linux ma na online resize pameti nejaky patch do kernelu. Tusim ze nejaky servery od HP umoznuji i HW upgrade RAM bez restartu. Hotplug PCI (fyzicky) je samozrejmosti uz nejakych 10 let.

Dalsi vec je, i kdyz mate napr. jedno virt. 3GHz CPU, tak realne mate pridelenou jenom jeho 1/10. To same se muze tykat i IOPs.

Pokud tohle chcete, tak ale musite zapomenout na limit 40 KKc.

[pavlix]

online resize disku

Kde se ty rostoucí disky kupují?

[Käyttäjä 11133]

Většinou mají logo IBM, HDS, NetApp, EMC a podobně

[pavlix]

A musejí se zalévat nebo jak to funguje?

[Käyttäjä 11133]

Zalívají se kouzlem jménem Purchase Order :D Když nějaké PO pošleš, tak ti můžu nějaký ten magický disk dodat :D

[pavlix]

A bude sám růst?

[Šangala]

Ne, je třeba jej okopávat šroubovákem, ale pozor, maximálně do dvou násobku původní velikosti, jinak se osvítí data.

[pavlix]

Marek Stopka a Ivan to zřejmě už zkoušeli.

[Ivan]

No popravde to jsou "virtualni" disky. Diskove pole ma vlastni device mapper nad fyzickymi disky a vam zpostredkovava tzn. LUN (logical unit). Ten se v systemu tvari jako SCSI disk.

Budto muzete ten logicky disk roztahnout - coz se moc casto nedela, anebo jednoduse doalokojete dalsi LUNy a ty pak uvidite v systemu jako nove disky. Ty si pak pridate do sveho vlastniho device mapperu na svem virtualu.

[pavlix]

S virtuálními věcmi se dělá mnoho kouzel, to by mě až tak nepřekvapovalo.

[Ivan]

Joo jeste jsem si vzpomel na jednu vychytavku, ktera se jmenuje "thin provisioning" aka. overbooking. Muzete vytvorit LUN o velikosti treba 1TB, ktery ve skutecnosti zadne misto nezabira. Ve skutecnosti, je ten disk rozdelen na chunk-y pevne velikosti(treba 64MB) a device mapper diskoveho pole vam to misto doalokovava podle toho jak to toho disku zapisujete. Pokud mate na virtualu FS, ktery tohle podporuje, tak muzete zakaznikum prodat vice storage, nez kolik ho ve skutecnosti mate a pak muzete dokupovat disky podle potreby.

[pavlix]

Od toho FS se požaduje co přesně?

[Käyttäjä 11133]

Od toho FS se požaduje co přesně?

Vůbec nic :D Jen v závislosti na FS budeš schopen overprovionovat jen v určitém rozsahu. Například pokud by formát toho filesstému znamenal, že si FS zapíše nějaká data do každého bloku (třeba šifrovaný FS) tak se hned při formátování bude muset naalokovat celá velikost té LUN.

[pavlix]

že si FS zapíše nějaká data do každého bloku (třeba šifrovaný FS)

Který šifrovaný FS to dělá?

tak se hned při formátování bude muset naalokovat celá velikost té LUN.

Pochopitelně. Takže stačí, aby se FS choval slušně k místu.

[Käyttäjä 11133]

Který šifrovaný FS to dělá?

Každý který bych byl ochotný používat? :D (Používám TrueCrypt)

[Ivan]

Idealne se pozaduje aby umel pres SCSI INQ zjistit vyrobce a model toho pole. Z toho pak zjisti preferovany block size a velikost tech chunku. Kdyz vite, ze vase pole alokuje misto po 64MB kusech, tak nemuzete mit kopii superbloku na kazkych 64MB. FS se musi prizpusobit aby jeho metadata zanechala pokud mozno co nejvice volnych bloku.

Ono je to jako hracka dobry, ve vysledku je to ale uplne priserne drahy. A i kdyz mate technologie jako thin provisioning, tak i za ty se plati licencni poplatky.

[Käyttäjä 11133]

Ono je to jako hracka dobry, ve vysledku je to ale uplne priserne drahy. A i kdyz mate technologie jako thin provisioning, tak i za ty se plati licencni poplatky.

Thin provisioning je free na NetApp polích, stejně jako deduplikace. WAFL block size je 4KB.

[Ivan]

Hmm, tak na EMC je to licencovany - mozna dokonce objemove (za kazdy TB se musi platit). Navic ty same disky, ktere koupite jako upgrade jsou o 30% drazsi nez ty ktere koupite primo s novym polem.

[drunkezz]

ja mam skusenosti hlavne s vmware a nad nim beziacimi linuxovymi virtualkami ale CPU/MEMORY/DISK/NIC addition je vsetko hot

D.

[skunerq]

to snad ne, a jak to delate. tu sitovku chapu, zbytek si necham poradit

[drunkezz]

takze v nastaveni VM treba povolit Memory/CPU hotplug > tusim ze pre rhel5.x to nebolo mozne ale dalo sa to ojebabrat tym ze sa len nastavilo "Guest operating system" na  RHEL6 aj ked vnutri bezalo 5.x

disk addition je klasika tj pridat novy disk a potom spravit vo virtualke rescan

echo "- - -" > /sys/class/scsi_host/hostX/scan

 

pre CPu plati to iste, pridat CPU a potom vo virtualke

echo 1 > /sys/devices/system/cpu/cpuX/online

 

no a pre memory addition pridat ramku a potom vo virtualke

echo online > /sys/devices/system/memory/memoryX/state

 

 

Tot fsjo

D.

[Roman Mickal]

Ahoj, zkusme to tedy trochu v jasnejsich obrysech.

Storage:

- jak jsem pochopil tak jeden storage asi bude malo a v pripade potizi s nim je konec celeho reseni

http://asm.cz/zbozi/19-poc.-skrin-2u-360mm-pro-2x-miniitx-board-4x-35-hdd-cerna.html

- osadit 2x miniITX deskou (vyber modelu je otazkou, podpora SATA3, jaky cpu? alespon 2G ram, zvazit zda-li je pro samotny system nezvolit SSD disk a pole vyuzit cele pro storage)

- osadit 4x SATA3 disky (kazdy par disku pripojit do jednou desky, nastavit rezim radice AHCI a sestavit software raid, nad raidem DRBD a replikovat na druhou stranu)

- sitovky, pokud bude mozne tak osadit dual-port sitove karty, nakonfigurovat bonding a pripojit do switch, celkove tedy z krabice povedou 4x ethernet do sw, otazka je zda-li pro replikaci DRBD nebude lepsi pouzit jednu vyhrazenou sitovku

- data exportovat ven pres iSCSI, mozna zvazit AoE

- otazka lze nejak tento ukol s HA ulozistem resit kompletne, neumi toto freenas ci openfiler apod projekty? nepocitam s tim

Virtualizacni uzly:

- opet podobna predstava, i kdyz si zde nejsem uplne jisty, predpokladam opet dual case, osadit miniITX s xeony, 16GB ram na uzel (vim je to malo , ale miniITX vice neumi), osadit SSD disk pro nabootovani systemu, zkusit rozbehnout napr. proxmox reseni ci pokud bude potreba sahnout po cistem centos 6

- ssd disk bych chtel navic pouzit jako block-cache a tim vyrovnat propad mezi siti a ram na uzlu (flashcache nebo bcache)

- pozn: s tim nasazenim miniITX si mozna zadelavam na vykonove bariery a hlavne ram nelze rozsirit, 16GB se mi zda-malo, predpokladam,ze 24-32GB by bylo OK, zvazuji jeste moznost nakoupit "dospele" zakladni desky, ram a zdroje, cele to umistit do vlastni krabice podobnym zpusobem jako jsou delane "blade reseni" nebo mozna jako to ma projekt helmet

- sitovky - kazdy uzel opet dve sitove karty a bonding se switchem

Cilem:

- bezpecne byt schopen provozovat ~ 30-40 virtualnich stroju (nektere plne virtualizovat jine jako openvz, proto prave se mi vcelku libi proxmox, i kdyz zde na tom uplne netrvam)

Ceho se bojim:

- nevim jak vyresit problem fencingem (nejsem v tom uplne kovany), ale pokud to chapu tak pokud jeden uzel zacne delat potize, tak je nutne mechanismus jak ho odstrelit, levne desky nemaji IPMI a fencing devices napr. od APC je dost drahe

- mam strach z konfigurace toho HA storage, zda se mi do dost slozite, moc vrstev a ten sw raid pod tim vsim je jako pest na oko z toho duvodu bych take nejspise volil jako CPU pro storage neco vykonejsiho, kdyz zde bude overhead v podobe sw raidu

- storage a hotswap - zde asi narazim i kdyz cetl jsem, ze desky se SATA v rezimu AHCI by to meli umet a linux by to mel umet i se sw raidem ( viz napr. zde http://strugglers.net/~andy/blog/2010/01/17/linux-software-raid-hot-swap-disk-replacement/)

[Josef Kufner]

MiniITX je přesně to, před čím jsem tě na začátku varoval. Vypadá to hezky, ale nelze to rozšiřovat a ty úsporné CPU jsou pomalé (a podle toho je dimenzován i zbytek desky).

Vem klasické velké desky s dobrým chipsetem a hlavně slušnými řadiči – na tom získáš víc, než na super CPU. Navíc velká serverová deska bude mít už na sobě spoustu SATA řadičů, takže můžeš ušetřit na úložišti.

Co se hotplug týče, pokud ti jde o cenu a máš dva servery, můžeš mimo špičku přemigrovat služby na jeden stroj a druhý v klidu restartovat.

[Roman Mickal]

OK, opoustim tedy myslenku stavet samotne virtualizacni masiny na miniITX, zde asi tedy dospele desky.

Nicmene se vas jeste chci zeptat, zda-li by alespon pro ty dva storage stroje bylo neco takoveho pouzitelne, zde nepotrebuji nic extra rozsirovat, jde mi jen o to zda-li vykonove pro storage by to bylo pouzitelne. (napr. 4gb RAM, Core i5, 2x gbit eth) a co od toho mohu ocekavat.

Narazil jsem jeste na tyto case pro hotswap 4x 3.5" SATA, opet bych nasadil dve tyto reseni.

http://linitx.com/product/12789

Jeste jedna vec, to reseni s nasazenim block-cache je uplny nesmysl nebo bych si tim nepomohl/pomohl (flashcache, bcache).

RM

[ja_kral_ll]

furt tam budes mit bod na kterem se ti to muze cele posrat...

Navrhni to cele tak aby data byla na kazdem nodu.