Storage Area Network – 3 (stavební bloky 2) (diskuse)

[BFU]

Ja to vubec nechapu

[peppa]

to nevadí, na doma ani do firmy malé a střední velikosti toto není zapotřebí

[BrainLess]

Tak tak ... relativne levny SAN router za 25 000$

[zz9]

Pouziva google ve sve infrastrukture take tyto prvky? (diskova pole, FC switche...), ja dokazi zajistit, na tolika pocitacich, ze ty data ten konkretni stroj zrovna ma? Nekde jsem cetl, ze servery google jsou "jen" hromada plecen PIII apod, co je na tom pravdy?

[hujer]

no jelikoz ma google asi statisice serveru, tak to asi nemusi bejt nic vykoneho. ale google ma vetsinou vlastni reseni, google file system (GFS) atd .. ohledne googlu myslim ze jde najit cesky clanek co popisuje co jak maji udelane .. napr. ohledne serveru, myslim ze maj nakou unifikovanou platformu s napajenim 18V atd .. cosi styl http://www.zive.cz/clanky/google-odhalil-tajemstvi-svych-uspornych-serveru/sc-3-a-146455/default.aspx

[hujer]

http://linuxzblizka.blog.zive.cz/2010/03/utajovane-technologie-googlu/ :)

[Vlastimil Šetka]

Tak to ví asi jen sám Google Ale z veřejně dostupných informací (např. přednášky lidí z Googlu) je to asi tak: v měřítku systémů Googlu, je i ta nejvíc Enterprise technologie příliš nespolehlivá, resp. nedokáže zaručit potřebnou spolehlivost za reálnou cenu.

Takže alespoň pro infrastrukturu, která posyktuje veřejné služby (hledání, mapy, apps), Google údajně používá "obyčejné" komponenty v obrovkém počtu. Problémem je také spotřeba elektřiny, takže se používá to s nejlepším poměrem výkon/spotřeba. Ve své době to byly P3, dnes už asi ne. Spolehlivost je zajištěna a úrovni aplikací. Data jsou v několika kopiích a nemusí být zrovna na tom stroji, který je zpracovává, jsou síťově sdílená. Systém uložení dat např. zajišťuje, že bude uložen určitý počet kopií v každém z datacenter Googlu, aby se data nepřenášela na dlouhé vzdálenosti.

Ale je třeba říct, že přístup Googlu často nelze v prostředí, kde se používá FC / SAN, dost dobře uplatnit. Zjednodušeně se takový přístup začíná vyplácet až od určité velikosti, což je ještě závislé na druhu služeb.

http://www.youtube.com/watch?v=zRwPSFpLX8I

[deda.jabko]

s googlem je trosku potiz, ze informace vypousti po kouskach... ale pokud by vas zajimalo, co pouziva treba konkurence jmenovite yahoo! doporucuji dat vyhledavat "hadoop yahoo"... zdrojaky k hadoop a dalsimu softwaru jsou volne k dispozici, takze pokud mas vic pocitacu muzes si takovy cluster postavit i doma.

[Zdenek]

Nepouziva FC, ale starej dobrej ethernet. Lepsi je resit redundanci a failover na aplikacni urovni a koupit si levny a bezny HW nez cpat penize do hromady zeleza, ktera je uz zitra stara.

[Peto_MiG]

Pred casom som dokonca videl aj fotku takeho stroja a celeho datoveho centra.

V skratke ide o to, ze Google naozaj vsadil na pocet, nizku jednotkovu cenu, geograficku rozptylenost a svoju vlastnu softverovu technologiu zabezpecujucu redundanciu dat.

Jeho datove centrum je v podstate prepravny (lodny?) kontajner, ktory ma po oboch dlhsich stenach same rackove police s chodbou uprostred. Police su plne samostatnych rackovych serverov. V jednom kontajneri ich je cca 1500(?).

Kazdy server obsahuje zakladnu dosku vcelku beznych desktopovych parametrov (naposledy to bol tusim custom model od Gigabyte) s 2 procesormi, 2 diskami SATA v RAID1, priamo do zdroja je zapojena 12V bateria (taka ta bezna UPS-kova, asi 7Ah). Cele je to vmontovane do custom rackovej skrinky (obycajna plechova v style "nejde o dizajn ale o funkcnost). Finta je v tom, ze Google zistil, ze riesit zalohu napajania nejakou velkou centralnou UPS by bolo velmi drahe, kladlo by dalsie naroky na chladenie apod. Google riesenie (kazdy stroj - vlastna baterka) je genialne jednoduche a funkcne. V konecnom dosledku, Google jednoducho postavi kontajner, prenajme si konektivitu a elektricku energiu a fici to.

Kazdy stroj ma svojho dvojnika niekde inde vo svete, kde je indexovana rovnaka cast hesiel a navzajom sa to softverovo synchronizuje. Ked sa pokazi len disk, vymeni sa. Ked sa pokazi cely stroj, tak po zapojeni noveho sa nan automaticky nasypu data z dvojnika.

Nejako takto som to pochopil.

[zz9]

Jakze je to udelane s tou baterkou?

12V - AKU - ZDROJ - DESKA? (jak se dobiji ta aku?)

220V - ZDROJ - AKU-DESKA? (deska ma na sobe nejaky dalsi "zdroj" pro jine napetove vetve?)

Nebo uplne jinak?

---

"Kazdy stroj ma svojho dvojnika niekde inde vo svete"

Jenom jednoho na svete nebo kazdy stroj ma dvojnika v dane lokalite?

A jak se vlastne rozklada takova obrovska zatez? Geograficky DNS servery hodi pozadavky do spravneho datacentra co je "nejblize", porad nejak nerozumim, kdyz muj dotaz treba gmailu doputuje na konkretni server v konkretnim datacentru, jaky mechnismus zajisti, ze tam ten stroj bude mit na discich zrovno moje potreba data. Nebo snad se konkretni uzivatele vzdy dostavaji na tentyz "par"(n-tici) stroju?

[Vlastimil Šetka]

Co jsem viděl z fotek, tak tam 12V baterka je připojená dovnitř zdroje, který řeší její nabíjení a přepnutí, když vypadne 230V. Prostě si představ elektroniku UPS integrovanou v ATX zdroji - díky tomu tomu, že ten zdroj nemusí dělat tolik různých napětí jako u ATX to může být jednodušší. Jiná napětí než jdou ze zdroje je asi levnější dělat pomocnými obvody na základní desce.

K funkci na aplikační úrovni je třeba si uvědomit (obecně, nejen v případě Googlu), že požadavek na zobrazení 1 stránky vůbec nemusí provádět 1 stroj. I u jednoduché aplikace můžeš mít na 1 stroji třeba PHP skripty a na 2. stroji databázi, oba spolu komunikují přes síť. U Googlu (nebo při jiné obdobné zátěži) to může vypadat nějak takhle: pomocí DNS se tvůj požadavek nasměruje na 1 z X strojů, tzv. loadbalancer. Ten má přehed o dalších strojích, které můžou požadavek zpracovat, ví jestli běží, jak jsou zatížené atd. Ten loadbalancer přepošle tvůj požadavek např. na nejméně zatížený stroj, nebo náhodně na kterýkoliv běžící. Je možná třeba ještě jedna úroveň přeposílání např. podle aplikace (hledání, gmail, apps). Dejme tomu že chceš zobrazit zprávy v inboxu gmailu: stroj zpracovávající tvůj požadavek ty zprávy na disku samozřejmě nemá, ale ví, jak se k nim přes síť dostat. Tomu se říká distribuovaná databáze nebo souborový systém. Všecha data jsou rozprostřená na různých strojích a jejich discích, a vedle toho se udržuje informace, na kterém stroji (bude jich víc, kvůli tomu kdyby jeden vypadl) jsou zrovna tvoje e-maily uložené.

Naopak když třeba přijde e-mail, tak stroj, který ho zpracovává, ho vůbec nemusí ukládat na svůj disk, ale podle konfigurace ho uloží třeba na 3 jiné stroje z X tisíc (desítek tisíc?), které google má. Kam se zrovna tvůj e-mail uloží se vybírá třeba podle toho, kde je dost místa a asi se myslí i na to, aby e-maily z jedné schránky byly uloženy u sebe.

Neříkám, že přesně takhle to funguje, ale princip jak se zvládá takhle velká zátěž a velké množství dat je snad zřejmý.

[zz9]

To je hodne zajimave. Da se toto nejak nasimulovat v mensim poctu stroju? Existuji opensource projekty, ktere by tuto problematiky nejak kompletne resily? Neco jsem cetl o hadoop, ale nejsem z toho moudry. Nebo alespon nejaky kvalitnejsi materialy ke studovani?

[BrainLess]

Google ( jeho pracovnici ) mysleli a tyhle drahe cetky nepouzivaji. Misto toho pouzivaji "homemade" PC servery ( normalni pc uzpusobene potrebam googlu = bez zvukovky, porty jenom co potrebuji, zadnej brutalni vykon ). A pro vysokou dostupnost upravili software nikoliv HW. Pouzivaji vlastni DB ( BigTable ).

[Ivan]

jj. FC je pekna hracka, ale bohuzel prilis draha. Kdo by si myslel, ze na konsolidaci usetri, je blazen. U nekterych vyrobcu poli dokonce plati, ze cim vetsi pole tim vetsi cena za GB. Ciste teoreticky mate moznost u velkych poli pouzit ruzny SW vychatavky, ale praxi na to skoro nikdo nema odvahu.

[Marek Stopka]

U nekterych vyrobcu poli dokonce plati, ze cim vetsi pole tim vetsi cena za GB.

Jo, jenže taky to pole pak umí uplně jiné věci, že... :) Třeba FICON, a když máš mainframe, tak na euro nehledíš, jinak by si už dávno měl otevřené systémy.