Dotaz: Rada - Servery ve více lokalitách a stejná data

[Tomasekkk]

Ahoj,

prosím, řeším jeden problém. Rád bych nabídl službu, která by byla dostupná z více míst po celém světě. Chci se zeptat Vás odborníků než oslovím nějakou firmu a rád bych chtěl znát odpověď na tyto otázky, případně tipy jak to řešit. Servery bych chtěl umístit do datových center v ČR a např. v Neměcku, Asii atp.:

1) Jak synchronizovat data (databáze, web) na všech serverech zároveň? 2) Jak se řeší to, aby když je uživatel např. v Německu, aby se nedostal zadáním domény www.domena.com na server v ČR nebo Asii, ale aby se dostal do Německého serverhousingu? Pokud je zase další uživatel např. v Číně, aby se dostal do Asijského serverhousingu? 3) Jak řešit datový disk pro ukládání fotografií tak, aby se dal stále navyšovat (nebude extra výkonný)? Lze využít obyčejných linuxových distribucí a raidových řadičů? Odhaduji, že ze začátku bude potřeba data v řádek TB, ale do budoucna se to bude rozrůstat - pronájem místa v serverhousech bych nechtěl a investici bych zařídil na své náklady. 4) Jak vyřešit výpadek jednoho serveru, aby se při výpadku tohoto "primárního" serveru přeskočilo na jiný server, který bude např. ve stejném datovém centru nebo jinde ve světě? (DynDNS?)

Mnohokrát děkuji za radu

Tomáš

Odpovědi

[Max]

Ohledně DNS a odpovědí podle lokace, to se řeší třeba takto :
bind-geoip patch - example
Load balacing u DNS se dělá pomocí Round-Robin DNS
Zdar Max

[hates]

Koukam ze chces zprovoznit neco jako ma facebook, google atd aby ses dostal zvzdy do tve spadove oblasti. Toto se resi na sitove vrstve a jen tak v ruznych datacentrech to nepujde. Nejlepe by na toto bylo asi zridit si sve vlastni AS, ktere si rozprostres po svete a v nem budes vse provozovat. Tranzit do sveta vyresis ores BGP a nasledne musis jeste osetrit aby si vzdy ve spadove oblasti vracel IP, ktere jsou v urcite casti sveta.

Potom se muzes pustit do navrhu replikaci dat mezi jednotlive servery.

Takto od boku nelze uvbec rici jak to resit podrobneji, ale pocitej ze to nebude vubec levna zalezitost a ta cifra bude s minimalne 6ti nulami pouze na start te technologie

[Jendа]

Toto se resi na sitove vrstve a jen tak v ruznych datacentrech to nepujde. Nejlepe by na toto bylo asi zridit si sve vlastni AS, ktere si rozprostres po svete a v nem budes vse provozovat.

Levnější varianta je vracet různé DNS odpovědi na základě nějaké GeoIP. Funguje to o trochu hůř, ale mohlo by to stačit.

[lertimir]

Tak tak, např. pro nás je www.whitehouse.gov na serveru společnosti akamai někde asi ve Vídni.

[NN]

geo cluster + dns load blancer 50c

[Tomasekkk]

Děkuji za rady, ale moc informací o Geo Clusteru jsem nenašel. Jedná se také o "aplikace" do Linuxu, které by k tomu šly využít? Nejspíš se bude vždy jednat o placené produkty, že? Myslel jsem, že by se to také dalo nějak řešit pomocí Dynamických DNS a případně přístupu z jiné "lokality" by server "přesměroval" uživatele na jinou IP adresu -> Druhý server.

[Tomasekkk]

DNS loadbalancer jsem teď nastudoval, stačí v named přidat tolik řádků jako mám serverů s A záznamem na určitou IP adresu. To by nebyl problém. Teď jen vyřešit tu geolokaci :(

[Tomasekkk]

Ještě další dotaz, jak funguje přesně tedy ten DNS load balancer?

Nastavil jsem tedy více A záznamů pro určitou "subdoménu", jak to funguje ve windows když je nacachovaný záznam? Nějak jsem to testoval, TTL momentálně mohu nastavit na min. 300, ale ani po tomto čase se mi ve windows neprojeví změna na jinou IP adresu. Musím udělat flush dns a pak se změna projeví. Podle čeho vůbec DNS pozná, že je tato IP nedostupná? Asi netestuje jen PING, je to tak?

[hates]

geo dns balancer se udela na zaklade acl, pohledu a allow-query v pohledu.

budes mit treba tri lokace asie, usa a evropa

udelas si tedy tri acl listy a v kazdem budes mit pridelene pouze IP, ktere patri na ten kontinent. potom si vytvoris 4 pohledy. na kazdy pohled das allow-query prave s jednim acl a na posledni ctvrty das any. toto ti zajisti, ze pro kazdou lokalitu budes vracet zaznam ze zonoveho souboru pro danou lokalitu a pro qny napriklad vyuzijes ten zonovy soubor pro evropu.

vyse byl udan i patch, kterym muzes definovat lokality malinko jinak a umito treba i perimetr.

no a potom musis zajistit jednotlive servery v lokalitach a nejak udelat master master replikace dat

[Filip Jirsák]

Když tu službu budete provozovat na jednom serveru, pořád bude dostupná z více míst po celém světě. Bude dostupná z kteréhokoli místa na světě, kde je přístup na internet.

To, co popisujete dál, je, že tu službu chcete provozovat z více míst. Pak je potřeba si hlavně ujasnit, proč to chcete dělat. Pokud je důvodem jen nízká latence, opravdu potřebujete mít replikovanou databázi? Nebude roundtrip databázového dotazu daleko větší, než rozdíl v latenci mezi přístupem na blízký a vzdálený server?

Otázky, které kladete, mají řešení, ale vůbec není to levné – a dost to vypadá, že jdete s atomovou bombou na vrabce.

[NN]

Je realna alternativa s jednim serverem + pole a nekolika caching proxy na vzdalenych lokalitach?

[hates]

Ano je realna, ale zase neco za neco. Jak budete tahat data na cache. TO vse zvysuje latence. Predstavte si, ze mate jedno pole v evrope a v americe pouze cache kde mate jen tzv proxy. Ta proxy si ta data stahnout musi stejne z evropy a potom je naservirovat. uzivateli. Neni jednodussi at si uzivatel o ne rekne primo v evrope ?

Geo CLuster se resi napriklad v pripade kdy na kazde lokalite mate napriklad web + MySQL pouze pro cteni. Tato DB se synchronizuje z master serveru. Cteni probiha z lokalni DB, ale zapis stejne mate do master databaze. Pote si ostatni DB po svete sesynchronizuji data z master a vraci je pri cteni rychleji. Ale zapisu se stejne nevyhnete na master. Pokud by jste delal cluster MySQL master master tak musite zajisti konzistenci dat na vsech mistech. Ale to jsou data, ktere se daji replikovat rychle ale za cenu konzistence.

Pokud budete chtit resit napriklad replikaci FS a velkych souboru tak to bude trvat podstatne dele. Na to musi byt vzdy pripravena aplikace aby si s tim poradila a uzivatelum bude servirovat data az v pripade, ze jsou konzistentni.

[Kit]

Databáze by měla být jen jedna a to společná pro všechny servery. Potřebná replikace se tím přesune na nižší level.

[Ivan]

Tohle spojuje nekolik problemu dohromady.

Ze sitovyho pohledu muzes pouzit load balancing DNS, triky s BGP anebo anycast ip adresy.

Z databazovyho pohledu je to snad jeste slozitejsi. Potrebujes multi-master replikaci anebo ti staci master-slave? Multi master umi napr: Sybase, Informix anebo Oracle(+GoldenGate)

Pak je tu jeste hledisko HA? Chces aby se lokality navzajem zalohovaly?

Obavam se, ze takovou investici za vlastni naklady nezaridis. Delat veci jako Google znamena, mit rozpocet jako Google.

[Juraj]

Existuju na to hotove sluzby ako Amazon CloudFront. Minimalne na rozbeh je to lacnejsie ako hned kupovat servery po celom svete.

[j]

Toto nema vubec smysl resit, pokud nechodi na ten web stovky tisic navstev. A az budou chodit, bude jiste i dostatek financi na reseni. Ale resit latence u webu? ...

Google(a dalsi) distribuuji sva data predevsim proto, ze generuji pomerne velky provoz po siti a pak vyjde ekonomictejsi, mit data uzivatelum blize. Ale to neplati pro web.

Mimochodem, detekce podle IP je to nejvic nasirajici reseni ktery existuje. Nenasere nic vic, nez kdyz napisu google.com a posle me to na google.cz.