Dotaz: Jak ridit sitovy cluster?

[Bill Gates]

Hoj, resim takovou teoretickou otazku, v pripade ze mame nekolik serveru, kdy jeden z nich je master (ridici) a zbytek jsou slave (podrizene).

Kazdy slave replikuje data z masteru (v ramci optimalizace datovych cest funguje i replikace slave - slave), master rozdeluje zatez mezi slave servery pokud je to nutne a slave servery funguji tak, ze jsou kdykoliv schopne se ihned stat novym masterem v pripade vypadku nebo odpojeni masteru. Servery jsou geograficky ruzne po svete, ale funguji jako jeden system.

Ciste teoreticky: Prijde kopirovacim monopol s vrchnim statnim ideologem s policajtem za zady a zabavi slave - nic se nedeje. Policajt prijde do kanclu a hrozne ho rozzuri, ze system jede dal, protoze si myslel, ze vyrazenim slave znemozni funkci projektu. Tak tedy jde do jine serverovny a trefi na master. Zabavi ho. Vypne ho, zlikliduje ho, zakaze firme poskytovat konektivitu takovemu projektu, nebo ho nejak jinak znedostupni. Ted ma takova sit radu slave serveru a jeden z nich se musi stat novym masterem.

No a ja ted resim jakym zpusobem by si ta sit mela urcit, ktery ze slave bude novym masterem tak aby nenastala kolize, ze by si dva slave mysleli ze jsou master a pohadali se. Muzou se stat mastery, docasne oba, pokud se na takove siti stane to, ze diky ustrizene konektivite vzniknou takhle dve site neschopne spolu nijak komunikovat.

Urcite by bylo dobre aby master byl schopen v pripade potreby se stat opet slave serverem, pokud se na siti vyskytne nejaky jiny "autoritativnejsi" master. Ovsem ktery z nich si tohle rekne?

Dost spekuluji nad moznosti ridit takovou sit pomoci TXT zaznamu v DNS. To je ale zase uskali v tom, ze domena se da odstavit, takze by muselo byt domen vice a system by na zaklade nejakeho nejvyssiho ID v platnem (treba zasifrovanem) TXT zaznamu toto id nasel, zaznamy by setridil a autoritativni by byl pouze ten prvni zaznam, ktery by vlastne obsahoval zakladni rizeni pro takovou sit. Tak se da ridici master domena s TXT zaznamem snadno presmerovat pouhym zvysenim nejakeho zakodovaneho ID v ramci informace v TXT zaznamu.

Mate nekdo nejake jine napady jak takovouto sit udelat "neznicitelnou" ?

Odpovědi

[Ariczek]

No a ja ted resim jakym zpusobem by si ta sit mela urcit, ktery ze slave bude novym masterem.

Jsou na to algoritmy pro vyber vůdce. Zjednodušeně má každej node id a vybere se ten s nejnižším. Případně se poskládá podle nějakejch kritérií z nodů strom a za mastra se vybere kořen.

[j]

Tohle je napadnutelny, udelal bych to stejne jako se chovaj sitovky na koaxu. Jednoduse se po ztrate mastera pusti nejakej nahodnej counter a prvni kdo se dopocita se ohlasi jako master. Pak probiha nejaky potvrzovani ... a pokud nedobehne do nejaky doby, tak se to zopakne.

Otazka je, zda neni lepsi mit cluster bez master serveru.

[petr_p]

Pokud myslíš Ethernet, tak tam se používá CSMA/CD, žádní vůdcové. Prostě když je na lince ticho, tak vysílám. Pokud je zachytím kolizi, tak počkám náhodně dlouho a opakuji vysílání.

Každý distribuovaný algoritmus je napadnutelný. Jediná obrana je být rychlejší/početnější než útočník.

[rubicon]

Ten algoritmus není až tak jednoduše popsatelný slovy "počká náhodně dlouho". Svého času, v době koaxiálního Ethernetu, se s tím hodně bojovalo (=existovaly alternativní algoritmy z hlediska soupeření o nosnou), protože Truncated Binary Exponential Backoff u CSMA/CD preferoval stanice, které vysílaly nejvíce. Jmenovalo se to Starvation/Capture Effect.

[xkucf03]

Jediná obrana je být rychlejší/početnější než útočník.

Každý člen clusteru by měl mít soukromý a veřejný klíč podepsaný certifikační autoritou (nebo by každý uzel měl veřejné klíče všech ostatních), aby šlo rozlišit legitimní členy clusteru od útočníků. Z napadených členů se sice dá ten klíč ukrást, ale dá se do dost znesnadnit a proti jednodušším útokům a pokusům o zahlcení nebo převzetí moci to poslouží.

[Bill Gates]

Toto je rekl bych vcelku sikovne resitelne pomoci certifikatu a klicu v OpenVPN, ktera je pro takovou sit rekl bych nejspise nezbytnosti nebo prinejmensim velmi uzitecna komponenta takove site. Interni komunikace mezi nody by nefungovala jinak nez pres interni VPN adresy (zpravidla 10.0.0.0/8).

[xkucf03]

Tady by byla vhodnější nějaká P2P virtuální síť – nebo tohle už OpenVPN umí?

[Bill Gates]

Pokud jde o autentifikaci pomoci klicu a certifikatu, sifrovani, p2p, spojeni klient-server a klient-server-klient tak ano, ja openvpn takhle pouzivam a dokonce ji pouzivam tak, ze kazdy z node je zaroven VPN serverem pro ostatni i klientem vsech ostatnich. Je mozno takto optimalizovat datove cesty z hlediska rychlosti a stability (poslat data rychleji pres jiny node se stabilnejsi datovou cestou a obejit tak problemoveho poskytovatele pripojeni jinudy). Neni to vhodne pokud je serveru v clusteru moc, pak spojeni kazdeho s kazdym je narocne a nastupuje opet jisty druh optimalizace.

Mozna by bylo dobre krome openvpn mit i jinou sit jako alternativu (napriklad tor), ktera muze najit cestu jinudy i v pripade, ze openvpn datovou cestu najit nemuze.

[petr_p]

S autoritou se ale jaksi vytrácí požadovaná decentralizace. A bez autority se musí uzly domluvit, komu věřit a komu ne, tedy opět stejný problém.

Jistě že autentizace asymetrickou kryptografií je dobrý nápad a se správně zvoleným časováním distribuovaného algoritmu dokáže výrazně znesnadnit útok, ale čistě teoreticky je to vždy jen o prostředcích, které je útočník schopen vynaložit.

[xkucf03]

S autoritou se ale jaksi vytrácí požadovaná decentralizace. A bez autority se musí uzly domluvit, komu věřit a komu ne, tedy opět stejný problém.

CA v tomto kontextu znamená bezpečně uložený pár klíčů u provozovatele – tyhle klíče jsou offline a použijí se jen při přidávání nového uzlu nebo při zneplatnění nějakého starého. Ano, je to jedno centrum, ale provozovatel je taky jen jeden. (případně by jich mohlo být víc a aby se mohl nový člen připojit do clusteru, musel by mít podpisy od všech provozovatelů – nebo třeba od tří z pěti atd.)

[citanus]

linux ha, geocluster, pacemeaker, arbitrator

http://en.wikipedia.org/wiki/Quorum_(distributed_computing)

http://lists.linux-ha.org/pipermail/linux-ha/2011-December/044485.html

[xxxs]

mozno podla poslednej synchronizacie. najaktualnejsi s poslednou dokoncenou aktualizaciou prevezme mastera. ak su znacky rovnake, tak nasleduje nejaky ciselnik. ocislujes podla toho, ake je pravdepodobnost prichodu vrchneho ideologa s policajtom v zavese, na danom mieste.

[Bill Gates]

Zde by byla nejspise nutna presna casova synchronizace mezi nody clusteru. Mozna by to bylo obtiznejsi udrzet v pripade nestabilni site. Umi si NTP nejak poradit s ne uplne pruchozimi sitemi? Treba nestabilni cas odezev v dusledku vypadku, ktere ale OpenVPN dokazala preklenout, nebo ruznorodeho vytizeni na siti...