Dotaz: Mysql master-master replikace

[replikator]

Vypada to, ze jsem zprovoznil master-slave replikace v mysql. Predpokladam, ze kdyz mam v my.cnf binlog-ignore-db=mysql, tak se replikuji vsechny db krome mysql? Slo by udelat i opacny proces: replikovat master na slave a slave na master na tech samych databazich aniz by se narusila konzistence dat?

Odpovědi

[replikator]

Tak jsem tu replikace master-master zprovoznil. Zajimalo by mne ale proc nefunguje drop user? Synchronizuji vsechny db i mysql, vytvareni uzivatelu funguje i s replikaci, ale pos smazani se na master2 objevi v logu jen : Error 'Operation DROP USER failed for 'aaaaa'@'%'' on query. Default database: 'mysql'. Query: 'DROP USER 'aaaaa'@'%''

[Kroko]

a hodit treba odkaz nebo popis jak ? kdyz to pak nekdo hleda a nevi si rady

[cronin]

Tak jsem tu replikace master-master zprovoznil.

Do haja s Oracle RAC, uz mame master-master replikaciu v MySQL.

Neber to ako zlomyselnost, len ako upozornenie, ze pravdepodobne nemas master-master replikaciu, ale iba nieco, co ju pri priaznivej konstalacii hviezd pripomina, a pri prvom vhodnom subehu aktualizacii dat na oboch koncoch Ti dokonale rozbije celu databazu. Testuj zalohy a maj ich v pohotovosti.

[replikator]

No asi to neni prava master-master replikace, ale oba stroje pouzivaji binarni logovani dotazu a navzajem si "tahaji data". Konfigurace druheho ze stroju:

# kdyby nahodou oba zapisovaly ve stejny cas, tak offsetuj autoincrement
auto_increment_increment=2
auto_increment_offset=2

master-host = 192.168.1.21
master-user = replication
master-password = heslo
master-port = 3306

log-bin

server-id=2

Proc by to melo pokazit databazi?

[replikator]

Respektive jeste by to chtelo osetrit treba pripad, kdy aplikace do stejne tabulky na obou master strojich zapise nejaky unique sloupec a nejake hodnoty do ostatnich sloupcu, tak pak budou na obou strojich rozdilne zaznamy. Chtelo by tomu rict, ze pokud najde shodu, at vymaze zaznam na master2 a nahradi ho tim z master1, jenze tohle jej jen kopirovani bin logu. Jak tohle poresit?

[cronin]

Chtelo by tomu rict, ze pokud najde shodu, at vymaze zaznam na master2 a nahradi ho tim z master1, jenze tohle jej jen kopirovani bin logu.

Takze ono v tej master-master replikacii je jeden vacsi master a jeden mensi master.

Jak tohle poresit?

Od toho su prave tie tazkotonazne riesenia za stotisice korun.

Naco vobec master-master replikaciu potrebujes? Nestacila by jedna databaza so spolahlivou schemou zalohovania a nacvicenym procesom obnovy?

[Radim Kolář]

Protoze dane reseni trpi na race conditions a problem s lost update. Nedostanete shodne, ale jen podobne databaze.

Obvykle to lidem provozujici mysql nevadi, pokud tedy zrovna nejde o prachy (eshop apod) kde ztracene zaznamy z db mohou znamenat financni ztratu.

[replikator]

Databaze bude vyuzivana pro web(php), prihlasovani uzivatelu do systemu linux, mail. To cele pro nekolik serveru, takze jsem chtel vytvorit HA pro pripad kdyby jedna databaze lehla, aby bezela druha, jinak by totiz nemohly bezet sluzby na ostatnich serverech. Jak tohle cele teda poresit? Spousta aplikaci(treba i dovecot umi pro mysql pouzit vice serveru a nazyva to HA). Napadlo mne jeden ze serveru zablokovat ve firewallu a v pripade nutnosti ho povolit, ale je to takove polovicate reseni.

[cronin]

To cele pro nekolik serveru, takze jsem chtel vytvorit HA pro pripad kdyby jedna databaze lehla, aby bezela druha, jinak by totiz nemohly bezet sluzby na ostatnich serverech. Jak tohle cele teda poresit?

Vidim dve moznosti:

1) Klucova je cena, a preto je free databaza nutnostou. V tom pripade to odporucam riesit tak, ako som uz pisal vyssie: monitoringom dostupnosti sluzby, spolahlivym zalohovanim a nacvicenym procesom obnovy; podla potreby to moze zahrnat pripraveny, nakonfigurovany [a beziaci] zalozny server cakajuci na import zalohy. Staci komoditny hardver, komoditne sietove prvky, vstupne naklady na databzu su nulove, administracia vyzaduje "len" vytvorit scenar zalohy a obnovy, zautomatizovat co sa da skriptami a potom uz len kontrolovat a pravidelne precvicovat obnovu.

2) Klucova je dostupnost, vypadok by viedol k obrovskym stratam. V tom pripade nemoze hrat rolu cena a mozete ist do Oracle Real Application Cluster alebo obdobnej technologie od ineho velkeho dodavatela. Tu uz pojde o non-pc hardver, nezavisle diskove polia, pravdepodobne dedikovanu sietovu infrastrukturu, skolenia, certifikacie, zabezpecenie zastupitelnosti administratorov; inac povedane, zaciname na sume niekolkych stoviek tisic Eur.

Ako riesenie "nieco medzi tym" sme pouzili EnterpriseDB, co je free klon PostreSQL s volitelnym komercnym, ale stale proti Oracle/DB2/MSSQL velmi lacnym supportom. Databazy boli dve v rezime master-slave replikacie. Slave databaza sluzila ako zdroj udajov pre aplikacie, ktore udaje iba citali, master databaza pre aplikacie, ktore aj zapisovali. V priapde vypadku slave databazy (k comu skutocne doslo) sa jednoducho docasne "read-only" aplikacie presmerovali na master databazu. V pripade vypadku master databazy (k comu nedoslo) by sa vypla replikacia, "read-write" aplikacie by sa presmerovali do slave databazy a obnovenie master-slave rezimu by sa uskutocnilo planovane niekedy v skorych rannych hodinach. Nakoniec len dodam, ze toto riesenie bolo pouzite pre zakaznika, ktoreho financny prijem do velkej miery zavisel na dostupnosti dotknutych aplikacii, a bolo to cosi daleko vaznejsie ako nejaky e-shop ci reklama na spravodajskom portali.

Rieseni "nieco medzi tym" moze byt vela. Zabezpecenie dostpunoti vyssej ako 98% stoji dost vela penazi i usilia a pridavanie dalsich deviatok cenu i usilie exponencialne zvysuje. Takze myslienka "chcem HA" je velmi pekna a je sympaticke, ze na to pri navrhu sluzby myslis. V zapati si ale poloz otazku, kolko si do HA ochotny a schopny investovat. Penazi aj usilia.

[Pavel]

A co MySQL cluster?
http://dev.mysql.com/tech-resources/articles/mysql-cluster-for-two-servers.html

[replikator]

Mysql cluster je trochu moc. Jde mi hlavne o bezpecnost dat. O rychlost taky, ale bezpecnost je to hlavni. A navic mam k dispozici dva servery, coz je na clustering trochu malo(minimalne je myslim 2+managment). Dulezita je pri navrhu hlavne cena. Asi pujdu cestou takove castecne "HA" s tim, ze jeden bude trvale pouze slave bez replikace mysql tabulky a s uzivateli omezenymi pouze na select. Da se nejak overit jestli jsou databaze na master i na slave stejne(aniz bych dumpoval mysql a pak to hnal pres diff)?

[fixinko]

skus http://www.maatkit.org/

[Radim Kolář]

Co jste konretne pouzili? Standard Server se supportem za $3k/rok?

http://www.enterprisedb.com/products/purchase.do

nejlevnejsi DB2 co umi replikaci stoji taky $3k/rok a ja bych radsi sel do te db2, uz jenom pro ty nastroje co se k tomu daji dokoupit a po zkusenostech s mnoha lety slony1 v produkci mne stale neopravene chyby slony1 dost nudi. Navic ta slony1 replikace brzdi mastera asi o 30%, u slave je to jeste horsi. Naprosto nepouzitelne pokud je tam vetsi db load. Kdy presne chcipne jsem nezkousel (odhaduji 200k rows/minutu) pri 1m zmenenych zaznamu/minutu je uz naprosto bez sance - slave se nikdy nechytne. Navic slony1 vyzaduje stejnou verzi na vsech node - nemoznost rolling upgrades.

[cronin]

Ked sme to nasadzovali, support stal 1000 USD/rok a v ramci dodavky sme ho neriesili. Neviem, ci si ho zakaznik nakoniec kupil alebo nie. IIRC, pouzivalo to slony2, ale mozno sa mylim. Spomalenie sposobene replikaciou bolo na urovni chyby merania, t.j. objektivne nemeratelne. Zataz bola kombinovane OLTP/OLAP, ale dany load zvladali tie stroje (blejdy od IBM) ako sa vravi "s prstom v nose". Nejaky meratelny load tam bol iba pri davkovych joboch, a aj ten bol taky, ze ho po odstraneni jedneho skaredeho issue v OR mappingu a doladeni indexov nikto dalej neriesil.

[Kenji]

Čistě teoreticky co použít mysql-proxy (pokud to umí) a docílit toho, že si budou servery vzájemně přeposílávat příkazy?

[Radim Kolář]

Statement-level replikace trpi na races. Proto to profi sfera nepouziva.

[Kenji]

Jinak zběžně jsem četl to MySQL cluster howto. Na to by se krásně hodil Solaris a zóny Případně jiná forma virtualizace.