abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 12:44 | Komunita

Nadace Cloud Native Computing Foundation (CNCF), jejíž cílem je usnadnit spolupráci při vývoji a zavádění nových cloudových technologií, projekt konsorcia Linux Foundation, organizovala od 10. do 13. prosince v Seattlu konferenci KubeCon + CloudNativeCon North America 2018. Shrnutí dění na konferenci v příspěvku na blogu. V úvodu konference společnost Red Hat věnovala této nadaci distribuovanou key-value databázi etcd. Jedná se o

… více »
Ladislav Hagara | Komentářů: 0
14.12. 14:33 | Nová verze

Byla vydána nová verze 1.30 editoru zdrojových kódů Visual Studio Code (Wikipedie). Přehled novinek i s náhledy a animovanými gify v poznámkách k vydání.

Ladislav Hagara | Komentářů: 2
14.12. 14:22 | Nová verze

Deset dnů po představení beta verze byla vydána stabilní verze Steam Linku pro Raspberry Pi umožňující streamovat hry ve službě Steam z počítače na televizní obrazovku.

Ladislav Hagara | Komentářů: 9
13.12. 20:00 | Nová verze

Byla vydána (YouTube) verze 2018.3 multiplatformního herního enginu Unity (Wikipedie). Přehled novinek i s videoukázkami v příspěvku na blogu a v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
13.12. 19:33 | Nová verze

Byla vydána verze 18.12.0 KDE Aplikací (KDE Applications). Přehled novinek v kompletním seznamu změn a na stránce s dalšími informacemi. Správce souborů Dolphin umí nově například zobrazovat náhledy dokumentů vytvořených v LibreOffice a aplikací ve formátu AppImage. Konsole plně podporuje obrázkové znaky emoji. V Okularu lze k pdf souborům přidávat poznámky.

Ladislav Hagara | Komentářů: 12
13.12. 17:11 | Nová verze

Byla vydána nová stabilní verze 2.2 (2.2.1388.34) webového prohlížeče Vivaldi (Wikipedie). Z novinek vývojáři zdůrazňují například vylepšení správy listů - vybrané listy lze uložit jako relaci, možnost zobrazení klávesových zkratek určených webovou stránkou nebo možnost přehrávání videí v režimu obrazu v obraze. Nejnovější Vivaldi je postaveno na Chromiu 71.0.3578.85.

Ladislav Hagara | Komentářů: 9
13.12. 14:22 | Nová verze

Po 4 měsících vývoje od vydání verze 3.0.0 byla vydána nová verze 3.1.0 otevřeného emulátoru procesorů a virtualizačního nástroje QEMU (Wikipedie). Přispělo 189 vývojářů. Provedeno bylo více než 1 900 commitů. Přehled úprav a nových vlastností v seznamu změn.

Ladislav Hagara | Komentářů: 0
13.12. 01:32 | Nová verze

Letos bylo v komunitě Mageia hodně změn. Po volbě nových vedoucích přišla velká aktualizace a krátce na to udržovací verze 6.1. 7.12., dle plánu, vyšla Mageia s číslem 7 v její první beta verzi. Chyby můžete hlásit v bugzille. Chyby v českých překladech pak na fóru české komunity.

Joelp | Komentářů: 3
13.12. 00:11 | Zajímavý projekt

Kvůli rychlejšímu vývojovému cyklu byla přemístěna Cinelerra-gg. Cinelerra-gg je fork Cinelerry-hv. Některé rozdíly forků popisuje sám hlavní vývojář William Morrow (aka GoodGuy). Není zde popsán i fork Lumiera, zřejmě kvůli zatím nepoužitelnému stavu.

… více »
D81 | Komentářů: 3
12.12. 19:11 | Nová verze

Do aplikace pro instant messaging Telegram (Wikipedie) lze nově nahrát češtinu. Více v příspěvku na blogu Telegramu.

Ladislav Hagara | Komentářů: 7
Chystáte se přejít na Wayland na „desktopu“?
 (24%)
 (8%)
 (12%)
 (31%)
 (25%)
Celkem 134 hlasů
 Komentářů: 19, poslední 14.12. 18:37
Rozcestník

Dotaz: Synchronizovaná SQL databáze na dvou lokalitách

8.6.2017 13:37 jan.rok | skóre: 18
Synchronizovaná SQL databáze na dvou lokalitách
Přečteno: 1242×
Dobrý den,

dovolím si poprosit o osvětlení toho, jak funguje nebo nefunguje sychronizace SQL databází mezi dvěma lokalitami.

Konkrétní případ třeba takový: Ve dvou lokalitách je stejná aplikace (nemusí nutně běžet najednou), která používá SQL databázi. Bylo by ideální, kdyby tatáž data byla v daném okamžiku na obou místech. Je možné toto zajistit třeba Dropboxem? Hrozí nebezpečí, že když bude aplikace pracovat s databází a zároveň ji bude synchronizovat přes Dropbox, že dojde k porušení dat? Pokud ano, jak tedy funguje replikace databází třeba v MSSQL? Není to něco podobného?

Nebo je rozdíl v tom, že Dropbox pracuje na úrovni souborů, kdežto replikace na úrovni vět? Neřeší riziko porušení dat právě transakční způsob zpracování?

Děkuji za vysvětlení. Honza

Řešení dotazu:


Odpovědi

Max avatar 8.6.2017 14:57 Max | skóre: 66 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Záleží, jakým způsobem chceš rozložení zátěže, případně failover řešit.
HA řešení, kdy na více místech máš stejná data pro zápis i pro čtení jsou poněkud náročná a je to podle mně úplně jiný svět (reálně syncovat tisíce transakcí mezi dvěma lokalitama s dobrýma odezvama).
Nejčastější je klasicky master-slave replikace, kdy master db je otevřena jak pro čtení, tak pro zápis, tak slave db je jen pro čtení.
Dobrým postupem je HA řešit i samotnou aplikací. Tzn., nevyvíjet hloupě s tím, že backend a celé HA ti zařídí jen db servery.

Jinak replikace funguje tak, že primární db vytváří v nějakých intervalech(časových, nebo oběmových) transakční soubory, ty se přenášejí do druhé lokality a tam se aplikují do druhé db. Tím se zajistí 100% konzistence dat s minimálním rollbackem a trafikem.
Replikace na úrovni souborů je mimo, tak se to rozhodně neřeší, páč nejde moc dobře zajistit 100% konzistentní stav.
Zdar Max
Měl jsem sen ... :(
8.6.2017 15:05 EtDirloth | skóre: 9
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Pekne zhrnute.

Poznamka k file-based replikacii: v PostgreSQL bola prva (a stale pouzitelna) implementacia master-slave replikacie zalozena prave na WAL log shipping, kedy sa zmeny nestreamovali cez priame prepojenie serverov, ale vlastnou cestou - napr. cez rsync. Tento sposob je tiez uzko spojeny s PITR.
Max avatar 9.6.2017 11:54 Max | skóre: 66 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Tak ono je jedno, zda se přenos transakčního logu řeší v rámci nějakého spojení mezi db, nebo tak, že se generuje file, který je nutné přenést. Princip to je stejný, jen první variantu člověk nemusí moc řešit.
Třeba Oracle generuje transakční soubory, ty rsyncem přenášíme do vzdálené lokality a zároveň se tam spouští pokyn k načtení transakčních logů. A tak stále dokola každých x min.
Jinak Oracle disponuje automatizovanými nástroji, ale ty jsou převážně jen pro enterprise edici, která je v jiném cenovém řádu.
Mno a pak je jedno, kolik replik člověk má, je to jen o tom, kam všude ty transakční logy bude kopírovat a výkon primárního serveru není nijak ovlivněn.
Další výhodou této replikace je i to, že je to záloha. Pokud si člověk dělá jeden dump db týdně + si nechává transakční soubory, tak se lze dostat do jakéhokoli času k datům (obnový se dump + dohrají transakční soubory k příslušnému datu/času).
Zdar Max
Měl jsem sen ... :(
9.6.2017 13:13 EtDirloth | skóre: 9
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Az po tomto ma napadlo, ze povodna otazka mohla byt o synchronizacii adresara celeho DB clusteru - a ze k tomu si sa asi povodne vyjadroval aj ty.

To by mohlo fungovat napr. pri SQLite.

V PgSQL by to vsak mohlo fungovat prave na urovni WAL file shipping cez dropbox. Tak, ze archive_command by kopiroval do adresara synchronizovaneho cez drop-box. A rovnakou cestou by sa mohol distribuovat base-backup pre potreby inicializacie replik(y).
9.6.2017 14:10 Kit | skóre: 42 | Brno
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
SQLite na sdílených úložištích nefunguje jak má a je vcelku jedno, který použiješ protokol. SQLite musí být na stroji, kde sídlí i aplikace, která s touto databází pracuje.

PostgreSQL by na tom mohlo být podobně nebo ještě hůře. Kdekdo zapomíná na špinavé cache, kterých by tam byla hromada.

Raději bych synchronizoval hromadu drobných XML, to by se ještě přes Dropbox ukočírovat dalo. Databáze i s aplikací na cloudu však bude mnohem lepším řešením.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
8.6.2017 15:08 jan.rok | skóre: 18
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Děkuji za shrnutí.
8.6.2017 16:56 Kit | skóre: 42 | Brno
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Otázkou je: Proč chceš dvě databáze ve dvou lokalitách? Nestačila by jedna databáze někde na cloudu, ke které by mohly přistupovat aplikace z obou lokalit?
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
8.6.2017 19:53 jan.rok | skóre: 18
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Asi by stačila. Spíš mě zajímalo, jak by se chovalo to řešení s Dropboxem. Nejde o nic konkrétního, jen o úvahu.
8.6.2017 20:12 Kit | skóre: 42 | Brno
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Obrovská režie při synchronizaci a databáze permanentně rozbitá. Stačí?
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
9.6.2017 12:09 cronin | skóre: 49
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
O zlepení synchronizácie databázy cez iné ako jej vlastné nástroje ani neuvažuj, leda že by si sa chcel niekomu pomstiť.

V prvom rade sa uisti, že rozumieš CAP teorému. A keď Ťa prejde frustrácia, realisticky zváž požiadavku na master-to-master replikáciu.
9.6.2017 12:58 EtDirloth | skóre: 9
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Tomuto moc nerozumiem. IMHO zbytocne matuca reakcia - vobec neviem, ci je to len off-topic, alebo mi nieco uslo.

Ja pisem, ze v PgSQL si to musel a teraz mozes riesit vlastnymi prostriedkami. Max pise, ze s Oracle to musis robit do urcitej urovne licencie. Tazatel nespomina ani distribuovanu DB, ani master-master replikaciu. Jedine, co riesi, je redundancia dat, dokonca spomina, ze moze ist o master-slave - "aplikace nemusí nutně běžet najednou".
Jendа avatar 11.6.2017 19:08 Jendа | skóre: 75 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Hrozí nebezpečí, že když bude aplikace pracovat s databází a zároveň ji bude synchronizovat přes Dropbox, že dojde k porušení dat?
Ano, extrémní. Většina těchto synchronizačních nástrojů funguje tak, že soubor otevře a pak ho lineárně čte a změny přenáší na druhou stranu. Pokud jsi uprostřed čtení a změní se něco na začátku i na konci souboru, přeneseš jenom tu změnu na konci souboru.

Teď si představ jednoduchý příklad, že databáze je obyčejný AVL strom (nejsme tak daleko od pravdy, například MySQL používá interně B-strom) a databáze zrovna zjistila, že je rozbalancovaný a je potřeba provést rotaci, což znamená přepsat pár pointrů na začátku a pár na konci. No a teď ti běží synchronizace dropboxem a pointry na začátku ukazují na původní umístění (které už třeba neexistuje nebo je tam něco úplně jiného) a pointry na konci na nové. Strom se tím totálně rozbil.
Zase přijde vánoční pohled od nyní 120leté Judy, protože když umřela, nikdo nesmazal ten cronjob…

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.