abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 20:44 | Pozvánky

Fedora 29 Release Party, oslava nedávného vydání Fedory 29 a 15 let Fedory, se uskuteční v pondělí 26. listopadu v Brně a v úterý 4. prosince a v Praze.

Ladislav Hagara | Komentářů: 0
dnes 20:11 | IT novinky

Hodnota Bitcoinu, decentralizované kryptoměny, klesla pod 5 000 dolarů. Před 11 měsíci byla hodnota Bitcoinu téměř 20 000 dolarů.

Ladislav Hagara | Komentářů: 1
16.11. 17:00 | Nová verze

Simon Long představil na blogu Raspberry Pi novou verzi 2018-11-13 linuxové distribuce Raspbian určené především pro jednodeskové miniaturní počítače Raspberry Pi. Přehled novinek v poznámkách k vydání. Společně s Raspbianem byl aktualizován také instalační nástroj NOOBS (New Out Of the Box Software). Simon Long z novinek zdůrazňuje multimediální přehrávač VLC s hardwarovou akcelerací nebo vývojové prostředí pro Python Thonny ve verzi 3. Ke stažení jsou nově také lite a full obrazy Raspbianu. Raspbian Full opět obsahuje software Mathematica.

Ladislav Hagara | Komentářů: 0
16.11. 02:00 | Nová verze

Krátce po vydání Debianu 9.6 oznámil Tomáš Matějíček vydání verze 9.6 dnes již na Debianu založené živé linuxové distribuce Slax. Vedle vylepšení z Debianu je opraveno několik malých chyb. Opraveno bylo bootování pomocí PXE. Novinkou je skript s názvem pxe pro spuštění vlastního PXE serveru.

Ladislav Hagara | Komentářů: 0
16.11. 01:00 | Nová verze

Byla vydána beta verze Red Hat Enterprise Linuxu 8. Přehled novinek v příspěvku na blogu a v poznámkách k vydání.

Ladislav Hagara | Komentářů: 3
15.11. 13:44 | IT novinky

Nadace Raspberry Pi na svém blogu představila (YouTube) jednodeskový počítač Raspberry Pi 3 Model A+. Toto menší Raspberry Pi 3 lze koupit za 25 dolarů.

Ladislav Hagara | Komentářů: 0
15.11. 06:00 | Pozvánky

Dnes a zítra probíhá v Praze konference Internet a Technologie 18 pořádaná sdružením CZ.NIC. Sledovat ji lze online.

Ladislav Hagara | Komentářů: 0
15.11. 01:11 | Komunita

V září proběhl v Madridu Open Source CubeSat Workshop 2018. Videozáznamy přednášek byly zveřejněny na YouTube.

Ladislav Hagara | Komentářů: 1
15.11. 00:55 | Zajímavý software

Společnost Amazon představila Amazon Corretto. Jedná se o fork a distribuci OpenJDK (Open Java Development Kit) s dlouhodobou podporou od Amazonu. Ke stažení je preview verze 8. V plánu je také verze 11. Zdrojové kódy jsou k dispozici na GitHubu. Jedná se o reakci na oznámení společnosti Oracle, že bezplatné aktualizace její Javy nebude možné po lednu 2019 používat komerčně. Název Coretto vychází z Caffè corretto, tj. espressa s alkoholem.

Ladislav Hagara | Komentářů: 13
14.11. 12:44 | Nová verze

Po roce vývoje od vydání verze 5.2.0 byla vydána verze 5.3.0 svobodného integrovaného vývojového prostředí KDevelop (Wikipedie). Novinkou je analyzátor Clazy. Vylepšena byla podpora programovacích jazyků C++, PHP a Python. Ke stažení a k vyzkoušení je i binární balíček s KDevelopem 5.3.0 ve formátu AppImage.

Ladislav Hagara | Komentářů: 0
Jak nejčastěji otevíráte dokumenty na počítači?
 (92%)
 (3%)
 (5%)
Celkem 130 hlasů
 Komentářů: 10, poslední dnes 00:13
Rozcestník

Dotaz: Synchronizovaná SQL databáze na dvou lokalitách

8.6.2017 13:37 jan.rok | skóre: 18
Synchronizovaná SQL databáze na dvou lokalitách
Přečteno: 1236×
Dobrý den,

dovolím si poprosit o osvětlení toho, jak funguje nebo nefunguje sychronizace SQL databází mezi dvěma lokalitami.

Konkrétní případ třeba takový: Ve dvou lokalitách je stejná aplikace (nemusí nutně běžet najednou), která používá SQL databázi. Bylo by ideální, kdyby tatáž data byla v daném okamžiku na obou místech. Je možné toto zajistit třeba Dropboxem? Hrozí nebezpečí, že když bude aplikace pracovat s databází a zároveň ji bude synchronizovat přes Dropbox, že dojde k porušení dat? Pokud ano, jak tedy funguje replikace databází třeba v MSSQL? Není to něco podobného?

Nebo je rozdíl v tom, že Dropbox pracuje na úrovni souborů, kdežto replikace na úrovni vět? Neřeší riziko porušení dat právě transakční způsob zpracování?

Děkuji za vysvětlení. Honza

Řešení dotazu:


Odpovědi

Max avatar 8.6.2017 14:57 Max | skóre: 66 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Záleží, jakým způsobem chceš rozložení zátěže, případně failover řešit.
HA řešení, kdy na více místech máš stejná data pro zápis i pro čtení jsou poněkud náročná a je to podle mně úplně jiný svět (reálně syncovat tisíce transakcí mezi dvěma lokalitama s dobrýma odezvama).
Nejčastější je klasicky master-slave replikace, kdy master db je otevřena jak pro čtení, tak pro zápis, tak slave db je jen pro čtení.
Dobrým postupem je HA řešit i samotnou aplikací. Tzn., nevyvíjet hloupě s tím, že backend a celé HA ti zařídí jen db servery.

Jinak replikace funguje tak, že primární db vytváří v nějakých intervalech(časových, nebo oběmových) transakční soubory, ty se přenášejí do druhé lokality a tam se aplikují do druhé db. Tím se zajistí 100% konzistence dat s minimálním rollbackem a trafikem.
Replikace na úrovni souborů je mimo, tak se to rozhodně neřeší, páč nejde moc dobře zajistit 100% konzistentní stav.
Zdar Max
Měl jsem sen ... :(
8.6.2017 15:05 EtDirloth | skóre: 7
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Pekne zhrnute.

Poznamka k file-based replikacii: v PostgreSQL bola prva (a stale pouzitelna) implementacia master-slave replikacie zalozena prave na WAL log shipping, kedy sa zmeny nestreamovali cez priame prepojenie serverov, ale vlastnou cestou - napr. cez rsync. Tento sposob je tiez uzko spojeny s PITR.
Max avatar 9.6.2017 11:54 Max | skóre: 66 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Tak ono je jedno, zda se přenos transakčního logu řeší v rámci nějakého spojení mezi db, nebo tak, že se generuje file, který je nutné přenést. Princip to je stejný, jen první variantu člověk nemusí moc řešit.
Třeba Oracle generuje transakční soubory, ty rsyncem přenášíme do vzdálené lokality a zároveň se tam spouští pokyn k načtení transakčních logů. A tak stále dokola každých x min.
Jinak Oracle disponuje automatizovanými nástroji, ale ty jsou převážně jen pro enterprise edici, která je v jiném cenovém řádu.
Mno a pak je jedno, kolik replik člověk má, je to jen o tom, kam všude ty transakční logy bude kopírovat a výkon primárního serveru není nijak ovlivněn.
Další výhodou této replikace je i to, že je to záloha. Pokud si člověk dělá jeden dump db týdně + si nechává transakční soubory, tak se lze dostat do jakéhokoli času k datům (obnový se dump + dohrají transakční soubory k příslušnému datu/času).
Zdar Max
Měl jsem sen ... :(
9.6.2017 13:13 EtDirloth | skóre: 7
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Az po tomto ma napadlo, ze povodna otazka mohla byt o synchronizacii adresara celeho DB clusteru - a ze k tomu si sa asi povodne vyjadroval aj ty.

To by mohlo fungovat napr. pri SQLite.

V PgSQL by to vsak mohlo fungovat prave na urovni WAL file shipping cez dropbox. Tak, ze archive_command by kopiroval do adresara synchronizovaneho cez drop-box. A rovnakou cestou by sa mohol distribuovat base-backup pre potreby inicializacie replik(y).
9.6.2017 14:10 Kit | skóre: 42 | Brno
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
SQLite na sdílených úložištích nefunguje jak má a je vcelku jedno, který použiješ protokol. SQLite musí být na stroji, kde sídlí i aplikace, která s touto databází pracuje.

PostgreSQL by na tom mohlo být podobně nebo ještě hůře. Kdekdo zapomíná na špinavé cache, kterých by tam byla hromada.

Raději bych synchronizoval hromadu drobných XML, to by se ještě přes Dropbox ukočírovat dalo. Databáze i s aplikací na cloudu však bude mnohem lepším řešením.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
8.6.2017 15:08 jan.rok | skóre: 18
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Děkuji za shrnutí.
8.6.2017 16:56 Kit | skóre: 42 | Brno
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Otázkou je: Proč chceš dvě databáze ve dvou lokalitách? Nestačila by jedna databáze někde na cloudu, ke které by mohly přistupovat aplikace z obou lokalit?
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
8.6.2017 19:53 jan.rok | skóre: 18
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Asi by stačila. Spíš mě zajímalo, jak by se chovalo to řešení s Dropboxem. Nejde o nic konkrétního, jen o úvahu.
8.6.2017 20:12 Kit | skóre: 42 | Brno
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Obrovská režie při synchronizaci a databáze permanentně rozbitá. Stačí?
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
9.6.2017 12:09 cronin | skóre: 49
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
O zlepení synchronizácie databázy cez iné ako jej vlastné nástroje ani neuvažuj, leda že by si sa chcel niekomu pomstiť.

V prvom rade sa uisti, že rozumieš CAP teorému. A keď Ťa prejde frustrácia, realisticky zváž požiadavku na master-to-master replikáciu.
9.6.2017 12:58 EtDirloth | skóre: 7
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Tomuto moc nerozumiem. IMHO zbytocne matuca reakcia - vobec neviem, ci je to len off-topic, alebo mi nieco uslo.

Ja pisem, ze v PgSQL si to musel a teraz mozes riesit vlastnymi prostriedkami. Max pise, ze s Oracle to musis robit do urcitej urovne licencie. Tazatel nespomina ani distribuovanu DB, ani master-master replikaciu. Jedine, co riesi, je redundancia dat, dokonca spomina, ze moze ist o master-slave - "aplikace nemusí nutně běžet najednou".
Jendа avatar 11.6.2017 19:08 Jendа | skóre: 75 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Synchronizovaná SQL databáze na dvou lokalitách
Hrozí nebezpečí, že když bude aplikace pracovat s databází a zároveň ji bude synchronizovat přes Dropbox, že dojde k porušení dat?
Ano, extrémní. Většina těchto synchronizačních nástrojů funguje tak, že soubor otevře a pak ho lineárně čte a změny přenáší na druhou stranu. Pokud jsi uprostřed čtení a změní se něco na začátku i na konci souboru, přeneseš jenom tu změnu na konci souboru.

Teď si představ jednoduchý příklad, že databáze je obyčejný AVL strom (nejsme tak daleko od pravdy, například MySQL používá interně B-strom) a databáze zrovna zjistila, že je rozbalancovaný a je potřeba provést rotaci, což znamená přepsat pár pointrů na začátku a pár na konci. No a teď ti běží synchronizace dropboxem a pointry na začátku ukazují na původní umístění (které už třeba neexistuje nebo je tam něco úplně jiného) a pointry na konci na nové. Strom se tím totálně rozbil.
Bojíte se, že když umřete, nebudete nikomu chybět? Pište kód bez komentářů a dělejte nedokumentované změny!

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.