abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    včera 22:33 | Nová verze

    Byla vydána beta verze openSUSE Leap 16. Ve výchozím nastavení s novým instalátorem Agama.

    Ladislav Hagara | Komentářů: 0
    včera 17:44 | Zajímavý článek

    Devadesátková hra Brány Skeldalu prošla portací a je dostupná na platformě Steam. Vyšel i parádní blog autora o portaci na moderní systémy a platformy včetně Linuxu.

    karkar | Komentářů: 0
    včera 12:11 | Humor

    Lidi dělají divné věci. Například spouští Linux v Excelu. Využít je emulátor RISC-V mini-rv32ima sestavený jako knihovna DLL, která je volaná z makra VBA (Visual Basic for Applications).

    Ladislav Hagara | Komentářů: 2
    včera 10:44 | IT novinky

    Revolut nabídne neomezený mobilní tarif za 12,50 eur (312 Kč). Aktuálně startuje ve Velké Británii a Německu.

    Ladislav Hagara | Komentářů: 22
    včera 09:55 | IT novinky

    Společnost Amazon miliardáře Jeffa Bezose vypustila na oběžnou dráhu první várku družic svého projektu Kuiper, který má z vesmíru poskytovat vysokorychlostní internetové připojení po celém světě a snažit se konkurovat nyní dominantnímu Starlinku nejbohatšího muže planety Elona Muska.

    Ladislav Hagara | Komentářů: 2
    včera 09:33 | IT novinky

    Poslední aktualizací začal model GPT-4o uživatelům příliš podlézat. OpenAI jej tak vrátila k předchozí verzi.

    Ladislav Hagara | Komentářů: 0
    včera 08:11 | Nová verze

    Google Chrome 136 byl prohlášen za stabilní. Nejnovější stabilní verze 136.0.7103.59 přináší řadu novinek z hlediska uživatelů i vývojářů. Podrobný přehled v poznámkách k vydání. Opraveno bylo 8 bezpečnostních chyb. Vylepšeny byly také nástroje pro vývojáře.

    Ladislav Hagara | Komentářů: 0
    29.4. 20:55 | Nová verze

    Homebrew (Wikipedie), správce balíčků pro macOS a od verze 2.0.0 také pro Linux, byl vydán ve verzi 4.5.0. Na stránce Homebrew Formulae lze procházet seznamem balíčků. K dispozici jsou také různé statistiky.

    Ladislav Hagara | Komentářů: 0
    29.4. 16:22 | Nová verze

    Byl vydán Mozilla Firefox 138.0. Přehled novinek v poznámkách k vydání a poznámkách k vydání pro vývojáře. Řešeny jsou rovněž bezpečnostní chyby. Nový Firefox 138 je již k dispozici také na Flathubu a Snapcraftu.

    Ladislav Hagara | Komentářů: 0
    29.4. 15:55 | Pozvánky

    Šestnáctý ročník ne-konference jOpenSpace se koná 3. – 5. října 2025 v Hotelu Antoň v Telči. Pro účast je potřeba vyplnit registrační formulář. Ne-konference neznamená, že se organizátorům nechce připravovat program, ale naopak dává prostor všem pozvaným, aby si program sami složili z toho nejzajímavějšího, čím se v poslední době zabývají nebo co je oslovilo. Obsah, který vytvářejí všichni účastníci, se skládá z desetiminutových

    … více »
    Zdenek H. | Komentářů: 2
    Jaký filesystém primárně používáte?
     (58%)
     (1%)
     (9%)
     (21%)
     (4%)
     (1%)
     (2%)
     (0%)
     (1%)
     (3%)
    Celkem 494 hlasů
     Komentářů: 19, poslední včera 11:32
    Rozcestník

    Klient-server synchronizace – konečné řešení

    20.1.2014 23:55 | Přečteno: 1381× | aaaaa | poslední úprava: 21.1.2014 12:51

    Představte si situaci – mobilní app, serverový backend, potřebují se mezi sebou synchronizovat. Konkrétně to může být app pro nějaké kartografické měření, uživatelé vytváří nebo editují body na mapě.

    Není to úplně jednoduchý problém, pokud chceme, aby to fungovalo dobře. Například – jsem v lese, bohužel offline. Aplikace by se měla chovat skoro identicky jako kdybych byl online. Takže můžu různě filtrovat body z poslední synchronizace, přidávat nové, upravovat existující, a zase filtrovat. Jinými slovy, chci provádět jakékoliv dotazy nad databází i když jsem offline a udělal jsem lokální změny. Nad tímhle probémem jsem celkem dumal, po delší době jsem došel k následující základní struktuře řešení.

    Databáze na serveru má verzi, která se inkrementuje s každou úpravou. V každém řádku každé tabulky je číslo verze, které říká, kdy byl tento řádek naposledy upraven (vytvořen, editován nebo smazán).

    Server→klient synchronizace je jednoduchá. Klient má lokální kopii databáze a ví číslo její verze. Při synchronizaci požádá o změny od poslední synchronizace, tedy o řádky s číslem verze větším než x.

    Ne vždy je ale vhodné synchronizovat celou databázi, takže serverové API umožňuje požádat o změny pouze nějaké podmnožiny databáze. V našem případě to mohou být například pouze změny v nějaké oblasti mapy. V jiné aplikaci to mohou být pouze komentáře pod konkrétním článkem. Klient si pro každou takovou podmnožinu pamatuje číslo verze poslední synchronizace.

    Klient→server synchronizace je o něco složitější. Aplikace má frontu změn, které se na pozadí postupně uploadují na server. Ihned po uploadu každé změny se provede server→klient synchronizace. Změna může být serverem odmítnuta pokud nastane konfilkt. Jak konkrétně se řeší konflikty už záleží na konkrétní aplikaci.

    Implementace fronty záleží na aplikaci, může to být například tabulka, kde každá změna je v JSON formátu. Pokud jsem offline a přidám bod na mapě, přidá se nový "řádek" pouze do fronty změn, kde čeká. Když aplikace potřebuje provést nějaký dotaz nad databází, provede nejprve dotaz nad lokální kopií databáze poté se podívá do fronty a oba výsledky sloučí. Výsledky z fronty se nějak označí, aby uživatelské rozhraní u daných položek mohlo zobrazit "Odesílám...".

    Uvažoval jsem i o variantě, že místo do fronty se změny ukládají jako nové řádky přímo do databáze, kde se jenom nějak označí. S tím je ale spojena spousta různých problémů, pokud to vůbec nějak řešit jde, tak určitě ne jednoduše.        

    Hodnocení: 100 %

            špatnédobré        

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    21.1.2014 07:45 dolik.rce
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Jak to tak čtu, tak mám pocit že jsi vyrobil verzovací systém :) Pokud bys nepotřeboval nějaký rychlý přístup, nebo tak něco, tak klidně můžeš použít třeba git a data reprezentovat jako soubory.
    21.1.2014 10:46 backinabag | blog: backinabag
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Jediny problem je ze nad gitem se blbe delaji dotazy ;)
    xkucf03 avatar 21.1.2014 11:14 xkucf03 | skóre: 49 | blog: xkucf03
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení

    Musel bys vymyslet nějakou databázi, která ukládá data i indexy nějakým způsobem přátelským k verzovacímu systému. Je otázka, jestli dá méně práce napsat databázi nebo verzovací systém – IMHO bude snazší udělat to verzování nad nějakým existujícím DBMS.

    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
    22.1.2014 02:56 Kvakor
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Jenže data a indexy přátelské verzovacímu systému by nejspíš nebyly moc přátelské databázi, třeba u MySQL existuje CSV storage engine, ale neumí indexy, transakce a NULL sloupce (tj. všechno musí být NUT NULL) a je dost pomalý. Ale třeba MariaDB umí typ tabulek CONNECT, kde jsou podobpované různé "obyčejné" soubory jako třeba CSV, XML, INI a textové soubory s pevným formátem, dokonce nad některýmy funguje i indexace (tedy podle dokumentace, osobně s novými vlastnosmi MariaDB žádné skušenosti nemám).

    Jako alternativa mně napadá místo verzování použít prostou replikaci (server by hyl master, klient slave) a nechat synchronizaci čistě na databázi. Jediná nevýhoda by bylo nutnost na straně aplikace zajistit, že dva klienti nikdy nebudou mít stejný primární index, aby si během synchronizace nepřepisovaly data navzájem.
    21.1.2014 10:30 RRR
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Zdravím, přesně tenhle problém teď řešíme taky, resp. tedy doufám, že už jsme ho konceptuálně vyřešili. Šli jsme na to podobným způsobem, jako píšeš, tedy přes verzování entit. A jak píše kolega, skutečně se to čím dál více podobá verzovacímu systému.

    Plánuješ použít relační databázi nebo něco exotičtějšího?

    My používáme relační (Oracle na serveru + SQLite na Androidu) a příznak změny ukládáme přímo do tabulek, nemáme tedy frontu požadavků. Jaké problémy jsi myslel, že to může přinést?

    Kdyby někdo znal nějakou knihovnu / framework pro synchronizaci, určitě by to stálo za úvahu. Inspiraci jsem hledal třeba v CouchDB (či Couchbase, kdo se v tom má vyznat :D), ta má i mobilní verzi pro Androidy a iOS. Kdyby jen existoval nějaký adaptér pro relační db na serveru...

    Jsem zvědavý, jak se k tomu postavíte vy, dej vědět.
    21.1.2014 11:56 backinabag | blog: backinabag
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Zdravim, bud relacni nebo kombinaci relacni a schema-less – v jednom sloupci bude JSON (stejne jako v schema-less databazich) a v dalsich muzou byt pripadne indexovane pole. Tenhle pristup se mi celkem libi, ma to vyhody obojiho a mam nad tim 100% kontrolu, inspiroval jsem se tady.

    CouchDB jsem zkousel, ale v te dobe (pred asi pul rokem, od te doby nevim) nebyla Android verze uplne pouzitelna. Taky mi to prislo oproti relacnim v par smerech omezujici, spatne se tam delaji transakce a psat dotazy je slozitejsi.

    Chtel jsem pouzit jejich synchronizacni algoritmus, ale ten funguje jenom na jednodussi databaze, neporadi si s transakcemi a relacemi. (Coz naznacuje, jak je problem obousmerne synchronizace relacni databaze slozity, protoze ten couchdb algoritmus, ktery neumi transakce ani relace neni uplne trivialni.)

    Ukladani primo do tabulek se asi da pouzit pro nejake konkretni problemy, ale ne obecne (resp. ne jednoduse). Je potreba nejak ohlidat vztahy mezi entitami, napriklad pridam bod na mape do nejake kategorie, ale mezitim nekdo tu kategorii smazal. Dalsi problem jsou zmeny v databazi ve forme diffu – napriklad "upvote this comment", "reorder this todo-list", "increase score of this user by 100".
    21.1.2014 14:52 RRR
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Vztahy vyřešit jdou, ale máš pravdu, že s diffy, jak je popisuješ, potřebuji i frontu.

    Je ale potřeba si ujasnit, jestli má vůbec jít modifikovat neaktuální entitu. Pokud je má uložená entita aktuální, pak je jedno, jestli ukládám původní stav + diff nebo konečný stav.

    Určitě záleží na konkrétním případu: upvote by asi projít měl (ale jak už tu zaznělo, není to spíš přidání nové položky?), ale zvýšení skóre už je z mého pohledu sporné a změna pořadí v todo (diff si představuji jako "vyměn první a třetí") nedává smysl vůbec - kdyby se potkalo víc takových diffů, vznikl by solidní guláš.
    24.1.2014 16:59 backinabag | blog: backinabag
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Určitě záleží na konkrétním případu: upvote by asi projít měl (ale jak už tu zaznělo, není to spíš přidání nové položky?)
    Zalezi na konkretni situaci, nekdy muze mit smysl si ukladat soucet, aby slo napriklad rychle seradit clanky podle poctu upvotu.
    xkucf03 avatar 21.1.2014 11:11 xkucf03 | skóre: 49 | blog: xkucf03
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Uvažoval jsem i o variantě, že místo do fronty se změny ukládají jako nové řádky přímo do databáze, kde se jenom nějak označí. S tím je ale spojeno spousta různých problémů, pokud to vůbec nějak řešit jde, tak určitě ne jednoduše.

    Mně to naopak přijde vhodnější, než do toho zatahovat JSON (resp. obecně nějaké denormalizované struktury uvnitř záznamů databáze). Při dotazování tě nezajímá, jestli jsou data ještě ve frontě nebo ne – prostě uděláš dotaz nad celou množinou. A při synchronizaci tě to zajímá, tak si vyfiltruješ záznamy podle toho příznaku a synchronizuješ je se serverem (odebereš příznak a naopak přidáš číslo verze ze serveru).

    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
    21.1.2014 12:02 backinabag | blog: backinabag
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    xkucf03 avatar 21.1.2014 12:53 xkucf03 | skóre: 49 | blog: xkucf03
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Ty konflikty musíš řešit tak jako tak – např. u UPDATů si potřebuješ pamatovat verzi, kterou jsi aktualizoval, abys nepřepsal cizí změny (např. jsi chtěl zvýšit hodnotu o 100, ale na serveru ji mezi tím někdo zvýšil o 200 a ty bys ji tak vlastně snížil, kdyby sis neohlídal verzi záznamu). INSERTy jsou jednodušší.

    Co se týče cizích klíčů[tou relací myslíš relationship ne relation? Protože relace v relační DB je tabulka, ne vztah mezi záznamy 1:n, m:n, je jasné, že v nerelačních databázích nebudou relace :-)] tak ty se dají kontrolovat až při dokončení transakce, nebo je prostě můžeš provádět ve stejném pořadí jako na klientovi[tam bys měl mít stejná integritní omezení, takže i tam budeš muset vytvořit nejdřív odkazovaný záznam a pak teprve odkazující].

    Ukládat stejná data dvěma nekompatibilními způsoby (jednou v normálních tabulkách a jednou v nějakých jiných strukturách) jen kvůli tomu, že některé jsou synchronizované a jiné ještě ne, mi přijde jako zbytečný opruz – hlavně kvůli tomu vyhledávání a slučování výsledků.
    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
    21.1.2014 13:19 backinabag | blog: backinabag
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Ty konflikty musíš řešit tak jako tak – např. u UPDATů si potřebuješ pamatovat verzi, kterou jsi aktualizoval, abys nepřepsal cizí změny (např. jsi chtěl zvýšit hodnotu o 100, ale na serveru ji mezi tím někdo zvýšil o 200 a ty bys ji tak vlastně snížil, kdyby sis neohlídal verzi záznamu). INSERTy jsou jednodušší.
    Tady by to prave nebyl klasicky UPDATE, ale obecne jakakoliv zmena databaze – operace, ktera dostane na vstup databazi a na vystup da novou verzi databaze. Takze napriklad operace "upvote" by znamenala "vem pocet upvotu a pridej 1". (Samozrejme se da namitnout ze je lepsi si ukladat kazdy upvote jako novy radek, ale muze mit smysl si nekde navic ukladat jejich soucet pro rychlejsi dotazy.)
    Co se týče cizích klíčů[tou relací myslíš relationship ne relation? Protože relace v relační DB je tabulka, ne vztah mezi záznamy 1:n, m:n, je jasné, že v nerelačních databázích nebudou relace :-)] tak ty se dají kontrolovat až při dokončení transakce, nebo je prostě můžeš provádět ve stejném pořadí jako na klientovi[tam bys měl mít stejná integritní omezení, takže i tam budeš muset vytvořit nejdřív odkazovaný záznam a pak teprve odkazující].
    Mas pravdu, myslel jsem relationship :) Mozna by to nejak takhle resit slo, ale musely by se opatrne nastavit pravidla, jako ze pri smazani rodice se kaskadovite smazou deti atd. Ale taky by byly potreba transakce, coz znamena dalsi zesloziteni. Napriklad kdyz klient udela tri transakce a ta druha na serveru selze, klient by asi mel tu treti vratit zpet.
    Ukládat stejná data dvěma nekompatibilními způsoby (jednou v normálních tabulkách a jednou v nějakých jiných strukturách) jen kvůli tomu, že některé jsou synchronizované a jiné ještě ne, mi přijde jako zbytečný opruz – hlavně kvůli tomu vyhledávání a slučování výsledků.
    Celkem dlouho jsem se snazil na to jit presne takhle, ale pokud chci aby to fungovalo na 100% ve vsech moznych podminkach, tak jsem presvedcen ze ta fronta nakonec vyjde jako jednodussi reseni.
    xkucf03 avatar 21.1.2014 13:41 xkucf03 | skóre: 49 | blog: xkucf03
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Tady by to prave nebyl klasicky UPDATE, ale obecne jakakoliv zmena databaze – operace, ktera dostane na vstup databazi a na vystup da novou verzi databaze. Takze napriklad operace "upvote" by znamenala "vem pocet upvotu a pridej 1".

    Tenhle problém se vlastně řeší v každé víceuživatelské databázové aplikaci – je celkem jedno, jestli se klient odpojuje a je půl dne offline, nebo jestli si v 10:05 otevře v aplikaci formulář, načtou se mu tam aktuální data, on do toho chvíli kouká, něco tam změní a v 10:15 to dá uložit.

    Buď se použijí transakce (s daty nemůže nikdo jiný manipulovat – což je problém, protože klient může klidně odejít na oběd a nechat to celou dobu zamčené) nebo se použije optimističtější přístup – uložíš si číslo verze, takže víš, jestli data mezi tím někdo jiný neupravil, abys mu nepřepsal změny – při ukládání to zkontroluješ a buď změny nějak sloučíš nebo uživateli ohlásíš chybu.

    Samozrejme se da namitnout ze je lepsi si ukladat kazdy upvote jako novy radek, ale muze mit smysl si nekde navic ukladat jejich soucet pro rychlejsi dotazy.

    Tohle by šlo řešit přes materializované pohledy – součty by se při každém zápisu samy přepočítaly.

    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
    xkucf03 avatar 21.1.2014 13:31 xkucf03 | skóre: 49 | blog: xkucf03
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení

    P.S. Přidal jsem do poradny otázku, která mě v této souvislosti napadla: Protokol/formát pro přírůstkové aktualizace databází

    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
    22.1.2014 11:42 Karel
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Koukni na mongo a mongofs, muzes verzovat soubory a i knim prihazovat dalsi informace v json, muzes si nad tim postavit indexy a rychle hledat, muzes spoustu veci, jen pozor mongo se rado roztahuje.
    29.5.2014 18:10 ncweohfnow
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Ahoj, neviem, ako si na tom aktualne pri rieseni problemu, ale my sme riesili dva roky dozadu nieco podobne. Popisem postup, ako to funguje. V pripade zaujmu staci kontaktovat a riesenie spravime opensource/free (to je v plane i bez kontaktovania, len nie je cas spravit tutorialy a podobne).

    Na klientovi i na serveri sa predpoklada postgresql (ale moze byt lahko modifikovane pre ine DB) a vpodstate identicke tabulky (sem tam nejaky ten stlpec navyse pre potreby synku). Pre úplnosť dodám, že to voláme syncguru a je to vec v jave a buildujeme a testujeme to cez maven/jenkisn a používame to cca dva roky na linuxových strojoch k našej spokojnosti.

    "jednosmerna synchronizacia":
    • klient uklada do svojej tabulky
    • monotonne rastuce ID
    • synchronizacia na server (viacero klientov), posiela sa vsetko okrem ID stlpcu a na serveri sa vsetky zaznamy vsetkych klientov stretnu v jednej tabulke
    • pri ukonceni posielania lokalnych novych riadkov na server sa do t_tabulka_sync ulozi/updatne riadok s ID klienta a s ID LOKALNEHO zaznamu, ktory bol v tejto transakcii poslany na server
    • funguje genialne pri cca 40 klientoch a jednom serveri (viac klientov sme neskusali)
    "obojsmerna synchronizacia":
    • propaguju sa zmeny a pridavania (update/insert)
    • delete sa nepropaguje! (jedine simulaciou stlpcekom "som zmazany" a ignorovanim v app)
    • na klientskej i serverovej tabulke je stlpec "las modified timestamp" (ano, predpoklad sa, ze klienti i server pouzivaju ntp)
    • last modified stlpec je monotonne rastuci pre kazdeho klienta zvlast
    • synchronizuje sa z klientskej aplikacie tak, že sa selektnú všetky lokálne neodoslané zmeny (podľa last modified stĺpcu a hodnoty v sync tabuľke na servery) a odošlú sa. Opačným smerom to ide symetricky, ale je treba selektovať pre každého klienta nesynchronizované veci zvlášť
    • t_tabulka_sync je na server i na klientovi a uchovava hodnotu last modified stlpca posledne nakopirovanej/updatnutej veci zo serveru, pre kazdeho klienta
    • potencionalny problem pri vysokom pocte klientov, kedy sa robi viac a viac selektov
    • aktualne mame cca 240 klientov na par tabulkach a bezi to OK
    Myslím, že by Vám vyhovoval obojsmerný synk s nejakým tým drobným tunovaním vecí tak, aby to pasovalo i bez vymazávania, alebo aby vymazánie bolo možné.

    Založit nové vláknoNahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.