abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 18:22 | Nová verze

    Byla vydána nová major verze 28.0 programovacího jazyka Erlang (Wikipedie) a související platformy OTP (Open Telecom Platform, Wikipedie). Přehled novinek v příspěvku na blogu.

    Ladislav Hagara | Komentářů: 0
    dnes 13:11 | Zajímavý článek

    Český telekomunikační úřad zveřejnil Výroční zprávu za rok 2024 (pdf), kde shrnuje své aktivity v loňském roce a přináší i základní popis situace na trhu. Celkový objem přenesených mobilních dat za rok 2024 dosáhl dle odhadu hodnoty přibližně 1,73 tis. PB a jeho meziroční nárůst činí zhruba 30 %. Průměrná měsíční spotřeba dat na datovou SIM kartu odhadem dosáhla 12,5 GB – v předchozím roce šlo o 9,8 GB.

    Ladislav Hagara | Komentářů: 2
    dnes 12:33 | IT novinky

    Z novinek představených na Google I/O 2025: Přehledy od AI (AI Overviews) se rozšiřují do dalších zemí. Užitečné, syntetizované přehledy od generativní AI jsou nově k dispozici i českým uživatelům Vyhledávače.

    Ladislav Hagara | Komentářů: 0
    dnes 11:44 | IT novinky

    Šestice firem označovaných jako „MAMAAN“ – tedy Meta (Facebook, Instagram), Alphabet (Google), Microsoft, Apple, Amazon a Netflix – je zodpovědná za více než padesát procent světového internetového provozu. Dalšími velkými hráči jsou TikTok a Disney+. Společně tak zásadně určují podobu digitálního prostředí, spotřebitelského chování i budoucích trendů v oblasti technologií. I přesto, že se podíl těchto gigantů od roku 2023 o něco snížil, jejich dominantní postavení zvyšuje volání po regulaci.

    Ladislav Hagara | Komentářů: 4
    dnes 11:33 | IT novinky

    Evropská komise (EK) navrhuje zavést plošný poplatek ve výši dvou eur (zhruba 50 Kč) za každý malý balík vstupující do Evropské unie. Poplatek se má týkat balíků v hodnotě do 150 eur (zhruba 3700 Kč), které v EU nepodléhají clu. V loňském roce bylo do EU doručeno kolem 4,6 miliardy takovýchto balíků. Poplatek má krýt náklady na kontroly rostoucího počtu zásilek levného zboží, které pochází především z Číny.

    Ladislav Hagara | Komentářů: 10
    včera 18:11 | IT novinky

    Dnes a zítra probíhá vývojářská konference Google I/O 2025. Sledovat lze na YouTube a na síti 𝕏 (#GoogleIO).

    Ladislav Hagara | Komentářů: 0
    včera 15:22 | Komunita

    V Bostonu probíhá konference Red Hat Summit 2025. Vybrané přednášky lze sledovat na YouTube. Dění lze sledovat na síti 𝕏 (#RHSummit).

    Ladislav Hagara | Komentářů: 0
    včera 15:00 | Nová verze

    Společnost Red Hat oficiálně oznámila vydání Red Hat Enterprise Linuxu 10. Vedle nových vlastností přináší také aktualizaci ovladačů a předběžné ukázky budoucích technologií. Podrobnosti v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 6
    včera 12:22 | Pozvánky

    Tuto sobotu 24. května se koná historicky první komunitní den projektu Home Assistant. Zváni jsou všichni příznivci, nadšenci a uživatelé tohoto projektu. Pro účast je potřebná registrace. Odkazy na akce v Praze a v Bratislavě.

    jose17 | Komentářů: 0
    včera 04:44 | IT novinky

    Troy Hunt představil Have I Been Pwned 2.0, tj. nový vylepšený web služby, kde si uživatelé mohou zkontrolovat, zda se jejich hesla a osobní údaje neobjevily v únicích dat a případně se nechat na další úniky upozorňovat.

    Ladislav Hagara | Komentářů: 16
    Jaký je váš oblíbený skriptovací jazyk?
     (60%)
     (24%)
     (9%)
     (2%)
     (0%)
     (0%)
     (5%)
    Celkem 55 hlasů
     Komentářů: 5, poslední včera 20:57
    Rozcestník

    Klient-server synchronizace – konečné řešení

    20.1.2014 23:55 | Přečteno: 1383× | aaaaa | poslední úprava: 21.1.2014 12:51

    Představte si situaci – mobilní app, serverový backend, potřebují se mezi sebou synchronizovat. Konkrétně to může být app pro nějaké kartografické měření, uživatelé vytváří nebo editují body na mapě.

    Není to úplně jednoduchý problém, pokud chceme, aby to fungovalo dobře. Například – jsem v lese, bohužel offline. Aplikace by se měla chovat skoro identicky jako kdybych byl online. Takže můžu různě filtrovat body z poslední synchronizace, přidávat nové, upravovat existující, a zase filtrovat. Jinými slovy, chci provádět jakékoliv dotazy nad databází i když jsem offline a udělal jsem lokální změny. Nad tímhle probémem jsem celkem dumal, po delší době jsem došel k následující základní struktuře řešení.

    Databáze na serveru má verzi, která se inkrementuje s každou úpravou. V každém řádku každé tabulky je číslo verze, které říká, kdy byl tento řádek naposledy upraven (vytvořen, editován nebo smazán).

    Server→klient synchronizace je jednoduchá. Klient má lokální kopii databáze a ví číslo její verze. Při synchronizaci požádá o změny od poslední synchronizace, tedy o řádky s číslem verze větším než x.

    Ne vždy je ale vhodné synchronizovat celou databázi, takže serverové API umožňuje požádat o změny pouze nějaké podmnožiny databáze. V našem případě to mohou být například pouze změny v nějaké oblasti mapy. V jiné aplikaci to mohou být pouze komentáře pod konkrétním článkem. Klient si pro každou takovou podmnožinu pamatuje číslo verze poslední synchronizace.

    Klient→server synchronizace je o něco složitější. Aplikace má frontu změn, které se na pozadí postupně uploadují na server. Ihned po uploadu každé změny se provede server→klient synchronizace. Změna může být serverem odmítnuta pokud nastane konfilkt. Jak konkrétně se řeší konflikty už záleží na konkrétní aplikaci.

    Implementace fronty záleží na aplikaci, může to být například tabulka, kde každá změna je v JSON formátu. Pokud jsem offline a přidám bod na mapě, přidá se nový "řádek" pouze do fronty změn, kde čeká. Když aplikace potřebuje provést nějaký dotaz nad databází, provede nejprve dotaz nad lokální kopií databáze poté se podívá do fronty a oba výsledky sloučí. Výsledky z fronty se nějak označí, aby uživatelské rozhraní u daných položek mohlo zobrazit "Odesílám...".

    Uvažoval jsem i o variantě, že místo do fronty se změny ukládají jako nové řádky přímo do databáze, kde se jenom nějak označí. S tím je ale spojena spousta různých problémů, pokud to vůbec nějak řešit jde, tak určitě ne jednoduše.        

    Hodnocení: 100 %

            špatnédobré        

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    21.1.2014 07:45 dolik.rce
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Jak to tak čtu, tak mám pocit že jsi vyrobil verzovací systém :) Pokud bys nepotřeboval nějaký rychlý přístup, nebo tak něco, tak klidně můžeš použít třeba git a data reprezentovat jako soubory.
    21.1.2014 10:46 backinabag | blog: backinabag
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Jediny problem je ze nad gitem se blbe delaji dotazy ;)
    xkucf03 avatar 21.1.2014 11:14 xkucf03 | skóre: 49 | blog: xkucf03
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení

    Musel bys vymyslet nějakou databázi, která ukládá data i indexy nějakým způsobem přátelským k verzovacímu systému. Je otázka, jestli dá méně práce napsat databázi nebo verzovací systém – IMHO bude snazší udělat to verzování nad nějakým existujícím DBMS.

    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
    22.1.2014 02:56 Kvakor
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Jenže data a indexy přátelské verzovacímu systému by nejspíš nebyly moc přátelské databázi, třeba u MySQL existuje CSV storage engine, ale neumí indexy, transakce a NULL sloupce (tj. všechno musí být NUT NULL) a je dost pomalý. Ale třeba MariaDB umí typ tabulek CONNECT, kde jsou podobpované různé "obyčejné" soubory jako třeba CSV, XML, INI a textové soubory s pevným formátem, dokonce nad některýmy funguje i indexace (tedy podle dokumentace, osobně s novými vlastnosmi MariaDB žádné skušenosti nemám).

    Jako alternativa mně napadá místo verzování použít prostou replikaci (server by hyl master, klient slave) a nechat synchronizaci čistě na databázi. Jediná nevýhoda by bylo nutnost na straně aplikace zajistit, že dva klienti nikdy nebudou mít stejný primární index, aby si během synchronizace nepřepisovaly data navzájem.
    21.1.2014 10:30 RRR
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Zdravím, přesně tenhle problém teď řešíme taky, resp. tedy doufám, že už jsme ho konceptuálně vyřešili. Šli jsme na to podobným způsobem, jako píšeš, tedy přes verzování entit. A jak píše kolega, skutečně se to čím dál více podobá verzovacímu systému.

    Plánuješ použít relační databázi nebo něco exotičtějšího?

    My používáme relační (Oracle na serveru + SQLite na Androidu) a příznak změny ukládáme přímo do tabulek, nemáme tedy frontu požadavků. Jaké problémy jsi myslel, že to může přinést?

    Kdyby někdo znal nějakou knihovnu / framework pro synchronizaci, určitě by to stálo za úvahu. Inspiraci jsem hledal třeba v CouchDB (či Couchbase, kdo se v tom má vyznat :D), ta má i mobilní verzi pro Androidy a iOS. Kdyby jen existoval nějaký adaptér pro relační db na serveru...

    Jsem zvědavý, jak se k tomu postavíte vy, dej vědět.
    21.1.2014 11:56 backinabag | blog: backinabag
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Zdravim, bud relacni nebo kombinaci relacni a schema-less – v jednom sloupci bude JSON (stejne jako v schema-less databazich) a v dalsich muzou byt pripadne indexovane pole. Tenhle pristup se mi celkem libi, ma to vyhody obojiho a mam nad tim 100% kontrolu, inspiroval jsem se tady.

    CouchDB jsem zkousel, ale v te dobe (pred asi pul rokem, od te doby nevim) nebyla Android verze uplne pouzitelna. Taky mi to prislo oproti relacnim v par smerech omezujici, spatne se tam delaji transakce a psat dotazy je slozitejsi.

    Chtel jsem pouzit jejich synchronizacni algoritmus, ale ten funguje jenom na jednodussi databaze, neporadi si s transakcemi a relacemi. (Coz naznacuje, jak je problem obousmerne synchronizace relacni databaze slozity, protoze ten couchdb algoritmus, ktery neumi transakce ani relace neni uplne trivialni.)

    Ukladani primo do tabulek se asi da pouzit pro nejake konkretni problemy, ale ne obecne (resp. ne jednoduse). Je potreba nejak ohlidat vztahy mezi entitami, napriklad pridam bod na mape do nejake kategorie, ale mezitim nekdo tu kategorii smazal. Dalsi problem jsou zmeny v databazi ve forme diffu – napriklad "upvote this comment", "reorder this todo-list", "increase score of this user by 100".
    21.1.2014 14:52 RRR
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Vztahy vyřešit jdou, ale máš pravdu, že s diffy, jak je popisuješ, potřebuji i frontu.

    Je ale potřeba si ujasnit, jestli má vůbec jít modifikovat neaktuální entitu. Pokud je má uložená entita aktuální, pak je jedno, jestli ukládám původní stav + diff nebo konečný stav.

    Určitě záleží na konkrétním případu: upvote by asi projít měl (ale jak už tu zaznělo, není to spíš přidání nové položky?), ale zvýšení skóre už je z mého pohledu sporné a změna pořadí v todo (diff si představuji jako "vyměn první a třetí") nedává smysl vůbec - kdyby se potkalo víc takových diffů, vznikl by solidní guláš.
    24.1.2014 16:59 backinabag | blog: backinabag
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Určitě záleží na konkrétním případu: upvote by asi projít měl (ale jak už tu zaznělo, není to spíš přidání nové položky?)
    Zalezi na konkretni situaci, nekdy muze mit smysl si ukladat soucet, aby slo napriklad rychle seradit clanky podle poctu upvotu.
    xkucf03 avatar 21.1.2014 11:11 xkucf03 | skóre: 49 | blog: xkucf03
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Uvažoval jsem i o variantě, že místo do fronty se změny ukládají jako nové řádky přímo do databáze, kde se jenom nějak označí. S tím je ale spojeno spousta různých problémů, pokud to vůbec nějak řešit jde, tak určitě ne jednoduše.

    Mně to naopak přijde vhodnější, než do toho zatahovat JSON (resp. obecně nějaké denormalizované struktury uvnitř záznamů databáze). Při dotazování tě nezajímá, jestli jsou data ještě ve frontě nebo ne – prostě uděláš dotaz nad celou množinou. A při synchronizaci tě to zajímá, tak si vyfiltruješ záznamy podle toho příznaku a synchronizuješ je se serverem (odebereš příznak a naopak přidáš číslo verze ze serveru).

    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
    21.1.2014 12:02 backinabag | blog: backinabag
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    xkucf03 avatar 21.1.2014 12:53 xkucf03 | skóre: 49 | blog: xkucf03
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Ty konflikty musíš řešit tak jako tak – např. u UPDATů si potřebuješ pamatovat verzi, kterou jsi aktualizoval, abys nepřepsal cizí změny (např. jsi chtěl zvýšit hodnotu o 100, ale na serveru ji mezi tím někdo zvýšil o 200 a ty bys ji tak vlastně snížil, kdyby sis neohlídal verzi záznamu). INSERTy jsou jednodušší.

    Co se týče cizích klíčů[tou relací myslíš relationship ne relation? Protože relace v relační DB je tabulka, ne vztah mezi záznamy 1:n, m:n, je jasné, že v nerelačních databázích nebudou relace :-)] tak ty se dají kontrolovat až při dokončení transakce, nebo je prostě můžeš provádět ve stejném pořadí jako na klientovi[tam bys měl mít stejná integritní omezení, takže i tam budeš muset vytvořit nejdřív odkazovaný záznam a pak teprve odkazující].

    Ukládat stejná data dvěma nekompatibilními způsoby (jednou v normálních tabulkách a jednou v nějakých jiných strukturách) jen kvůli tomu, že některé jsou synchronizované a jiné ještě ne, mi přijde jako zbytečný opruz – hlavně kvůli tomu vyhledávání a slučování výsledků.
    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
    21.1.2014 13:19 backinabag | blog: backinabag
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Ty konflikty musíš řešit tak jako tak – např. u UPDATů si potřebuješ pamatovat verzi, kterou jsi aktualizoval, abys nepřepsal cizí změny (např. jsi chtěl zvýšit hodnotu o 100, ale na serveru ji mezi tím někdo zvýšil o 200 a ty bys ji tak vlastně snížil, kdyby sis neohlídal verzi záznamu). INSERTy jsou jednodušší.
    Tady by to prave nebyl klasicky UPDATE, ale obecne jakakoliv zmena databaze – operace, ktera dostane na vstup databazi a na vystup da novou verzi databaze. Takze napriklad operace "upvote" by znamenala "vem pocet upvotu a pridej 1". (Samozrejme se da namitnout ze je lepsi si ukladat kazdy upvote jako novy radek, ale muze mit smysl si nekde navic ukladat jejich soucet pro rychlejsi dotazy.)
    Co se týče cizích klíčů[tou relací myslíš relationship ne relation? Protože relace v relační DB je tabulka, ne vztah mezi záznamy 1:n, m:n, je jasné, že v nerelačních databázích nebudou relace :-)] tak ty se dají kontrolovat až při dokončení transakce, nebo je prostě můžeš provádět ve stejném pořadí jako na klientovi[tam bys měl mít stejná integritní omezení, takže i tam budeš muset vytvořit nejdřív odkazovaný záznam a pak teprve odkazující].
    Mas pravdu, myslel jsem relationship :) Mozna by to nejak takhle resit slo, ale musely by se opatrne nastavit pravidla, jako ze pri smazani rodice se kaskadovite smazou deti atd. Ale taky by byly potreba transakce, coz znamena dalsi zesloziteni. Napriklad kdyz klient udela tri transakce a ta druha na serveru selze, klient by asi mel tu treti vratit zpet.
    Ukládat stejná data dvěma nekompatibilními způsoby (jednou v normálních tabulkách a jednou v nějakých jiných strukturách) jen kvůli tomu, že některé jsou synchronizované a jiné ještě ne, mi přijde jako zbytečný opruz – hlavně kvůli tomu vyhledávání a slučování výsledků.
    Celkem dlouho jsem se snazil na to jit presne takhle, ale pokud chci aby to fungovalo na 100% ve vsech moznych podminkach, tak jsem presvedcen ze ta fronta nakonec vyjde jako jednodussi reseni.
    xkucf03 avatar 21.1.2014 13:41 xkucf03 | skóre: 49 | blog: xkucf03
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Tady by to prave nebyl klasicky UPDATE, ale obecne jakakoliv zmena databaze – operace, ktera dostane na vstup databazi a na vystup da novou verzi databaze. Takze napriklad operace "upvote" by znamenala "vem pocet upvotu a pridej 1".

    Tenhle problém se vlastně řeší v každé víceuživatelské databázové aplikaci – je celkem jedno, jestli se klient odpojuje a je půl dne offline, nebo jestli si v 10:05 otevře v aplikaci formulář, načtou se mu tam aktuální data, on do toho chvíli kouká, něco tam změní a v 10:15 to dá uložit.

    Buď se použijí transakce (s daty nemůže nikdo jiný manipulovat – což je problém, protože klient může klidně odejít na oběd a nechat to celou dobu zamčené) nebo se použije optimističtější přístup – uložíš si číslo verze, takže víš, jestli data mezi tím někdo jiný neupravil, abys mu nepřepsal změny – při ukládání to zkontroluješ a buď změny nějak sloučíš nebo uživateli ohlásíš chybu.

    Samozrejme se da namitnout ze je lepsi si ukladat kazdy upvote jako novy radek, ale muze mit smysl si nekde navic ukladat jejich soucet pro rychlejsi dotazy.

    Tohle by šlo řešit přes materializované pohledy – součty by se při každém zápisu samy přepočítaly.

    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
    xkucf03 avatar 21.1.2014 13:31 xkucf03 | skóre: 49 | blog: xkucf03
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení

    P.S. Přidal jsem do poradny otázku, která mě v této souvislosti napadla: Protokol/formát pro přírůstkové aktualizace databází

    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
    22.1.2014 11:42 Karel
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Koukni na mongo a mongofs, muzes verzovat soubory a i knim prihazovat dalsi informace v json, muzes si nad tim postavit indexy a rychle hledat, muzes spoustu veci, jen pozor mongo se rado roztahuje.
    29.5.2014 18:10 ncweohfnow
    Rozbalit Rozbalit vše Re: Klient-server synchronizace – konečné řešení
    Ahoj, neviem, ako si na tom aktualne pri rieseni problemu, ale my sme riesili dva roky dozadu nieco podobne. Popisem postup, ako to funguje. V pripade zaujmu staci kontaktovat a riesenie spravime opensource/free (to je v plane i bez kontaktovania, len nie je cas spravit tutorialy a podobne).

    Na klientovi i na serveri sa predpoklada postgresql (ale moze byt lahko modifikovane pre ine DB) a vpodstate identicke tabulky (sem tam nejaky ten stlpec navyse pre potreby synku). Pre úplnosť dodám, že to voláme syncguru a je to vec v jave a buildujeme a testujeme to cez maven/jenkisn a používame to cca dva roky na linuxových strojoch k našej spokojnosti.

    "jednosmerna synchronizacia":
    • klient uklada do svojej tabulky
    • monotonne rastuce ID
    • synchronizacia na server (viacero klientov), posiela sa vsetko okrem ID stlpcu a na serveri sa vsetky zaznamy vsetkych klientov stretnu v jednej tabulke
    • pri ukonceni posielania lokalnych novych riadkov na server sa do t_tabulka_sync ulozi/updatne riadok s ID klienta a s ID LOKALNEHO zaznamu, ktory bol v tejto transakcii poslany na server
    • funguje genialne pri cca 40 klientoch a jednom serveri (viac klientov sme neskusali)
    "obojsmerna synchronizacia":
    • propaguju sa zmeny a pridavania (update/insert)
    • delete sa nepropaguje! (jedine simulaciou stlpcekom "som zmazany" a ignorovanim v app)
    • na klientskej i serverovej tabulke je stlpec "las modified timestamp" (ano, predpoklad sa, ze klienti i server pouzivaju ntp)
    • last modified stlpec je monotonne rastuci pre kazdeho klienta zvlast
    • synchronizuje sa z klientskej aplikacie tak, že sa selektnú všetky lokálne neodoslané zmeny (podľa last modified stĺpcu a hodnoty v sync tabuľke na servery) a odošlú sa. Opačným smerom to ide symetricky, ale je treba selektovať pre každého klienta nesynchronizované veci zvlášť
    • t_tabulka_sync je na server i na klientovi a uchovava hodnotu last modified stlpca posledne nakopirovanej/updatnutej veci zo serveru, pre kazdeho klienta
    • potencionalny problem pri vysokom pocte klientov, kedy sa robi viac a viac selektov
    • aktualne mame cca 240 klientov na par tabulkach a bezi to OK
    Myslím, že by Vám vyhovoval obojsmerný synk s nejakým tým drobným tunovaním vecí tak, aby to pasovalo i bez vymazávania, alebo aby vymazánie bolo možné.

    Založit nové vláknoNahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.