abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 00:33 | IT novinky

    FEL ČVUT vyvinula robotickou stavebnici pro mladé programátory. Stavebnice Brian byla navržená speciálně pro potřeby populární Robosoutěže. Jde ale také o samostatný produkt, který si může koupit každý fanoušek robotiky a programování od 10 let, ideální je i pro střední školy jako výuková pomůcka. Jádro stavebnice tvoří programovatelná řídicí jednotka, kterou vyvinul tým z FEL ČVUT ve spolupráci s průmyslovými partnery. Stavebnici

    … více »
    Ladislav Hagara | Komentářů: 5
    včera 20:33 | Komunita

    Ubuntu bude pro testování nových verzí vydávat měsíční snapshoty. Dnes vyšel 1. snapshot Ubuntu 25.10 (Questing Quokka).

    Ladislav Hagara | Komentářů: 0
    včera 14:55 | Nová verze

    Společnost Netgate oznámila vydání nové verze 2.8.0 open source firewallové, routovací a VPN platformy pfSense (Wikipedie) postavené na FreeBSD. Přehled novinek v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    včera 14:00 | Nová verze

    Byla vydána nová verze 6.16 živé linuxové distribuce Tails (The Amnesic Incognito Live System), jež klade důraz na ochranu soukromí uživatelů a anonymitu. Tor Browser byl povýšen na verzi 14.5.3. Linux na verzi 6.1.140. Další změny v příslušném seznamu.

    Ladislav Hagara | Komentářů: 0
    včera 12:33 | Zajímavý článek

    Člověk odsouzený za obchod s drogami daroval letos ministerstvu spravedlnosti 468 kusů kryptoměny bitcoin, které pak resort v aukcích prodal za skoro miliardu korun. Darováním se zabývá policejní Národní centrála proti organizovanému zločinu (NCOZ). Deníku N to potvrdil přímo ministr spravedlnosti Pavel Blažek (ODS). Podle resortu bylo nicméně vše v souladu s právem.

    Ladislav Hagara | Komentářů: 13
    28.5. 20:44 | Nová verze

    Svobodný a otevřený multiplatformní editor EPUB souborů Sigil (Wikipedie, GitHub) byl vydán ve verzi 2.5.0. Stejně tak doprovodný vizuální EPUB XHTML editor PageEdit (GitHub).

    Ladislav Hagara | Komentářů: 0
    28.5. 12:22 | IT novinky

    Na základě národního atribučního procesu vláda České republiky označila Čínskou lidovou republiku za zodpovědnou za škodlivou kybernetickou kampaň proti jedné z neutajovaných komunikačních sítí Ministerstva zahraničních věcí ČR. Tato škodlivá aktivita, která trvala od roku 2022 a zasáhla instituci zařazenou na seznam české kritické infrastruktury, byla provedena kyberšpionážní skupinou APT31, veřejně spojovanou se zpravodajskou službou Ministerstvo státní bezpečnosti (MSS).

    Ladislav Hagara | Komentářů: 32
    28.5. 00:11 | Nová verze

    Google Chrome 137 byl prohlášen za stabilní. Nejnovější stabilní verze 137.0.7151.55 přináší řadu novinek z hlediska uživatelů i vývojářů. Podrobný přehled v poznámkách k vydání. Opraveno bylo 11 bezpečnostních chyb. Vylepšeny byly také nástroje pro vývojáře.

    Ladislav Hagara | Komentářů: 0
    27.5. 19:22 | Nová verze

    Byl vydán AlmaLinux OS 10 s kódovým názvem Purple Lion. Podrobnosti v poznámkách k vydání. Na rozdíl od Red Hat Enterprise Linuxu 10 nadále podporuje x86-64-v2.

    Ladislav Hagara | Komentářů: 0
    27.5. 15:11 | Nová verze

    Byl vydán Mozilla Firefox 139.0. Přehled novinek v poznámkách k vydání a poznámkách k vydání pro vývojáře. Řešeny jsou rovněž bezpečnostní chyby. Nový Firefox 139 je již k dispozici také na Flathubu a Snapcraftu.

    Ladislav Hagara | Komentářů: 10
    Jaký je váš oblíbený skriptovací jazyk?
     (55%)
     (32%)
     (7%)
     (2%)
     (0%)
     (1%)
     (3%)
    Celkem 161 hlasů
     Komentářů: 12, poslední 28.5. 18:42
    Rozcestník

    Dotaz: Postgresql - snapshot tabulek???

    24.9.2015 20:28 tino
    Postgresql - snapshot tabulek???
    Přečteno: 1207×
    Ahoj, mám víceuživatelskou webovou aplikaci, která provádí následující:
    1. Uživatel vloží vstup
    2. Na základě vstupu aplikace načte data z db
    3. Na základě oněch načtených dat a obsahu nějakých souborů na disku načte další data z db a něco do db uloží

    Problém je ten, že všechny body musí vidět stejná data. Body 2 a 3 mohou trvat několik minut, takže nepřichází v úvahu běh v transakci. Ta by mi kvůli konkurenčnímu použití aplikace málokdy doběhla do konce. Nechci nijak zamykat řádky, chci jen po dobu sql spojení "snapshot" stavu několika tabulek. V transakci bych zpracovával jen něco v bodu 3.

    Původně jsem myslel, že bych "vnořoval" transakce (SAVEPOINT), nicméně pokud by ta podtransakce v bodu 3 něco zamykala, tak by mohla zhavarovat ta "rodičovská" transakce v jiném spojení. Jediné současné řešení, které mě napadá je manuálně si verzovat řádky vybraných tabulek. Je ještě jiná možnost? Ideálně něco jako "rodičovská" transakce, které by nikdy nedělala rollback "dceřiných".

    Odpovědi

    okbob avatar 25.9.2015 07:31 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: Postgresql - snapshot tabulek???
    U databází, které jsou postavené nad MVCC- Multi Version Concurrency Control (a to Postgres je) transakce v řádech minut obvykle nebývají problém. Pracovat se snaphotem je ten nejmenší. Zde platí, že UPDATE neblokuje SELECT a SELECT neblokuje UPDATE.
    25.9.2015 09:19 OldFrog {Ondra Nemecek} | skóre: 36 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: Postgresql - snapshot tabulek???
    Připojím se s dotazem: Mám eshop, který při objednání zapisuje do tabulky produktů (aktualizuje zde počet prodaných kusů) a mám dávku, která v eshopu aktualizuje údaje o produktech (data se berou ze skladového systému). Dávka běží v transakci několik minut. Problém je zřejmý: Pokud během této doby někdo objednává, zasekne se objednávka a čeká na dokončení transakce a jelikož to probíhá synchronně s odesíláním košíku, čeká i uživatel. A nakonec dojde buď trpělivost uživateli nebo dojde na timeout při čekání na konec transakce. Databáze je Mysql.

    Jak toto nejlépe řešit? Nejlépe při zachování atomicity té dávky (buď prijde celá nebo vůbec). Nad dávkou mám plnou kontrolu, nad eshopem taky ale nechci upravovat jádro.

    PS: Dávka byla navržená původně na běh 1x denně v noci, ale znáte to, přišlo se na to, že je občas potřeba aktualizovat i během dne.
    -- OldFrog
    okbob avatar 25.9.2015 09:31 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: Postgresql - snapshot tabulek???
    Pokud se pracuje nad stejnými tabulkami, tak se s tím nedá nic dělat. Ověřit si, že běžíte nad InnoDB, které zamyká po řádcích, a snažit se co nejrychleji urychlit dávku - což znamená hlavně rychlé disky, dost paměti, indexy. Dalším řešením je rozdělit transakci po kategoriích atd. Dálším může separátní uložiště pro odeslání košíku - i při UPDATE se může z tabulky číst.

    V prvním kroku bych se zaměřil na rychlost té dávky - na dnešních počítačích bych během několika minut měl zaktualizovat několik miliónů produktů. To skutečně děláte? Pokud ne, tak je docela dost možné, že ta dávku bude možné napsat inteligentněji.
    25.9.2015 10:04 OldFrog {Ondra Nemecek} | skóre: 36 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: Postgresql - snapshot tabulek???
    Ověřit si, že běžíte nad InnoDB, které zamyká po řádcích
    Ano, všude je InnoDB. Ale čeká to na dokončení celé transakce. Dávka jde sekvenčně produkt po produktu, u každého produktu udělá dotazy do několika tabulek a několik tabulek aktualizuje. Transakce tam je začatá úplně primitivně na začátku celé dávky, takže pokud dojde k chybě neaktualizuje se žádný produkt. Asi by stačilo transakci otevřít a pak komitnout pro každý produkt zvlášť, takže by byla zaručena alespoň konzistence jednotlivého produktu. Musel bych prostudovat, jaké tam jsou vedlejší efekty - kvůli něčemu jsme transakce po produktech zamítli.
    Dalším řešením může být separátní uložiště pro odeslání košíku - i při UPDATE se může z tabulky číst.
    Tomuhle nerozumím, můžete to prosím ještě rozvést?
    (...) během několika minut měl zaktualizovat několik miliónů produktů. To skutečně děláte? Pokud ne, tak je docela dost možné, že ta dávku bude možné napsat inteligentněji.
    Ta dávka není čisté sql, používá se orm a řeší se tam kde co, mimo jiné se rozhoduje podle existujících záznamů v databázi. Přepis do sql s případným použitím procedur by bylo ideální, nicméně nejdražšší řešení.
    -- OldFrog
    okbob avatar 25.9.2015 10:31 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: Postgresql - snapshot tabulek???
    Při zpracování košíku bych nezapisoval do tabulky produktů, ale do nějaké pomocné tabulky. Tím by nemělo docházet k čekání na zámek.

    Přepis do SQL - vždy je to otázka ceny, ale spočítejte si, kolik zákazníků a prodeje ztratíte.
    25.9.2015 10:38 OldFrog {Ondra Nemecek} | skóre: 36 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: Postgresql - snapshot tabulek???
    Ano, košík by neměl zapisovat do tabulky produktů, to je chyba návrhu (jde o OXID eshop). Pokud se zápis odstraní, vše funguje. Takže by bylo řešení si to ukládat bokem do jiné tabulky a pak třeba jednou denně přelít do tabulky produktů. To je asi nejschůdnější řešení, vyžadující bohužel zásah do eshopu.

    Děkuju za odpovědi a mějte se!
    -- OldFrog

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.