abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 01:11 | Nová verze

Byla vydána nová major verze 3.0 svobodného multiplatformního geografického informačního systému QGIS (Wikipedie). Její kódové jméno je Girona, dle názvu města, ve kterém proběhlo 15. setkání vývojářů QGISu. Přehled novinek i s náhledy a animacemi v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
včera 20:33 | Zajímavý článek

Nadace Raspberry Pi vydala sedmašedesáté číslo (pdf) anglicky psaného časopisu MagPi věnovanému Raspberry Pi a projektům postaveným na tomto jednodeskovém počítači a čtvrté číslo (pdf) časopisu pro kutily HackSpace věnovanému navíc 3D tisku, pájení, řezání nebo i elektronice a IoT.

Ladislav Hagara | Komentářů: 0
včera 18:33 | Komunita

Morevna Project, který stojí za řadou svobodného softwaru pro animátory (např. Synfig Studio, RenderChan nebo Papagayo-NG) a svobodnými (CC-BY-SA) animovanými filmy/komiksy Morevna (3. díl) a Pepper&Carrot: The Potion Contest (6. díl), sbírá do 1. března příspěvky na 4. díl svého animovaného filmu Morevna. Mezi odměnami přispěvatelům lze najít např. i videokurzy animace v Synfigu či Blenderu.

xHire | Komentářů: 0
včera 12:22 | Bezpečnostní upozornění

Ve středu vydaná "npm@next" verze 5.7.0 správce balíčků pro JavaScript npm (Wikipedie, Node Package Manager) přinesla řadě uživatelů Linuxu nečekanou nepříjemnost. V závislosti na způsobu instalace a ve spojení s příkazem sudo mohlo dojít ke změně vlastníka u systémových souborů, také například /. Chyba je opravena v před několika hodinami vydané verzi npm 5.7.1 [reddit].

Ladislav Hagara | Komentářů: 10
včera 10:00 | Nová verze

Byla vydána verze 10.5 open source alternativy GitHubu, tj. softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech, GitLab (Wikipedie). Představení nových vlastností v příspěvku na blogu. Zdůraznit lze integrovanou podporu Let's Encrypt.

Ladislav Hagara | Komentářů: 0
22.2. 12:33 | Komunita

Příspěvek na blogu Signalu (Wikipedie) informuje o založení neziskové nadace Signal Foundation, jež bude zastřešovat další vývoj tohoto svobodného bezpečného komunikátoru běžícího také na Linuxu (Signal Desktop). Brian Acton, spoluzakladatel WhatsAppu, věnoval nadaci 50 milionů dolarů [Hacker News].

Ladislav Hagara | Komentářů: 1
22.2. 05:55 | Zajímavý článek

Článek na Fedora Magazine krátce představuje programovací jazyk Rust a několik zajímavých v Rustu naprogramovaných terminálových aplikací. Jedná se o alternativu k příkazu grep ripgrep, moderní barevnou alternativu k příkazu ls exa, příkazem cloc inspirovaný tokei a zvířátko v terminálu ternimal.

Ladislav Hagara | Komentářů: 0
21.2. 23:55 | Zajímavý projekt

Byl spuštěn Humble Classics Return Bundle. Za vlastní cenu lze koupit hry Broken Sword 5 - The Serpent's Curse, Shadowrun Returns a Shadowrun: Dragonfall - Director's Cut. Při nadprůměrné platbě (aktuálně 8,48 $) také Shadowrun: Hong Kong - Extended Edition, Wasteland 2: Director's Cut - Standard Edition, Age of Wonders III a Xenonauts. Při platbě 15 $ a více lze získat navíc Torment: Tides of Numenera a Dreamfall Chapters: The Final Cut Edition.

Ladislav Hagara | Komentářů: 0
21.2. 00:11 | Bezpečnostní upozornění

Vývojáři linuxové distribuce Mageia na svém blogu upozorňují na narušení bezpečnosti Mageia Identity. Narušitel získal přístup k LDAP databázi a zveřejnil jména uživatelů, jejich emailové adresy a haše hesel. Hesla uživatelů byla resetována.

Ladislav Hagara | Komentářů: 3
20.2. 21:55 | Nová verze

Byla vydána verze 2.0.0 nástroje pro záznam a sdílení terminálových sezení asciinema (GitHub). Z novinek je nutno upozornit na nový zpětně nekompatibilní formát záznamu asciicast v2. S novým formátem si poradí nové verze asciinema-playeru a asciinema-serveru [Hacker News].

Ladislav Hagara | Komentářů: 0
Který webový vyhledávač používáte nejčastěji?
 (2%)
 (28%)
 (62%)
 (2%)
 (3%)
 (0%)
 (1%)
 (1%)
Celkem 445 hlasů
 Komentářů: 35, poslední 21.2. 19:51
    Rozcestník

    Dotaz: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení

    9.1.2016 21:59 OldFrog {Ondra Nemecek} | skóre: 29 | blog: Žabákův notes | Praha
    Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    Přečteno: 1490×
    Příloha:
    Ahoj všem,

    potřeboval bych v AFTER INSERT OR UPDATE triggeru zavolat proceduru z externího nástroje, pomocí které předžvýkám nějaká data a pak je uložím do databáze. Externí nástroj přistupuje ke stejné tabulce, na kterou je zavěšený ten trigger.

    Problém je v tom, že externí nástroj vidí data ve stavu před update. Vypadá to deterministicky, jsem vždy „o krok pozadu“. Cache ten nástroj nepoužívá žádnou.

    Konkrétně jde o trigger, který používá pljava funkci a tato funkce si přes http api stáhne data. Služba poskytující api se do stejné databáze připojuje přes jdbc.

    Stejné chování má však i pokusný trigger v plpgsql, pokud si data tahá jakoby externě pomocí dblink spojení. Pokud data načítá lokálně sql dotazem, funguje to správně, pokud externě, jsem pozadu.

    Předpoklad byl, že po updatu jsou data už v tabulce a že je tudíž bez problému načtu, tedy že viditelnost bude stejná jak jsem v triggerech zvyklý. Toto zřejmě neplatí.

    Situace by asi byla jiná, pokud by trigger updatoval data z jiné tabulky, než na kterou je pověšený. Možným řešením by pak mohlo být rozdělit danou tabulku na dvě tabulky a triggerem upravovat tu druhou. Jde mi o to, zda to je nutné a zda to skutečně pomůže. Bylo by to pak deterministické?

    Smyslem celého konání je jakási pomocá indexová tabulka, která obsahuje předžvýkaná data z několika dalších tabulek. Jeden sloupec této pomocné tabulky se předžvýká pomocí plpgsql triggerů a když je to hotovo, odpaluje se na této pomocné tabulce další trigger, který má naplnit druhý sloupec pomocí http api.

    Protože jsem nejspíš narazil na hranice mých znalostí, nechám si rád poradit.
    -- OldFrog

    Řešení dotazu:


    Odpovědi

    9.1.2016 22:40 OldFrog {Ondra Nemecek} | skóre: 29 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    PS: V příloze dotazu je ten vzorový test s dblink. Jinak jsem zjistil, že rozdělení tabulky by asi nepomohlo. protože ve staré verzi vidím i ostatní tabulky. Zkusím pátrat po internetu.
    -- OldFrog
    9.1.2016 23:05 OldFrog {Ondra Nemecek} | skóre: 29 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    Zdá se, že to celé běží v jedná transakci a COMMIT proběhne až po dokončení trigeru. Nezdá se, že by to šlo v Postgres změnit. Ale asi by šlo použít NOTIFY?
    -- OldFrog
    okbob avatar 9.1.2016 23:11 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    V AFTER triggeru jsou sice data již uložená, ale stále nejsou viditelná ostatním uživatelům (transakcím). Teprve po dokončení triggeru dojde ke commitu a k zviditelnění změn. Tudíž přístupu zvenku tyto změny vidět nemůžete. PostgreSQL oficiálně nepodporuje dirty reading - takže tenhle způsob je 100% slepá cesta. K časné signalizaci klienta (čehokoliv), že došlo ke změně dat, se používá notifikace (příkaz NOTIFY). Příkaz NOTIFY se volá uvnitř transakce - a pokud commit neselže, tak bezprostředně poté, co jsou data viditelná ostatním uživatelům (dle úrovně izolace transakce), tak Postres notifikuje klienta.

    Jinak volat z triggeru externí nástroj znamená koledovat si o malér (navíc, který někde bude zapisovat). Výsledkem jsou docela křehké a nepřehledné aplikace. Ještě po volání triggerů může transakce zhavarovat a rázem máte nekonzistenci v datech.

    9.1.2016 23:51 OldFrog {Ondra Nemecek} | skóre: 29 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    Děkuju za odpověď, už jsem taky přišel na NOTIFY/LISTEN a zkoumám to. Můžu naslouchat notifikaci v klientské java aplikaci pomocí jdbc spojení? Pak by mohla naslouchat rovnou ta externí java aplikace, což by bylo asi docela dobré. Pokud ne, nahradím trigger nofitikacema jen rámci databáze a klientskou aplikaci použiju přes url a mělo by to taky chodit.

    Riziko volání externích nástrojů z triggeru chápu, nicméně myslím, že tohle je právě ten případ, který se to dá ještě akceptovat. Pomalost updatu nevadí, updatuje se málo a ta tabulka slouží jen pro fulltext hledání a jako cache. Pokud něco selže, uloží se do cachovacího sloupce NULL a data si dohledá aplikace sama (akorát mnohem pomaleji). Do primárních dat ten trigger nezasahuje.

    Nepoužít trigger (resp. notifikace) by byl přechod z bláta do louže: Jelikož se pro vygenerování potřebných dat používají nástroje, které v psql nejsou dostupné, tak bych musel data generovat přímo v aplikaci a problém s konzistencí dat by nastal stejně (stačílo by změnit data mimo aplikaci třeba pomocí sql). Šlo by to sice celé napsat v pljava, ale to by byl trochu overkill a pravděpodobně bych se nevyhnul duplicitě kódu.
    -- OldFrog
    okbob avatar 10.1.2016 06:54 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    11.1.2016 22:58 OldFrog {Ondra Nemecek} | skóre: 29 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    No nějak to funguje, ale bojím se, jestli to dostatečně garantuje, že se skutečně všechny zprávy doručí. Navíc je otázka, co s tím udělá connection pool. Nejspíš by to chtělo si udělat nějaké vyhrazené nepoolované spojení a to ručně kontrolovat, zda žije. Pokud by se spojení ukončilo a já se znovu připojil, tak bych o notifikace asi přišel, že jo?

    No prostě - nesmějte se mi - je docela nevýhoda, že to neběží v té transakci :-D
    -- OldFrog
    12.1.2016 00:19 bohyn
    Rozbalit Rozbalit vše Re: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    Nemuze ta vzdalena sluzba dostat vsechna potrebna data v pozadavku a zpatky vratit prechroupana data o jejichz ulozeni se postara _trig_t1? Z AFTER INSERT/UPDATE se stane BEFORE INSERT/UPDATE a vse zustane v jedne transakci
    12.1.2016 09:54 OldFrog {Ondra Nemecek} | skóre: 29 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    Ano, to mě také napadlo, tak by to šlo. Nicméně pak by se už asi vyplatilo doimplementovat i zbytek logiky do procedur, čili přesunout část aplikace do tam.
    -- OldFrog
    okbob avatar 12.1.2016 08:09 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    Já bych si udělal jednu pomocnou tabulku, kde bych si notifikace ještě ukládal. Pak druhou pro zpracované notifikace. Po notifikaci by si klient pouze zjistil rozdíl mezi zpracovanými a nezpracovanými notifikacemi. Tudíž se nemůže stát, že by se notifikace ztratila. A jednou denně bych promazal notifikace, které už jsou zpracované z obou tabulek.
    12.1.2016 09:58 OldFrog {Ondra Nemecek} | skóre: 29 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    Jasně, čili závěr z toho je, že ty notifikace jsou dost jednoduchý mechanismus a pokud by člověk potřeboval větší robustnost, musel by si nad tím dopsat nějakou frontu a kontroly a doplnit doplnit si tak transakční logiku sám.
    -- OldFrog
    okbob avatar 12.1.2016 11:50 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    Přesně tak - notifikace jsou jednoduchý signál směrem od databáze k aplikaci - něco se změnilo. Ale nemáte garantováno, že klient poslouchá, anebo že korektně zareaguje. Na to už je potřeba sada 2PC transakcí.
    12.1.2016 10:06 OldFrog {Ondra Nemecek} | skóre: 29 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    Děkuju všem za nápady. Nakonec jsem šel cestou nejmenšího odporu. Potřebná data se negenerují dopředu - aplikace si je generuje až v případě potřeby a do cachovací tabulky si je uloží pro pozdější použití sama. Pomocí triggerů zajišťuju pouze zneplatnění cache, pokud se primární data změnila. Jelikož se mění jen malé množství záznamů, nemá to žádný dopad na rychlost a nemůže se to rozbít.

    Jako řešení nebudu označovat asi nic, variant tu zaznělo několik a správná volba záleží na konkrétní situaci.
    -- OldFrog
    okbob avatar 12.1.2016 11:52 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    Obyčejně rozumně jednoduché řešení bývá nejlepší.
    12.1.2016 12:26 OldFrog {Ondra Nemecek} | skóre: 29 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    :-)
    -- OldFrog
    17.1.2016 18:04 peter
    Rozbalit Rozbalit vše Re: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    Aj ked uz mas ine riesenie, riesenie pre original ulohy by podla mna bol dvojfazovy commit (xa transakcie). Btw to ze transakcia zhavaruje by nemalo ovplyvnit konzistentnost dat.
    18.1.2016 15:47 OldFrog {Ondra Nemecek} | skóre: 29 | blog: Žabákův notes | Praha
    Rozbalit Rozbalit vše Re: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    Díky za info - můžete k tomu doporučit nějaký zdroj? V daném případě by to byl sice kanón na vrabce, ale rád bych si přečetl, jak taková věc funguje.
    -- OldFrog
    19.1.2016 12:26 peter
    Rozbalit Rozbalit vše Re: Postgres - viditelnost dat v AFTER INSERT OR UPDATE triggeru z _externího_ spojení
    Vlastne si prestavam byt isty, ze by to fungovalo. Nemam ani nainstalovany postgres aby som to vyskusal, takze ak sa vam chce.. Ale zdroj je dokumentacia: http://www.postgresql.org/docs/9.2/static/sql-prepare-transaction.html

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.