abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 04:11 | IT novinky

    Společnost PINE64 kvůli nedostatku a vysokým cenám DRAM a eMMC dočasně pozastavuje výrobu linuxových zařízení. Výroba zařízení jako PineTime, PineVoice a Pinecil pokračuje.

    Ladislav Hagara | Komentářů: 0
    dnes 02:55 | IT novinky

    Společnost Stripe se dohodla na akvizici společnosti OpenRouter. Za 7,5 miliardy dolarů.

    Ladislav Hagara | Komentářů: 0
    dnes 01:33 | Nová verze

    Byla vydána nová verze 1.27 programovacího jazyka Go (Wikipedie). Přehled novinek v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    včera 16:00 | Pozvánky

    V pátek 28. srpna se v Praze uskuteční již osmý Mobile Linux Hackday. Jako obvykle se potkáme v pražské pobočce SUSE v Karlíně na Křižíkově, takže kromě mobilního Linuxu je to tentokrát i příležitost přijít se podívat na nově zrekonstruované kanceláře. Začínáme v 10:00, ale dorazit můžete samozřejmě kdykoliv v průběhu dne. Setkáním vás provede David Heidelberg, vývojář GPU ovladačů v Mesa 3D a jeden z hlavních lidí české komunity kolem … více »

    lkocman | Komentářů: 0
    včera 14:11 | IT novinky

    Představen byl Raspberry Pi Compute Module 5 Programming Jig. Jedná se o zařízení umožňující připravit Compute Module 5 do plně funkčního stavu bez nutnosti použití dalších vstupně / výstupních desek. Podporuje automatizaci pomocí nástroje rpi-sb-provisioner. Podrobnosti v dokumentaci.

    Ladislav Hagara | Komentářů: 1
    včera 05:55 | IT novinky

    Hackeři ve Francii ukradli data více než půl milionu daňových poplatníků. Je to jeden z největších hackerských útoků v dějinách země. O útoku z konce června informovala až teď daňová správa. Teprve od pondělí dotčeným občanům zasílá e-maily s instrukcemi, jak postupovat dál. Hackeři se sice nedostanou k penězům dotyčných, hrozí ale věrohodné podvody. Hackeři získali třeba celá jména, údaje o rodinných příslušnících nebo také údaje o

    … více »
    Ladislav Hagara | Komentářů: 19
    včera 04:44 | IT novinky

    Společnost Framework představila nový Framework Laptop 12 s Intel Core Series 3, Thunderbolt 4, Wi-Fi 7, volitelnou čtečkou otisků prstů a podsvícenou klávesnicí s open-source firmwarem ZMK. Objednat lze s předinstalovanou Fedorou 44 KDE Plasma.

    Ladislav Hagara | Komentářů: 0
    18.8. 16:44 | Nová verze

    Byl vydán Mozilla Firefox 154.0. Přehled novinek v poznámkách k vydání a poznámkách k vydání pro vývojáře. Řešeny jsou rovněž bezpečnostní chyby. Nový Firefox 154 bude brzy k dispozici také na Flathubu a Snapcraftu.

    Ladislav Hagara | Komentářů: 0
    18.8. 14:33 | Nová verze

    Nové číslo časopisu Raspberry Pi zdarma ke čtení: Raspberry Pi Official Magazine 168 (pdf).

    Ladislav Hagara | Komentářů: 0
    18.8. 11:55 | Nová verze

    Open-source citační manažer Zotero (Wikipedie, GitHub) byl vydán v nové major verzi 10. Přehled novinek v příspěvku na blogu.

    Ladislav Hagara | Komentářů: 0
    Které desktopové prostředí na Linuxu používáte?
     (10%)
     (7%)
     (2%)
     (18%)
     (30%)
     (7%)
     (6%)
     (2%)
     (15%)
     (22%)
    Celkem 2435 hlasů
     Komentářů: 31, poslední 13.8. 00:27
    Rozcestník

    Dotaz: generování db v postgresu

    23.9.2012 11:20 jik
    generování db v postgresu
    Přečteno: 566×
    Zdravím, z nějakých dat generuji soubor, který obsahuje inserty do 2 závislých tabulek v podobě:

    INSERT INTO tab1 (col1, col2) VALUES (2009, 'data1');

    INSERT INTO tab2 (tab1_id, col3, col4) SELECT currval(pg_get_serial_sequence('tab1', 'id')), 600016, 'data2';

    Potom to předhazuji postgresu příkazem:

    psql databáze < soubor_insertů

    Celé je to takto nehorázně pomalé. Zatím to nechci tlačit přes Perl - nevím, jestli bude webový server poskytovat Perl:DBI a DBD_Pg. Vcelku ideálně bych si představoval vzít proměnnou a do ní vložit hodnotu toho sekvenceru a potom do insertu dát tu proměnnou, nějak takto:

    INSERT INTO tab1 (col1, col2) VALUES (2009, 'data1');

    $var = currval(pg_get_serial_sequence('tab1', 'id'));

    INSERT INTO tab2 (tab1_id, col3, col4) VALUES ($var, 600016, 'data2'), ...

    Zatím jsem však nepřišel na to, jak takovouto proměnnou v postgresu vytvořit.

    Odpovědi

    23.9.2012 11:28 Kit
    Rozbalit Rozbalit vše Re: generování db v postgresu
    Uzavři ten soubor insertů do jedné transakce.
    23.9.2012 13:11 jik
    Rozbalit Rozbalit vše Re: generování db v postgresu
    No, nějak nevím, jak na to. Zkusil jsem obalit ty inserty do podřízené tabulky:

    INSERT INTO tab1 ...

    BEGIN transaction

    INSERT INTO tab2

    ...

    END transaction

    a doba vykonávání se nezměnila (na 11" prckovi necelých 13000 insertů za necelé 3 minuty.
    23.9.2012 13:23 Kit
    Rozbalit Rozbalit vše Re: generování db v postgresu
    A proč ne všechny inserty? Jeden BEGIN; na začátek souboru a jeden COMMIT; na konec.
    23.9.2012 13:41 Kit
    Rozbalit Rozbalit vše Re: generování db v postgresu
    Vložení 10000 záznamů na mém Celeronu: Bez transakce 118 sekund, vše v jedné transakci 6 sekund.
    23.9.2012 14:03 jik
    Rozbalit Rozbalit vše Re: generování db v postgresu
    Joj! chybička se vloudila (chyběl středníček ...). Ze 2:45 na 0:18. Děkuji.
    mess avatar 23.9.2012 13:59 mess | skóre: 43 | blog: bordel | Háj ve Slezsku - Smolkov
    Rozbalit Rozbalit vše Re: generování db v postgresu
    Jak už někdo říkal - uzavřít všechno do jedné transakce. A jako druhou věc bych zkusil místo INSERT postgresovský COPY FROM STDIN, když ten soubor takhle přesměrováváš na standardní vstup.
    Cez párne mesiace zošíváš vaginy, cez neparne montuješ hajzle.
    23.9.2012 18:02 jik
    Rozbalit Rozbalit vše Re: generování db v postgresu
    Stejně mám ještě otázku: Předpokládám, že tam bude nějaké kešování, ale nepředstavuje to opakované currval nadbytečnou zátěž, nebylo by šikovnější se na něj zeptat jen jednou, uložit a potom použít tuto uloženou proměnnou? Lze to v PostgreSQL nějak spáchat?
    24.9.2012 13:22 Kit
    Rozbalit Rozbalit vše Re: generování db v postgresu
    Nejlépe to vložit přímo do druhého příkazu INSERT místo proměnné $var. PostgreSQL si to už dokáže optimalizovat sám.

    Ještě lépe by bylo celý záznam odeslat jako jeden INSERT a uvnitř zpracovat vloženou procedurou. Otázkou je, zda se v dané aplikaci to úsilí vyplatí. Docílí se tím vyšší konzistence dat.
    Heron avatar 26.9.2012 10:41 Heron | skóre: 53 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: generování db v postgresu
    Pokud se jedná o jednorázové nahrání spousty dat, nejlepší řešení je COPY. To je daleko nejrychlejší cesta, jak data do PostgreSQL dostat. Co se týče sekvence, šlo by ji po bulk upload nastavit na požadovanou hodnotu.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.