Dotaz: generování db v postgresu

[jik]

Zdravím, z nějakých dat generuji soubor, který obsahuje inserty do 2 závislých tabulek v podobě:

INSERT INTO tab1 (col1, col2) VALUES (2009, 'data1');

INSERT INTO tab2 (tab1_id, col3, col4) SELECT currval(pg_get_serial_sequence('tab1', 'id')), 600016, 'data2';

Potom to předhazuji postgresu příkazem:

psql databáze < soubor_insertů

Celé je to takto nehorázně pomalé. Zatím to nechci tlačit přes Perl - nevím, jestli bude webový server poskytovat Perl:DBI a DBD_Pg. Vcelku ideálně bych si představoval vzít proměnnou a do ní vložit hodnotu toho sekvenceru a potom do insertu dát tu proměnnou, nějak takto:

INSERT INTO tab1 (col1, col2) VALUES (2009, 'data1');

$var = currval(pg_get_serial_sequence('tab1', 'id'));

INSERT INTO tab2 (tab1_id, col3, col4) VALUES ($var, 600016, 'data2'), ...

Zatím jsem však nepřišel na to, jak takovouto proměnnou v postgresu vytvořit.

Odpovědi

[Kit]

Uzavři ten soubor insertů do jedné transakce.

[jik]

No, nějak nevím, jak na to. Zkusil jsem obalit ty inserty do podřízené tabulky:

INSERT INTO tab1 ...

BEGIN transaction

INSERT INTO tab2

...

END transaction

a doba vykonávání se nezměnila (na 11" prckovi necelých 13000 insertů za necelé 3 minuty.

[Kit]

A proč ne všechny inserty? Jeden BEGIN; na začátek souboru a jeden COMMIT; na konec.

[Kit]

Vložení 10000 záznamů na mém Celeronu: Bez transakce 118 sekund, vše v jedné transakci 6 sekund.

[jik]

Joj! chybička se vloudila (chyběl středníček ...). Ze 2:45 na 0:18. Děkuji.

[mess]

Jak už někdo říkal - uzavřít všechno do jedné transakce. A jako druhou věc bych zkusil místo INSERT postgresovský COPY FROM STDIN, když ten soubor takhle přesměrováváš na standardní vstup.

[jik]

Stejně mám ještě otázku: Předpokládám, že tam bude nějaké kešování, ale nepředstavuje to opakované currval nadbytečnou zátěž, nebylo by šikovnější se na něj zeptat jen jednou, uložit a potom použít tuto uloženou proměnnou? Lze to v PostgreSQL nějak spáchat?

[Kit]

Nejlépe to vložit přímo do druhého příkazu INSERT místo proměnné $var. PostgreSQL si to už dokáže optimalizovat sám.

Ještě lépe by bylo celý záznam odeslat jako jeden INSERT a uvnitř zpracovat vloženou procedurou. Otázkou je, zda se v dané aplikaci to úsilí vyplatí. Docílí se tím vyšší konzistence dat.

[Heron]

Pokud se jedná o jednorázové nahrání spousty dat, nejlepší řešení je COPY. To je daleko nejrychlejší cesta, jak data do PostgreSQL dostat. Co se týče sekvence, šlo by ji po bulk upload nastavit na požadovanou hodnotu.