Administrace komentářů

Zkusil jsem si rychlost importu pro představu. Bez kontrol a indexů vložím milión záznamů za cca 19 sekund. S neunikátním indexem za cca 30sekund. Nastavení databáze je výchozí a s hodnotou shared_buffers = 128MB. Tyhle čísla by měly korespondovat s časem počtem a časem u vás. Korespondují?

Vzorová data mají 312MB a milion řádek:

$ wc -l file_A.csv
1000000 file_A.csv

$ ls -sh file_A.csv
312M file_A.csv

$ head -n3 file_A.csv
2359;c2aa 4ebe 592c 2638 8c8f 5269 2e94 1381 59a9 cadc 2e84 b895 3295 7078 24a6 b512 df94 d803 e5d2 4c15 fc43 c818 49dd 86c5 1c60 90f9 f227 8738 5ef8 95ec e5f4 5288 106a 52b9 dc61 2a34 57a5 bd37 989d fd0e 078f 83b1 a157 b1b0 6399 8b9c a1af 21e3 fa39 7abd 8b9d 0615 bb5f 1afc f302 b0dc de59 18e9 a221 67f4 3a7e 6ea3 891a 619b;
9765;8490 5573 28c2 e229 2519 b612 8745 fee1 e103 2476 3247 ad7d df5e 80ec f5f3 def8 fddc a313 50dd 7b6d 8949 25cd 5fed d7a8 177d b70d d6be 3aa7 8dc0 8df5 de28 34d3 bf03 6413 ca0d 2bb7 f397 a39a 7db0 72aa 7fad de31 4279 9a0b 93f1 4106 74c9 a3fa d1e9 afb7 dadb 0b61 bf0f c674 4c0e 1ecd c0c7 79c3 798d 471c dd5f 8125 dc52 7816;
30671;75c5 f14d f72e 11c0 1833 8248 24b1 a939 38b2 d4d8 3e2e b129 22ad bc0d 2b41 b8da 61ea 18d2 dffb 32ad 83e0 118f 5c81 ae0f 8eb8 a495 a820 d30e 8fe1 a4f6 d234 6e36 a5f8 e17f aa2d 0953 fe34 bced c5bb 63b9 f460 41dc 59ef 8dd4 7043 9a32 54ca d20b 5393 bd72 0fb1 11dc 7980 4ebe eb73 6829 ecf2 b18e 8e52 a3b3 b43a 8ad0 111c b61c;

Databáze

CREATE DATABASE import
  ENCODING = 'UTF8'
  LC_COLLATE = 'cs_CZ.utf8'
  LC_CTYPE = 'cs_CZ.utf8';
GRANT ALL ON DATABASE import TO postgres;
GRANT ALL ON DATABASE import TO public;

Tabulka:

CREATE TABLE t1 (
  key integer,
  value text,
  extra text
);

Bez kontrol a bez indexu:

$ psql -U postgres import -c "TRUNCATE t1;"
TRUNCATE TABLE

$ psql -U postgres import -c "DROP INDEX t1_key_idx;"
ERROR:  index "t1_key_idx" does not exist

$ time psql -U postgres -c "COPY t1(key,value,extra) FROM '/home/ondrej/Test/file_A.csv' DELIMITER ';' CSV;" import
COPY 1000000

real	0m19.562s
user	0m0.003s
sys	0m0.006s

Bez kontrol s indexem:

$ psql -U postgres import -c "TRUNCATE t1;"
TRUNCATE TABLE

$ psql -U postgres import -c "CREATE INDEX t1_key_idx ON t1 USING btree (key);"
CREATE INDEX

$ time psql -U postgres -c "COPY t1(key,value,extra) FROM '/home/ondrej/Test/file_A.csv' DELIMITER ';' CSV;" import
COPY 1000000

real	0m29.042s
user	0m0.002s
sys	0m0.004s

Přelití jedinečných záznamů do jiné tabulky:

$ time psql -U postgres import -c "CREATE TABLE t2 AS SELECT DISTINCT ON(key) * FROM t1;"
SELECT 32768

real	0m15.888s
user	0m0.001s
sys	0m0.008s

Doplnění jedinečného indexu (t2 neobsahuje duplicity, t1 ano):

$ psql -U postgres import -c "CREATE UNIQUE INDEX t2_key_idx ON t2 USING btree (key);"
CREATE INDEX

$ psql -U postgres import -c "DROP INDEX t1_key_idx; CREATE UNIQUE INDEX t1_key_idx ON t1 USING btree (key);"
ERROR:  could not create unique index "t1_key_idx"
DETAIL:  Key (key)=(12063) is duplicated.

Počty řádků v tabulce:

$ psql -U postgres import -c "SELECT count(*) FROM t1;"
  count  
---------
 1000000
(1 řádka)

$ psql -U postgres import -c "SELECT count(*) FROM t2;"
 count 
-------
 32768
(1 řádka)

Verze databáze:

$ psql -U postgres import -c "SELECT version();"
                                                   version                                                   
-------------------------------------------------------------------------------------------------------------
 PostgreSQL 9.4.5 on x86_64-redhat-linux-gnu, compiled by gcc (GCC) 5.1.1 20150618 (Red Hat 5.1.1-4), 64-bit
(1 řádka)

A s Potgres 9.5.rc1 a UPSERT:

$ psql -U postgres -h localhost -p 5434 import -c "TRUNCATE TABLE t2;"
TRUNCATE TABLE

$ psql -U postgres -h localhost -p 5434 import -c "DROP INDEX IF EXISTS t2_key_idx;"
DROP INDEX

$ psql -U postgres -h localhost -p 5434 import -c "CREATE UNIQUE INDEX t2_key_idx ON t2 USING btree (key);"
CREATE INDEX

$ time psql -U postgres -h localhost -p 5434 import -c "INSERT INTO t2 SELECT * FROM t1 ON CONFLICT (key) DO NOTHING;"
INSERT 0 32768

real	0m6.932s
user	0m0.005s
sys	0m0.006s

$ psql -U postgres -h localhost -p 5434 import -c "SELECT version();"
                                                  version                                                  
-----------------------------------------------------------------------------------------------------------
 PostgreSQL 9.5rc1 on x86_64-pc-linux-gnu, compiled by gcc (GCC) 4.1.2 20080704 (Red Hat 4.1.2-55), 64-bit
(1 řádka)