Dotaz: Postgres - update tabulky z CSV

[Tom]

Dobry den, mel bych takovy asi hodne zacatecnicky dotaz ohledne pridavani dat z CSV souboru do PostgreSQL

Mam Python script ve kterem do DB importuji vzdy nove CSV soubory pomoci psycopg2

SQL_STATEMENT = """
    COPY %s FROM STDIN WITH
    CSV
    HEADER
    DELIMITER AS ','
    """
dbcur.copy_expert(sql=SQL_STATEMENT % table_name, file=file_object)

To funguje, nove soubory se importuji v poradku. Potreboval bych ale nejak udelat to, ze kdyz se pokusim naimportovat soubor ktery obsahuje nejaka nova data a nejaka duplicitni, tak aby se naimportovala pouze ta nova data. Nyni mi import neprobehne vubec kvuli duplicite v Primary Key.

Jak by takova vec mela fungovat? Pujde to resit rovnou pri importovani toho souboru? Nebo mozna nejdrive import do nejake pomocne tabulky a nasledne porovnani/updatovani?

Na co se mam zamerit?

Dekuji. Tom

Odpovědi

[wamba]

Tady používají pomocnou tabulku a pak INSERT INTO … ON CONFLICT DO NOTHING;

[Tomáš]

natáhnout do extra tabulky tbl_import a potom to do cílové tabulky tbl_data natáhnout insertem

insert into tbl_data(primary_key, data)

select ti.primary_key, ti.data

from tbl_import as ti left outer join tbl_data as td on ti.primary_key = td.primary_key

where td.primary_key is null

[EtDirloth]

islo by pouzit file FDW v kombinacii s INSTERT-SELECTom?