abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    včera 17:44 | IT novinky

    Vláda Spojených států získala desetiprocentní podíl v americkém výrobci čipů Intel. Oznámili to podle agentur americký prezident Donald Trump a ministr obchodu Howard Lutnick. Společnost Intel uvedla, že výměnou za desetiprocentní podíl obdrží státní dotace v hodnotě 8,9 miliardy dolarů (zhruba 186 miliard Kč). Částka podle Intelu zahrnuje dříve přislíbené subvence 5,7 miliardy dolarů z programu CHIPS na podporu výroby čipů v USA,

    … více »
    Ladislav Hagara | Komentářů: 3
    včera 17:33 | Nová verze

    Organizace Apache Software Foundation (ASF) vydala verzi 27 integrovaného vývojového prostředí a vývojové platformy napsané v Javě NetBeans (Wikipedie). Přehled novinek na GitHubu. Instalovat lze také ze Snapcraftu a Flathubu.

    Ladislav Hagara | Komentářů: 0
    včera 04:22 | Nová verze

    Knihovna FFmpeg byla vydána ve verzi 8.0 „Huffman“. Přibyla mj. podpora hardwarově akcelerovaného kódování s využitím API Vulcan, viz seznam změn.

    Fluttershy, yay! | Komentářů: 0
    22.8. 17:44 | IT novinky

    Národní úřad pro kybernetickou a informační bezpečnost (NÚKIB) vydal Zprávu o stavu kybernetické bezpečnosti ČR za rok 2024 (pdf). V loňském roce NÚKIB evidoval dosud nejvíce kybernetických bezpečnostních incidentů s celkovým počtem 268. Oproti roku 2023 se však jedná pouze o drobný nárůst a závažnost dopadů evidovaných incidentů klesá již třetím rokem v řadě. V minulém roce NÚKIB evidoval pouze jeden velmi významný incident a významných incidentů bylo zaznamenáno 18, což oproti roku 2023 představuje pokles o více než polovinu.

    Ladislav Hagara | Komentářů: 1
    22.8. 13:55 | Komunita

    Byl publikován aktuální přehled vývoje renderovacího jádra webového prohlížeče Servo (Wikipedie). Servo mimo jiné nově zvládne animované obrázky APNG a WebP.

    Ladislav Hagara | Komentářů: 0
    22.8. 13:11 | IT novinky

    Na chytré telefony a počítačové tablety v Rusku bude od začátku příštího měsíce povinné předinstalovávat státem podporovanou komunikační aplikaci MAX, která konkuruje aplikaci WhatsApp americké společnosti Meta Platforms. Oznámila to dnes ruská vláda. Ta by podle kritiků mohla aplikaci MAX používat ke sledování uživatelů. Ruská státní média obvinění ze špehování pomocí aplikace MAX popírají. Tvrdí, že MAX má méně oprávnění k přístupu k údajům o uživatelích než konkurenční aplikace WhatsApp a Telegram.

    Ladislav Hagara | Komentářů: 36
    22.8. 04:22 | IT novinky

    Společnost PINE64 stojící za telefony PinePhone nebo notebooky Pinebook publikovala na svém blogu srpnový souhrn novinek. Kvůli nedostatečnému zájmu byla ukončena výroba telefonů PinePhone Pro.

    Ladislav Hagara | Komentářů: 2
    21.8. 22:22 | Nová verze

    Po pěti měsících vývoje byla vydána nová verze 0.15.1 programovacího jazyka Zig (GitHub, Wikipedie). Verze 0.15.0 byla přeskočena. Přispělo 162 vývojářů. Přehled novinek v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    21.8. 21:55 | Komunita

    Před sedmi lety společnost Valve představila fork projektu Wine s názvem Proton umožňující v Linuxu přímo ze Steamu hrát počítačové hry do té doby běžící pouze ve Windows. Aktuální přehled podporovaných her na stránkách ProtonDB

    Ladislav Hagara | Komentářů: 0
    21.8. 14:55 | IT novinky

    Společnost DuckDuckGo rozšířila svůj AI chat Duck.ai o GPT-5 mini (𝕏). Duck.ai umožňuje anonymní přístup bez vytváření účtů k několika modelům umělé inteligence. Aktuálně k GPT-4o mini, GPT-5 mini, Llama 4 Scout, Claude Haiku 3.5 a Mistral Small 3.

    Ladislav Hagara | Komentářů: 6
    Pro otevření více webových stránek ve webovém prohlížečí používám
     (77%)
     (8%)
     (3%)
     (5%)
     (6%)
     (0%)
    Celkem 62 hlasů
     Komentářů: 6, poslední 21.8. 13:35
    Rozcestník

    Dotaz: postgres - import nekonzistentnich dat

    24.2.2022 14:40 gent
    postgres - import nekonzistentnich dat
    Přečteno: 1508×
    Cau,

    dostal jsem za ukol zmigrovat jednu aplikaci (Python/django+postgres) ze stareho serveru na novy. Na starem serveru bezi postgres 8, na novy server jsem dal postgres 11.

    Pokud na starem serveru dumpnu DB a pokousim se ji naimportovat na novy server, dostavam cca 20 chyb (jde o 2 opakujici se chyby - "duplicate id already exists" a "not a valid UTF sequence") - z cehoz usuzuju, ze jsou chyby (flip bity) na starych discich. Pokud z dumpu smazu "chybove" radky, import se povede a aplikace jede OK.

    Posledni zaloha na starem serveru je ze zacatku roku 2021 - ta je (zda se) "konzistentni" a jde naimportovat na novy seerver bez chyb.

    Tak me napadlo, ze DB postavim tak, ze nejdriv naimportuju "konzistentni" dump z roku 2021 a pak to prezehlim aktualnim dumpem, aby se prihrali jen rozdily/neexistujici zaznamy od roku 2021.

    A tady jsem narazil - jelikoz nejdou pustit 2 dumpy pres sebe tak, aby se dohraly z posledniho dumpu jen neexistujici zaznamy.

    Nemate nekdo nejaky napad, jak toto realizovat? (treba vypnout transakce v dumpu, nebo udelat nejaky specialni dump, ktery bude existujici zaznamy v tabulce ignorovat )

    Na SO jsem nasel "reseni" s pouzitim temp. tabulek, coz se mi moc nelibi a nechavam si to jako posledni moznost.

    Diky za pripadne napady, s PSQL delam jen okrajove ;)

    Odpovědi

    25.2.2022 18:11 j
    Rozbalit Rozbalit vše Re: postgres - import nekonzistentnich dat
    "ze jsou chyby (flip bity) na starych discich."

    To bych dost pochyboval. Chyby budou spis logickyho razu v datech. Je to pomerne typicka vec, kdyz ten kdo dela aplikaci netusi jak funguje databaze. To bys totiz tu tabazi nespis vubec nespustil - kazda aspon trochu svepravna pouziva na datovy soubory minimalne nejaky kontrolni soucty.

    Pokud znas strukturu tak neni problem vadny data prece opravit. Variatne je proste smaznout, v databazich byva hromada historickych dat ktera stejne uz nikdy nikoho zajimat nebudou.

    Takze ... dumpni si zalohu a podivej se, jestli tam jsou ty radky, ktery ti hlasej chybu a porovnej je. Pokud tam vubec nejsou, tak druha moznost je, ze je rucne oprav v tom dumpu. Posledni moznost je samozrejme vyhodnotit ta data jako jiz nepotrebna, a tudiz se bez nich obejit (pro predstavu, to ze si pred 20ti lety nekomu delal nejakou nabidku, a on si pak nic nekoupil, je typicka vec, bez ktery se svet nezbori).

    Samo tady pozor, protoze tim ze ty zaznamy odstranis muzes vyrobit jeste mnohem horsi veci, takze je treba znat strukturu tech dat a co kde na co navazuje.

    ---

    Dete s tim guuglem dopice!
    AraxoN avatar 28.2.2022 14:48 AraxoN | skóre: 47 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: postgres - import nekonzistentnich dat
    Postgres v staršej verzii musel mať nejakú bugu, kedy to dovolilo v nejakom okrajovom prípade vytvoriť rovnaké záznamy nad unique indexom. Stretli sme sa s tým niekoľkokrát aj my - dump prebehol v poriadku, import do novej, prázdnej DB, už nie z dôvodu duplicity. Ostalo len manuálne opraviť záznamy. Najskôr som podozrieval pamäte, ale strávil som noc s memtestom v serverovni, bez výsledku. Myslím, že to prestalo, keď sme prešli na PG11.

    Takéto zlučovanie dát všeobecne robím tak, že tabuľku vyexportujem bez restraintov a naimporujem pod iným názvom. Tým mám vedľa seba dve tabuľky s rovnakými stĺpcami a môžem robiť veci ako napríklad:
    INSERT INTO ostra SELECT * FROM zaloha WHERE id NOT IN (SELECT id FROM ostra);
    28.2.2022 15:29 gent
    Rozbalit Rozbalit vše Re: postgres - import nekonzistentnich dat
    Cau, diky za reakce - chyby jsou opravdu v tech primarnich klicich/id, a to ani sebehorsi progy nedokaze rozbit (pokud nepocitam bug, bo "offline" binarni editaci psql souboru - a to urcite nikdo nedelal).

    Nakonec jsem to vyresil tak, ze jsem pg_dump pustil s parametrem "--column-inserts" - to vytvori dump s "INSERTama" na kazdem radku a tim to muzu prezehlit :) takze vyreseno

    Dik

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.