abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 07:22 | Komunita

Od 26. do 29. října proběhla v Bochumi European Coreboot Conference 2017 (ECC'17). Na programu této konference vývojářů a uživatelů corebootu, tj. svobodné náhrady proprietárních BIOSů, byla řada zajímavých přednášek. Jejich videozáznamy jsou postupně uvolňovány na YouTube.

Ladislav Hagara | Komentářů: 0
včera 19:22 | Nová verze

Ondřej Filip, výkonný ředitel sdružení CZ.NIC, oznámil vydání verze 2.0.0 open source routovacího démona BIRD (Wikipedie). Přehled novinek v diskusním listu a v aktualizované dokumentaci.

Ladislav Hagara | Komentářů: 0
včera 09:22 | Pozvánky

V Praze dnes probíhá Konference e-infrastruktury CESNET. Na programu je řada zajímavých přednášek. Sledovat je lze i online na stránce konference.

Ladislav Hagara | Komentářů: 1
9.12. 20:11 | Nová verze

Byl vydán Debian 9.3, tj. třetí opravná verze Debianu 9 s kódovým názvem Stretch a Debian 8.10, tj. desátá opravná verze Debianu 8 s kódovým názvem Jessie. Řešeny jsou především bezpečnostní problémy, ale také několik vážných chyb. Instalační média Debianu 9 a Debianu 8 lze samozřejmě nadále k instalaci používat. Po instalaci stačí systém aktualizovat.

Ladislav Hagara | Komentářů: 0
9.12. 00:44 | Nová verze

Po 6 měsících vývoje od vydání verze 0.13.0 byla vydána verze 0.14.0 správce balíčků GNU Guix a na něm postavené systémové distribuce GuixSD (Guix System Distribution). Na vývoji se podílelo 88 vývojářů. Přibylo 1 211 nových balíčků. Jejich aktuální počet je 6 668. Aktualizována byla také dokumentace.

Ladislav Hagara | Komentářů: 4
8.12. 21:33 | Nová verze

Po půl roce vývoje od vydání verze 5.9 byla vydána nová stabilní verze 5.10 toolkitu Qt. Přehled novinek na wiki stránce. Současně byla vydána nová verze 4.5.0 integrovaného vývojového prostředí (IDE) Qt Creator nebo verze 1.10 nástroje pro překlad a sestavení programů ze zdrojových kódů Qbs.

Ladislav Hagara | Komentářů: 0
7.12. 11:11 | Komunita

Naprostá většina příjmů Mozilly pochází od výchozích webových vyhledávačů ve Firefoxu. Do konce listopadu 2014 měla Mozilla globální smlouvu se společností Google. Následně bylo místo jedné globální smlouvy uzavřeno několik smluv s konkrétními vyhledávači pro jednotlivé země. V USA byla podepsána pětiletá smlouva s vyhledávačem Yahoo. Dle příspěvku na blogu Mozilly podala společnost Yahoo na Mozillu žalobu ohledně porušení této

… více »
Ladislav Hagara | Komentářů: 0
7.12. 05:55 | Zajímavý článek

V Londýně probíhá konference věnovaná počítačové bezpečnosti Black Hat Europe 2017. Průběžně jsou zveřejňovány prezentace. Videozáznamy budou na YouTube zveřejněny o několik měsíců. Zveřejněna byla například prezentace (pdf) k přednášce "Jak se nabourat do vypnutého počítače, a nebo jak v Intel Management Engine spustit vlastní nepodepsaný kód". Dle oznámení na Twitteru, aktualizace vydaná společností Intel nevylučuje možnost útoku.

Ladislav Hagara | Komentářů: 5
7.12. 04:44 | Komunita

Virtualizační nástroj GNOME Boxy ve Fedoře 27 umožňuje jednoduše stáhnout a nainstalovat Red Hat Enterprise Linux, který je pro vývojáře zdarma. Vývojová verze GNOME Boxy již umožňuje jednoduše stáhnout a nainstalovat další linuxové distribuce. Ukázka na YouTube. Seznam distribucí a jejich verze, nastavení a cesty k ISO obrazům je udržován v knihovně a databázi libosinfo (GitLab).

Ladislav Hagara | Komentářů: 0
7.12. 03:33 | Nová verze

Google Chrome 63 byl prohlášen za stabilní (YouTube). Nejnovější stabilní verze 63.0.3239.84 tohoto webového prohlížeče přináší řadu oprav a vylepšení. Vylepšeny byly také nástroje pro vývojáře. Opraveno bylo 37 bezpečnostních chyb.

Ladislav Hagara | Komentářů: 12
Jak se vás potenciálně dotkne trend odstraňování analogového audio konektoru typu 3,5mm jack z „chytrých telefonů“?
 (8%)
 (1%)
 (1%)
 (1%)
 (75%)
 (14%)
Celkem 953 hlasů
 Komentářů: 45, poslední 1.12. 19:00
    Rozcestník

    Dotaz: Migrace dat z MySQL do PostgreSQL

    11.4.2008 22:37 Phil | skóre: 4
    Migrace dat z MySQL do PostgreSQL
    Přečteno: 1088×
    Dobrý den,

    potřebuji migrovat pouze data (strukturu tabulek mám vytvořenou). Provedl jsem dump z MySQL v podobě úplných insertů a import do PostgreSQL:


    mysqldump database -v -nt --compatible=ansi,postgresql --complete-insert=TRUE --extended-insert=FALSE --compact --default-character-set=UTF8 -u user -p -r pg_database.sql

    psql database < pg_database.sql

    Zdá se to funkční, ale trápí mě dvě věci:
    1) orig. MySQL DB má velikost 800MB, ale kvůli úplným insertům vznikne dumpem 2GB soubor, který po importu vytvoří v PostgreSQL 2.1GB databázi
    2) import tohoto 2GB souboru do PostgreSQL trvá cca 36 hodin na 2.6 GHz Xeon / 1GB RAM

    Jak lze tuto migraci provést lépe?

    Děkuji za vaše rady.

    Odpovědi

    12.4.2008 12:31 tomk
    Rozbalit Rozbalit vše Re: Migrace dat z MySQL do PostgreSQL
    Dobry den,

    casem na Vas dotaz jiste zareaguje nektery z nasich domacich PostgreSQL guru ;-), zatim bych vyzkousel obejit implicitni commitovani jednotlivych insertu seskupenim jejich vetsiho mnozstvi (vzdy treba 10000 radku) mezi begin; a commit; .

    V pripade, ze pouzivate hodne indexu, nebo foreign keys, tak je mozne tyto pred importem dropnout a vytvorit je az po nem, tim se muze import vetsiho mnozstvi zaznamu take urychlit. Pokud nebudete chtit indexy a foreign keys dropovat, mohlo by pomoct behem importu udelat vacuum analyze, tim se aktualizuji statistiky indexu, ty se zacnou optimalne vyuzivat a zrychli se kontroly vkladanych radku.

    Uplne nejrychlejsim zpusobem, jak dostat hodne dat do PostgreSQL, by bylo pravdepodobne pouziti prikazu COPY, to s sebou vsak nese nutnost upravy zdrojoveho datoveho souboru do vhodneho formatu.

    To, ze databaze zabira vice mista, nez cekate, muze byt zpusobeno tim, ze neni uvolnen prostor po smazanych zaznamech - na to muzete vyzkouset pouzit vacuum full, pripadne muze byt prostor zabran indexy.

    Tomas
    12.4.2008 14:12 dik
    Rozbalit Rozbalit vše Re: Migrace dat z MySQL do PostgreSQL
    ...pro urychlení importu také pomáhá zvětšení work_mem , maintenance_work_mem a akutalní verze pgsql pokud nemáš. Mám mašinu (xeon 2,33ghaz,1gb ram),která běží v xenu a úložiště má na nfs a pravidelně do ní importuji 12GB sql file pod 5hodin. Jinak rady kolegy výše jsou taktéž užitečné... takže tak.. dik
    okbob avatar 13.4.2008 21:57 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: Migrace dat z MySQL do PostgreSQL
    zdar

    a) zasadni zrychleni ziskas commitem celeho dumpu, tj. na zacatek begin, na konec end. Pokud dokazes data vyexportovat napr. v csv, tak pak muzes velice rychle nacist data prikazem \copy tab from 'cesta' CSV. Pred vetsim importem (pokud to lze) odstran indexy z tabulky. Aktualizace indexu po kazdem radku je dost velkou brzdou.

    b) data jsou v db binarne. Proto se nediv, ze textovy dump je nekolikanasobne vetsi (pridavas opakovane text INSERT INTO ... VALUES). Zrovna tak je otazkou jestli ukladas data do ekvivalentnich typu. PostgreSQL ma dost odlisny format pro ulozeni (TOAST). Podobne velikostni rozdily jsou i kdyz se preleji data z MyISAM do InnoDB.

    c) import zasadne zrychli pouziti COPY a zruseni indexu. Zalezi co delas - muzes taky docasne blokovat triggery. V 8.3 pomuze i asynchronni commit. Na konci dokumentu http://www.pgsql.cz/skoleni/skoleni_administrace_web.pdf je seznam doporucenych nastaveni pro 8.2.
    16.4.2008 10:21 Phil | skóre: 4
    Rozbalit Rozbalit vše Re: Migrace dat z MySQL do PostgreSQL
    Skvělé stránky a návod, děkuju Pavle!

    ad b) Velikost dumpu mě nepřekvapila, měl jsem na mysli velikost výsledné DB v Postgre, která je i po reindexaci více než dvojnásobná oproti MySQL (MyISAM).

    Zajímalo by mě, zda je to dáno formátem PostgreSQL nebo spíše změnou datových typů např. INT na BIGINT?

    16.4.2008 14:49 Pavel Stehule
    Rozbalit Rozbalit vše Re: Migrace dat z MySQL do PostgreSQL
    Jestli jsi tam menil INT na BIGINT, tak se nediv, ze je vysledek dvojnasobny :). Jinak int je v pg 4byte a v MySQL. Urcite db nakyne diky tzv. varlena typum. Do nich pg uklada prakticky vsechno vyjma cisel a datumu. Do 8.2 vcetne, kazda varlena hodnota obsahovala 4byte udaj o delce - Pg uklada dynamicky. Takze char(1), varchar o jednom znaku jsou minimalne 5 bytu. K tomu jeste dalsi rezijni informace v zahlavi radku - takze ja bych se tomu dvojnasobku zas az tak nedivil. Na druhou stranu veskere delsi texty (nad 2K) pg pomerne ucinne komprimuje.

    http://www.pgsql.cz/index.php/4.05_Kolik_diskov%C3%A9ho_prostoru_je_pot%C5%99eba_k_ulo%C5%BEen%C3%AD_dat_z_norm%C3%A1ln%C3%ADho_textov%C3%A9ho_souboru%3F

    Pavel
    16.4.2008 10:13 Phil | skóre: 4
    Rozbalit Rozbalit vše Re: Migrace dat z MySQL do PostgreSQL
    Zdravím a všem děkuji za velmi užitečné rady.

    BEGIN/COMMIT + úprava postgresql.conf (přidělení paměti) urychlily import dumpu z 36 na 2 hodiny :-)

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.