abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 16:00 | Nová verze

Byla vydána verze 0.98 svobodného nelineárního video editoru Pitivi. Z novinek lze zmínit například přizpůsobitelné klávesové zkratky. Videoukázka práce s nejnovější verzí Pitivi na YouTube.

Ladislav Hagara | Komentářů: 0
dnes 15:00 | Zajímavý software

Stop motion je technika animace, při níž je reálný objekt mezi jednotlivými snímky ručně upravován a posouván o malé úseky, tak aby po spojení vyvolala animace dojem spojitosti. Jaký software lze pro stop motion použít na Linuxu? Článek na OMG! Ubuntu! představuje Heron Animation. Ten bohužel podporuje pouze webové kamery. Podpora digitálních zrcadlovek je začleněna například v programu qStopMotion.

Ladislav Hagara | Komentářů: 1
včera 21:21 | Nová verze Ladislav Hagara | Komentářů: 0
včera 11:44 | Zajímavý projekt

Na Indiegogo byla spuštěna kampaň na podporu herní mini konzole a multimediálního centra RetroEngine Sigma od Doyodo. Předobjednat ji lze již od 49 dolarů. Požadovaná částka 20 000 dolarů byla překonána již 6 krát. Majitelé mini konzole si budou moci zahrát hry pro Atari VCS 2600, Sega Genesis nebo NES. Předinstalováno bude multimediální centrum Kodi.

Ladislav Hagara | Komentářů: 2
včera 00:10 | Nová verze

Byla vydána verze 4.7 redakčního systému WordPress. Kódové označením Vaughan bylo vybráno na počest americké jazzové zpěvačky Sarah "Sassy" Vaughan. Z novinek lze zmínit například novou výchozí šablonu Twenty Seventeen, náhledy pdf souborů nebo WordPress REST API.

Ladislav Hagara | Komentářů: 4
6.12. 12:00 | Zajímavý projekt

Projekt Termbox umožňuje vyzkoušet si linuxové distribuce Ubuntu, Debian, Fedora, CentOS a Arch Linux ve webovém prohlížeči. Řešení je postaveno na projektu HyperContainer. Podrobnosti v často kladených dotazech (FAQ). Zdrojové kódy jsou k dispozici na GitHubu [reddit].

Ladislav Hagara | Komentářů: 27
6.12. 11:00 | Bezpečnostní upozornění

Byly zveřejněny informace o bezpečnostní chybě CVE-2016-8655 v Linuxu zneužitelné k lokální eskalaci práv. Chyba se dostala do linuxového jádra v srpnu 2011. V upstreamu byla opravena minulý týden [Hacker News].

Ladislav Hagara | Komentářů: 2
5.12. 22:00 | Komunita

Přibližně před měsícem bylo oznámeno, že linuxová distribuce SUSE Linux Enterprise Server (SLES) běží nově také Raspberry Pi 3 (dokumentace). Obraz verze 12 SP2 pro Raspberry Pi 3 je ke stažení zdarma. Pro registrované jsou po dobu jednoho roku zdarma také aktualizace. Dnes bylo oznámeno, že pro Raspberry Pi 3 je k dispozici také nové openSUSE Leap 42.2 (zprávička). K dispozici je hned několik obrazů.

Ladislav Hagara | Komentářů: 6
5.12. 06:00 | Zajímavý software

OMG! Ubuntu! představuje emulátor terminálu Hyper (GitHub) postavený na webových technologiích (HTML, CSS a JavaScript). V diskusi k článku je zmíněn podobný emulátor terminálu Black Screen. Hyper i Black Screen používají framework Electron, stejně jako editor Atom nebo vývojové prostředí Visual Studio Code.

Ladislav Hagara | Komentářů: 50
5.12. 06:00 | Zajímavý článek

I letos vychází řada ajťáckých adventních kalendářů. QEMU Advent Calendar 2016 přináší každý den nový obraz disku pro QEMU. Programátoři se mohou potrápit při řešení úloh z kalendáře Advent of Code 2016. Kalendáře Perl Advent Calendar 2016 a Perl 6 Advent Calendar přinášejí každý den zajímavé informace o programovacím jazyce Perl. Stranou nezůstává ani programovací jazyk Go.

Ladislav Hagara | Komentářů: 10
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 797 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Migrace dat z MySQL do PostgreSQL

11.4.2008 22:37 Phil | skóre: 4
Migrace dat z MySQL do PostgreSQL
Přečteno: 1081×
Dobrý den,

potřebuji migrovat pouze data (strukturu tabulek mám vytvořenou). Provedl jsem dump z MySQL v podobě úplných insertů a import do PostgreSQL:


mysqldump database -v -nt --compatible=ansi,postgresql --complete-insert=TRUE --extended-insert=FALSE --compact --default-character-set=UTF8 -u user -p -r pg_database.sql

psql database < pg_database.sql

Zdá se to funkční, ale trápí mě dvě věci:
1) orig. MySQL DB má velikost 800MB, ale kvůli úplným insertům vznikne dumpem 2GB soubor, který po importu vytvoří v PostgreSQL 2.1GB databázi
2) import tohoto 2GB souboru do PostgreSQL trvá cca 36 hodin na 2.6 GHz Xeon / 1GB RAM

Jak lze tuto migraci provést lépe?

Děkuji za vaše rady.

Odpovědi

12.4.2008 12:31 tomk
Rozbalit Rozbalit vše Re: Migrace dat z MySQL do PostgreSQL
Dobry den,

casem na Vas dotaz jiste zareaguje nektery z nasich domacich PostgreSQL guru ;-), zatim bych vyzkousel obejit implicitni commitovani jednotlivych insertu seskupenim jejich vetsiho mnozstvi (vzdy treba 10000 radku) mezi begin; a commit; .

V pripade, ze pouzivate hodne indexu, nebo foreign keys, tak je mozne tyto pred importem dropnout a vytvorit je az po nem, tim se muze import vetsiho mnozstvi zaznamu take urychlit. Pokud nebudete chtit indexy a foreign keys dropovat, mohlo by pomoct behem importu udelat vacuum analyze, tim se aktualizuji statistiky indexu, ty se zacnou optimalne vyuzivat a zrychli se kontroly vkladanych radku.

Uplne nejrychlejsim zpusobem, jak dostat hodne dat do PostgreSQL, by bylo pravdepodobne pouziti prikazu COPY, to s sebou vsak nese nutnost upravy zdrojoveho datoveho souboru do vhodneho formatu.

To, ze databaze zabira vice mista, nez cekate, muze byt zpusobeno tim, ze neni uvolnen prostor po smazanych zaznamech - na to muzete vyzkouset pouzit vacuum full, pripadne muze byt prostor zabran indexy.

Tomas
12.4.2008 14:12 dik
Rozbalit Rozbalit vše Re: Migrace dat z MySQL do PostgreSQL
...pro urychlení importu také pomáhá zvětšení work_mem , maintenance_work_mem a akutalní verze pgsql pokud nemáš. Mám mašinu (xeon 2,33ghaz,1gb ram),která běží v xenu a úložiště má na nfs a pravidelně do ní importuji 12GB sql file pod 5hodin. Jinak rady kolegy výše jsou taktéž užitečné... takže tak.. dik
okbob avatar 13.4.2008 21:57 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
Rozbalit Rozbalit vše Re: Migrace dat z MySQL do PostgreSQL
zdar

a) zasadni zrychleni ziskas commitem celeho dumpu, tj. na zacatek begin, na konec end. Pokud dokazes data vyexportovat napr. v csv, tak pak muzes velice rychle nacist data prikazem \copy tab from 'cesta' CSV. Pred vetsim importem (pokud to lze) odstran indexy z tabulky. Aktualizace indexu po kazdem radku je dost velkou brzdou.

b) data jsou v db binarne. Proto se nediv, ze textovy dump je nekolikanasobne vetsi (pridavas opakovane text INSERT INTO ... VALUES). Zrovna tak je otazkou jestli ukladas data do ekvivalentnich typu. PostgreSQL ma dost odlisny format pro ulozeni (TOAST). Podobne velikostni rozdily jsou i kdyz se preleji data z MyISAM do InnoDB.

c) import zasadne zrychli pouziti COPY a zruseni indexu. Zalezi co delas - muzes taky docasne blokovat triggery. V 8.3 pomuze i asynchronni commit. Na konci dokumentu http://www.pgsql.cz/skoleni/skoleni_administrace_web.pdf je seznam doporucenych nastaveni pro 8.2.
16.4.2008 10:21 Phil | skóre: 4
Rozbalit Rozbalit vše Re: Migrace dat z MySQL do PostgreSQL
Skvělé stránky a návod, děkuju Pavle!

ad b) Velikost dumpu mě nepřekvapila, měl jsem na mysli velikost výsledné DB v Postgre, která je i po reindexaci více než dvojnásobná oproti MySQL (MyISAM).

Zajímalo by mě, zda je to dáno formátem PostgreSQL nebo spíše změnou datových typů např. INT na BIGINT?

16.4.2008 14:49 Pavel Stehule
Rozbalit Rozbalit vše Re: Migrace dat z MySQL do PostgreSQL
Jestli jsi tam menil INT na BIGINT, tak se nediv, ze je vysledek dvojnasobny :). Jinak int je v pg 4byte a v MySQL. Urcite db nakyne diky tzv. varlena typum. Do nich pg uklada prakticky vsechno vyjma cisel a datumu. Do 8.2 vcetne, kazda varlena hodnota obsahovala 4byte udaj o delce - Pg uklada dynamicky. Takze char(1), varchar o jednom znaku jsou minimalne 5 bytu. K tomu jeste dalsi rezijni informace v zahlavi radku - takze ja bych se tomu dvojnasobku zas az tak nedivil. Na druhou stranu veskere delsi texty (nad 2K) pg pomerne ucinne komprimuje.

http://www.pgsql.cz/index.php/4.05_Kolik_diskov%C3%A9ho_prostoru_je_pot%C5%99eba_k_ulo%C5%BEen%C3%AD_dat_z_norm%C3%A1ln%C3%ADho_textov%C3%A9ho_souboru%3F

Pavel
16.4.2008 10:13 Phil | skóre: 4
Rozbalit Rozbalit vše Re: Migrace dat z MySQL do PostgreSQL
Zdravím a všem děkuji za velmi užitečné rady.

BEGIN/COMMIT + úprava postgresql.conf (přidělení paměti) urychlily import dumpu z 36 na 2 hodiny :-)

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.