abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 16:00 | Nová verze

Byl vydán Mozilla Firefox 51.0. Z novinek lze upozornit například na upozorňování na přihlašování přes nešifrované spojení (HTTP), podporu pro přehrávání bezeztrátového formátu FLAC nebo podporu WebGL 2. Podrobné informace v poznámkách k vydání a na stránce věnované vývojářům. Řešeny jsou také bezpečnostní chyby.

Ladislav Hagara | Komentářů: 0
včera 17:25 | IT novinky

Do prodeje (Farnell) se dostal jednodeskový počítač Tinker Board (unboxing). Jedná se o konkurenci Raspberry Pi 3 od společnosti Asus. Porovnání (jpg) těchto počítačů například na CNXSoft. Cena Tinker Boardu je 55 £.

Ladislav Hagara | Komentářů: 14
včera 14:44 | Zajímavý projekt

Byla zveřejněna pravidla hackerské soutěže Pwn2Own 2017, jež proběhne od 15. do 17. března v rámci bezpečnostní konference CanSecWes ve Vancouveru. Soutěžit se bude o více než milion dolarů v pěti kategoriích. Letos se bude útočit i na Ubuntu. Jedná se již o 10. ročník této soutěže.

Ladislav Hagara | Komentářů: 2
včera 13:33 | Nová verze

Po sedmi měsících vývoje od vydání verze 5.7 byla vydána verze 5.8 (YouTube) toolkitu Qt. Z novinek lze zmínit například Qt Lite pro vestavěná zařízení. Nově jsou plně podporovány moduly Qt Wayland Compositor (YouTube) a Qt SCXML (YouTube). Současně byla vydána verze 4.2.1 integrovaného vývojového prostředí (IDE) Qt Creator.

Ladislav Hagara | Komentářů: 1
včera 11:52 | Pozvánky

Lednový Prague Containers Meetup se koná ve čtvrtek 26. ledna 2017 od 18:00 v Apiary, Pernerova 49, Praha 8. Přijďte se podívat na přednášky o Enterprise Kubernetes a Jenkins as a code.

little-drunk-jesus | Komentářů: 0
včera 11:40 | Pozvánky

Program letošního ročníku konference Prague PostgreSQL Developer Days, která se koná již 15. a 16. února 2017 na ČVUT FIT, Thákurova 9, Praha 6, byl dnes zveřejněn. Najdete ho na stránkách konference včetně anotací přednášek a školení. Registrace na konferenci bude otevřena zítra (24. ledna) v brzkých odpoledních hodinách.

TomasVondra | Komentářů: 0
22.1. 02:20 | Zajímavý článek

David Revoy, autor open source webového komiksu Pepper&Carrot nebo portrétu GNU/Linuxu, upozorňuje na svém blogu, že nový Inkscape 0.92 rozbíjí dokumenty vytvořené v předchozích verzích Inkscape. Problém by měl být vyřešen v Inkscape 0.92.2 [reddit].

Ladislav Hagara | Komentářů: 0
22.1. 02:02 | Komunita

Øyvind Kolås, hlavní vývojář grafických knihoven GEGL a babl, které využívá grafický program GIMP, žádá o podporu na Patreonu. Díky ní bude moci pracovat na vývoji na plný úvazek. Milník 1000 $, který by stačil na holé přežití, se již téměř podařilo vybrat, dalším cílem je dosažení 2500 $, které mu umožní běžně fungovat ve společnosti.

xkomczax | Komentářů: 12
21.1. 23:54 | Pozvánky

DevConf.cz 2017, již devátý ročník jedné z největších akcí zaměřených na Linux a open source ve střední Evropě, proběhne od pátku 27. ledna do neděle 29. ledna v prostorách Fakulty informačních technologií Vysokého učení technického v Brně. Na programu je celá řada zajímavých přednášek a workshopů. Letos je povinná registrace.

Ladislav Hagara | Komentářů: 0
21.1. 22:11 | Nová verze

Byla vydána verze 1.0.0 emulátoru terminálu Terminology postaveného nad EFL (Enlightenment Foundation Libraries). Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (12%)
 (2%)
 (72%)
 (3%)
 (11%)
Celkem 395 hlasů
 Komentářů: 39, poslední dnes 19:30
Rozcestník
Reklama

Dotaz: Perl - dbi a utf

pek avatar 3.12.2009 16:29 pek | skóre: 20
Perl - dbi a utf
Přečteno: 580×
Snažím se přesunout instalaci RT z MySQL na PostgreSQL pomocí perlového skriptu.
#!/usr/bin/perl -w 

use strict;
use DBI;

my $new_handle = DBI->connect("dbi:Pg:dbname=rtdb",'rtuser','****');

$new_handle->{pg_enable_utf8}=1;
$new_handle->do("SET client_encoding TO 'UTF8'");

my $old_handle = DBI->connect("dbi:mysql:dbname=rtdb",'rtuser','****');
$old_handle->do("SET NAMES 'utf8'");
$old_handle->do("SET CHARACTER SET 'utf8'");

my @tables = qw/Attachments/; 

foreach my $table (@tables) {
  print "Migrating $table...\n";
  # Find all the rows in the table
  my $sth = $old_handle->prepare("SELECT * FROM $table") || die $@; 
  $sth->execute || die $@; 
  copy_table_rows($table, $sth);
}

sub copy_table_rows {
  my $table = shift;
  my $sth = shift;

  while (my $row = $sth->fetchrow_hashref) {
    my @keys;
    my @values;
    my @placeholders;
    foreach my $key (keys %$row) {
      push @keys, $key;
      push @values, $row->{$key};
      push @placeholders, '?';
    }   

    my $insert = "INSERT into $table (".join(',',@keys).") VALUES (".join(',',@placeholders).")\n";
    my $sth= $new_handle->prepare($insert) || die  $@; 
    $sth->execute(@values) || die $@  . "\n ".join(",",@values);
  }
}

$old_handle->disconnect();
$new_handle->disconnect();
Ten skončí s chybou:
DBD::Pg::st execute failed: ERROR:  invalid byte sequence for encoding "UTF8": 0xed6d2c
HINT:  This error can also happen if the byte sequence does not match the encoding expected by the server, which is controlled by "client_encoding". at ./rt3-on-mysql-to-pg.pl line 45.
Use of uninitialized value $values[2] in join or string at ./rt3-on-mysql-to-pg.pl line 45.
A v tabulce je jen prvních zhruba 30 záznamů.

Podle chybové hlášky, z dokumentace a pomocí google jsem získal dojem, že problém bude ve špatném kódování vkládaných znaků do databáze Pg. Nemůžu ale přijít na způsob, jak to opravit. Nastavení client_encoding, NAMES ani CHARACTER SET nepomohlo. Co ještě můžu vyzkoušet?

Odpovědi

3.12.2009 21:15 pht | skóre: 48 | blog: pht
Rozbalit Rozbalit vše Re: Perl - dbi a utf
A co zkusit encode/decode, nebo to dělá za vás DBI? UTF8 není interní reprezentace perlu a tudíž při nějaké manipulaci může stringy zmršit.
In Ada the typical infinite loop would normally be terminated by detonation.
pek avatar 4.12.2009 10:07 pek | skóre: 20
Rozbalit Rozbalit vše Re: Perl - dbi a utf
V tom to asi bude. Upravil jsem kód pro načítání dat:
push @values, decode("utf8",$row->{$key});
a vkládání zpět do databáze:
$sth->execute(@values) || die $@  . "\n ".encode("utf8",join(",",@values));
Skript zpracuje úspěšně 3500 řádků v tabulce (předtím 30). Pak ale opět skončí s chybou:
DBD::Pg::st execute failed: ERROR:  invalid byte sequence for encoding "UTF8": 0xfd
4.12.2009 12:09 petr_p | skóre: 59 | blog: pb
Rozbalit Rozbalit vše Re: Perl - dbi a utf
A není prostě problém v tom, že některá data ve zdrojové databázi prostě nejsou UTF-8. Pak totiž zcela logicky převod selže. Zjistěte si kontext chybných dat, podívejte se do zdrojové databáze jiným prostředkem, co tam opravdu máte uloženo.
3.12.2009 21:26 Petr Šobáň | skóre: 79 | blog: soban | Olomouc
Rozbalit Rozbalit vše Re: Perl - dbi a utf
Co use locale; ? A nastavit na UTF8 ?
3.12.2009 21:35 Petr Šobáň | skóre: 79 | blog: soban | Olomouc
Rozbalit Rozbalit vše Re: Perl - dbi a utf
Případně nepomůže Perl: problém s češtinou v regexpu
pek avatar 4.12.2009 10:18 pek | skóre: 20
Rozbalit Rozbalit vše Re: Perl - dbi a utf
Přidání:
use locale;
binmode(STDOUT, ":encoding(UTF-8)");
binmode(STDIN, ":encoding(UTF-8)");
ani nastavení LANG=en_US.UTF-8 a LC_ALL=en_US.UTF-8 nepomohlo.
pek avatar 8.12.2009 12:35 pek | skóre: 20
Rozbalit Rozbalit vše Re: Perl - dbi a utf

Vypadá to na problém se sloupcem Content. Když ho vyřadím z exportovaných dat, tak se import povede.

my $sth = $old_handle->prepare("SELECT Created,id,TransactionId,Parent,MessageId,Subject,Filename,ContentType,ContentEncoding,Headers,Creator,Created FROM $table) || die $@;

Sloupec Content je v MySQL typu longblob v PostgreSQL typu bytea. Takže otázka zní: Jak dostat v perlu data ze sloupce longblob do sloupce typu bytea?

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.