abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 15:00 | Zajímavý článek

    Na čem aktuálně pracují vývojáři GNOME a KDE Plasma? Pravidelný přehled novinek v Týden v GNOME a Týden v KDE Plasma.

    Ladislav Hagara | Komentářů: 0
    13.6. 17:33 | Nová verze

    Byla vydána (𝕏) nová verze 2025.2 linuxové distribuce navržené pro digitální forenzní analýzu a penetrační testování Kali Linux (Wikipedie). Přehled novinek se seznamem nových nástrojů v oficiálním oznámení na blogu.

    Ladislav Hagara | Komentářů: 0
    13.6. 10:33 | Komunita

    Dánské ministerstvo pro digitální záležitosti má v plánu přejít na Linux a LibreOffice [It's FOSS News].

    Ladislav Hagara | Komentářů: 19
    13.6. 09:22 | Komunita

    V úterý Google vydal Android 16. Zdrojové kódy jsou k dispozici na AOSP (Android Open Source Project). Chybí (zatím?) ale zdrojové kódy specifické pro telefony Pixel od Googlu. Projekty jako CalyxOS a GrapheneOS řeší, jak tyto telefony nadále podporovat. Nejistá je podpora budoucích Pixelů. Souvisí to s hrozícím rozdělením Googlu (Google, Chrome, Android)?

    Ladislav Hagara | Komentářů: 3
    12.6. 20:22 | Nová verze

    Byla vydána (𝕏) květnová aktualizace aneb nová verze 1.101 editoru zdrojových kódů Visual Studio Code (Wikipedie). Přehled novinek i s náhledy a videi v poznámkách k vydání. Ve verzi 1.101 vyjde také VSCodium, tj. komunitní sestavení Visual Studia Code bez telemetrie a licenčních podmínek Microsoftu.

    Ladislav Hagara | Komentářů: 0
    12.6. 10:00 | Komunita

    V Brně na FIT VUT probíhá třídenní open source komunitní konference DevConf.CZ 2025. Vstup je zdarma, nutná je ale registrace. Na programu je celá řada zajímavých přednášek, lightning talků, meetupů a workshopů. Přednášky lze sledovat i online na YouTube kanálu konference. Aktuální dění lze sledovat na Matrixu, 𝕏 nebo Mastodonu.

    Ladislav Hagara | Komentářů: 0
    12.6. 09:44 | IT novinky

    Vyloučení technologií, které by mohly představovat bezpečnostní riziko pro stát, má umožnit zákon o kybernetické bezpečnosti, který včera Senát schválil spolu s novelami navazujících právních předpisů. Norma, kterou nyní dostane k podpisu prezident, počítá rovněž s prověřováním dodavatelů technologií pro stát. Normy mají nabýt účinnosti od třetího měsíce po jejich vyhlášení ve Sbírce zákonů.

    Ladislav Hagara | Komentářů: 4
    12.6. 01:11 | Nová verze

    Open source platforma Home Assistant (Demo, GitHub, Wikipedie) pro monitorování a řízení inteligentní domácnosti byla vydána v nové verzi 2025.6.

    Ladislav Hagara | Komentářů: 0
    12.6. 00:55 | Nová verze

    Po Red Hat Enterprise Linuxu a AlmaLinuxu byl v nové stabilní verzi 10.0 vydán také Rocky Linux. Přehled novinek v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    11.6. 22:55 | Nová verze

    Bylo vydáno Eclipse IDE 2025-06 aneb Eclipse 4.36. Představení novinek tohoto integrovaného vývojového prostředí také na YouTube.

    Ladislav Hagara | Komentářů: 0
    Jaký je váš oblíbený skriptovací jazyk?
     (56%)
     (31%)
     (7%)
     (2%)
     (0%)
     (1%)
     (3%)
    Celkem 267 hlasů
     Komentářů: 16, poslední 8.6. 21:05
    Rozcestník

    Dotaz: Perl - dbi a utf

    pek avatar 3.12.2009 16:29 pek | skóre: 20
    Perl - dbi a utf
    Přečteno: 619×
    Snažím se přesunout instalaci RT z MySQL na PostgreSQL pomocí perlového skriptu.
    #!/usr/bin/perl -w 
    
    use strict;
    use DBI;
    
    my $new_handle = DBI->connect("dbi:Pg:dbname=rtdb",'rtuser','****');
    
    $new_handle->{pg_enable_utf8}=1;
    $new_handle->do("SET client_encoding TO 'UTF8'");
    
    my $old_handle = DBI->connect("dbi:mysql:dbname=rtdb",'rtuser','****');
    $old_handle->do("SET NAMES 'utf8'");
    $old_handle->do("SET CHARACTER SET 'utf8'");
    
    my @tables = qw/Attachments/; 
    
    foreach my $table (@tables) {
      print "Migrating $table...\n";
      # Find all the rows in the table
      my $sth = $old_handle->prepare("SELECT * FROM $table") || die $@; 
      $sth->execute || die $@; 
      copy_table_rows($table, $sth);
    }
    
    sub copy_table_rows {
      my $table = shift;
      my $sth = shift;
    
      while (my $row = $sth->fetchrow_hashref) {
        my @keys;
        my @values;
        my @placeholders;
        foreach my $key (keys %$row) {
          push @keys, $key;
          push @values, $row->{$key};
          push @placeholders, '?';
        }   
    
        my $insert = "INSERT into $table (".join(',',@keys).") VALUES (".join(',',@placeholders).")\n";
        my $sth= $new_handle->prepare($insert) || die  $@; 
        $sth->execute(@values) || die $@  . "\n ".join(",",@values);
      }
    }
    
    $old_handle->disconnect();
    $new_handle->disconnect();
    Ten skončí s chybou:
    DBD::Pg::st execute failed: ERROR:  invalid byte sequence for encoding "UTF8": 0xed6d2c
    HINT:  This error can also happen if the byte sequence does not match the encoding expected by the server, which is controlled by "client_encoding". at ./rt3-on-mysql-to-pg.pl line 45.
    Use of uninitialized value $values[2] in join or string at ./rt3-on-mysql-to-pg.pl line 45.
    A v tabulce je jen prvních zhruba 30 záznamů.

    Podle chybové hlášky, z dokumentace a pomocí google jsem získal dojem, že problém bude ve špatném kódování vkládaných znaků do databáze Pg. Nemůžu ale přijít na způsob, jak to opravit. Nastavení client_encoding, NAMES ani CHARACTER SET nepomohlo. Co ještě můžu vyzkoušet?

    Odpovědi

    3.12.2009 21:15 pht | skóre: 48 | blog: pht
    Rozbalit Rozbalit vše Re: Perl - dbi a utf
    A co zkusit encode/decode, nebo to dělá za vás DBI? UTF8 není interní reprezentace perlu a tudíž při nějaké manipulaci může stringy zmršit.
    In Ada the typical infinite loop would normally be terminated by detonation.
    pek avatar 4.12.2009 10:07 pek | skóre: 20
    Rozbalit Rozbalit vše Re: Perl - dbi a utf
    V tom to asi bude. Upravil jsem kód pro načítání dat:
    push @values, decode("utf8",$row->{$key});
    a vkládání zpět do databáze:
    $sth->execute(@values) || die $@  . "\n ".encode("utf8",join(",",@values));
    Skript zpracuje úspěšně 3500 řádků v tabulce (předtím 30). Pak ale opět skončí s chybou:
    DBD::Pg::st execute failed: ERROR:  invalid byte sequence for encoding "UTF8": 0xfd
    4.12.2009 12:09 petr_p | skóre: 59 | blog: pb
    Rozbalit Rozbalit vše Re: Perl - dbi a utf
    A není prostě problém v tom, že některá data ve zdrojové databázi prostě nejsou UTF-8. Pak totiž zcela logicky převod selže. Zjistěte si kontext chybných dat, podívejte se do zdrojové databáze jiným prostředkem, co tam opravdu máte uloženo.
    3.12.2009 21:26 Petr Šobáň | skóre: 80 | blog: soban | Olomouc
    Rozbalit Rozbalit vše Re: Perl - dbi a utf
    Co use locale; ? A nastavit na UTF8 ?
    3.12.2009 21:35 Petr Šobáň | skóre: 80 | blog: soban | Olomouc
    Rozbalit Rozbalit vše Re: Perl - dbi a utf
    Případně nepomůže Perl: problém s češtinou v regexpu
    pek avatar 4.12.2009 10:18 pek | skóre: 20
    Rozbalit Rozbalit vše Re: Perl - dbi a utf
    Přidání:
    use locale;
    binmode(STDOUT, ":encoding(UTF-8)");
    binmode(STDIN, ":encoding(UTF-8)");
    ani nastavení LANG=en_US.UTF-8 a LC_ALL=en_US.UTF-8 nepomohlo.
    pek avatar 8.12.2009 12:35 pek | skóre: 20
    Rozbalit Rozbalit vše Re: Perl - dbi a utf

    Vypadá to na problém se sloupcem Content. Když ho vyřadím z exportovaných dat, tak se import povede.

    my $sth = $old_handle->prepare("SELECT Created,id,TransactionId,Parent,MessageId,Subject,Filename,ContentType,ContentEncoding,Headers,Creator,Created FROM $table) || die $@;
    

    Sloupec Content je v MySQL typu longblob v PostgreSQL typu bytea. Takže otázka zní: Jak dostat v perlu data ze sloupce longblob do sloupce typu bytea?

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.