Dotaz: Blbne čeština (utf8) v perlu a v C

[⧠ A = 0]

Zdravím. Mám debian s cs_CZ.utf8 a potřeboval bych nějakým způsobem přečíst jednotlivý znak (i český) a nějak ho zpracovat. Nejprve jsem si hrál v C, s pomocí wcharů, ale getwchar() mi začne vracet WEOF, jakmile narazí na český non-ascii znak.

Pak jsem zkoušel něco napsat v perlu. A třeba na následující jednoduché utilitce na počítání četnosti znaků jsem si vylámal zuby:

use locale;
$_ = <STDIN>;
%znaky = ();
while ( /(\S)/) {
if (exists($znaky{$&})) {
$znaky{$&} += 1;
}
else {
$znaky{$&} = 1;
}
$_ = $';
}

foreach $c (keys(%znaky))
{
print "$c $znaky{$c}\n"
}


Tady mi to pro změnu české non-ascii znaky půlí na nějaké dva nečitelné znaky. Např. pro vstup "ščdfs" dostanu tohle:

� 1
� 1
d 1
� 1
s 1
f 1
� 1


Naveďte mě, co dělám špatně, prosím.

Odpovědi

[happy barney]

perl-u treba o utf8 povedať. Štandardne sa tvári, ako keby nič také neexistovalo.

use utf8;

binmode (STDIN, 'utf8');
binmode (STDOUT, 'utf8');

[petr_p]

use utf8; pouze říká, že od teď je zdroják v UTF-8.

Co se týče binmode(STDIN, ':utf8'), tak záleží na verzi (a distribuci). Jsou takové, kde jedině binmode zajistí korektní I/O, jsou takové, kde to funguje podle locale, ale padají varování, a jsou takové, kde to funguje „samo od sebe“.

[happy barney]

utf8 obsahuje zopár užitočných funkcií ..

čo sa týka samotného perlu, ten, ak mu inak nik nepovie, utf8 nepozná. Povedať sa mu to (o STDIN/OUT/ERROR) dá napr. perl -C L (podľa locale), perl -IOEioA (natvrdo, aj @ARGV v utf8)

[Filip Jirsák]

Ty dva nečitelné znaky je bajtová reprezentace těch českých znaků. Tj. Perl ten vstup zpracovává po bajtech – buď neumí UTF-8, nebo neví, že vstup je v UTF-8. Máte locale nastaveno na cs_CZ.UTF-8?

[⧠ A = 0]

To je mi celkem jasné. Locale samozřejmě nastavené mám. Pomohlo to binmode. Ještě by mě zajímalo, jak je to s tím Cčkem.

[megi]

Na C potrebujes nejakou knihovnu. Ja pouzivanm glib2, pze je vsude.

http://library.gnome.org/devel/glib/stable/glib-Unicode-Manipulation.html

[⧠ A = 0]

A to tedy podle Vás standardní C99 s wchary a locale vůbec neumí utf8?

[vencas]

Pardon jestli jem mimo co se týče Perlu, ale v Pythonu je třeba explicitně říci, že má používat systémové locale voláním

import locale; locale.setlocale(locale.LC_ALL, '')

. Není to v Perlu podobně?

[happy barney]

nie, pragma use locale to robí automaticky. setlocale je treba len vtedy, ak chce program iné