Dotaz: Tak jak to vypadá s podporou utf8?

[Michal Kováč]

Zajímalo by mě, jak to dnes vypadá s podporou utf8 v základních programech unixu jako je sed... já bych rád přešel na utf8, ale vadilo mi, že například příkaz fmt by na utf8 nefungoval. Pokud to náhodou už neni nějak upraveno, nevíte, zda se něco plánuje s tím udělat? Po pravdě řečeno uvědomuji si, že to je nelehký problém udělat to tak, aby se při tom zachovala zpětná kompatibilita.

Škoda, že Linux od začátku nebyl udělán pro utf8.

Odpovědi

[unchallenger]

Škoda, že Linux od začátku nebyl udělán pro utf8.

Kdyby Linux od začátku používal pro všechno UTF-8, dnes by stále ještě vypadal tak, že by skupinka neznámých programátorů ladila nějaké buffer overflows v řetězcích :o)

Ale vážně, při srovnání historie Unicode a Linuxu ti musí být jasné, že k tomu mohlo dojít stěží. Navíc s Linuxem (tj. jádrem) problémy s UTF-8 nemám, problematické jsou aplikace (opět často starší než Unicode).

Sed mi funguje (mám GNU sed 4.0.8), alespoň tedy s///, nijak zvlášť jsem ho netestoval; fmt mi připadá, že ne.

Nic se s tím neplánuje udělat. Nic se neudělá samo. Prostě se musí najít někdo, kdo s tím něco udělá (například ty), tj. přidá podporu vícebajtových znaků do programů, které ji zatím nemají. Pomáhá i posílat dobré bugreporty (hlavně pokud to nějak funguje, ale s chybami), např. chyba s ${x##y} a spol. v bashi, na kterou jsem si stěžoval, už byla opravena -- poté, co jsem poslal jasný bugreport...

Pokud fmt (nebo podobná jednoduchá utilita) skutečně nefunguje s vícebajtovými znaky, tak to je IMHO ideální příležitost pro začínajícího programátora udělat něco užitečného (namísto třístého textového editoru nebo osmdesátého filemanageru).

[Michal Kováč]

ano, historie je mi jasna... ale skoda, ze utf8 nebylo driv

No, ja si myslim, ze obecne, tak jak to v linuxu je ted, neni ani mozne, aby sed ci fmt umel sam od sebe rozpoznat, ze se jedna o vicebajtove znaky. Proto se mi zda i divne, ze by sed fungoval (napr. rozpoznal o kolik znaku jde). Jedine "reseni", jak me napada, by bylo, ze by "utf8" zacinalo nejakym specifickym retezcem...

Nicmene sed i fmt by se dal jeste rozsirit o nejaky ten parametr a postupne prepsat vsechny programy, co je pouzivaji. Co je ale horsi, ze stejny problem je ve standardnich knihovnach na regularni vyrazy a ty pouziva hooodne programu.

[Michal Čihař]

neni ani mozne, aby sed ci fmt umel sam od sebe rozpoznat, ze se jedna o vicebajtove znaky

No pozná to podle nastavených locales, jinak to asi nepůjde...

[unchallenger]

Ohledně locales ti už odpověděl druhý Michal ;-) a ohledně standardních knihoven a regulárních výrazů: v glibc je určitě kód pracující s wchar_t, libpcre by snad měla také pracovat s vícebajtovými znaky, pokud je skutečně perl-compatible...

[unchallenger]

Ony tedy takové značky existují, a to BOM (byte order marks). Existuje i UTF-8 BOM, i když v UTF-8 žádný jiný byte order není možný, protože znaky nemají pevný počet bajtů ... ovšem v praxi jsem je neviděl moc používat, obzvlášť ne u UTF-8. Kromě toho to má snad význam na celých souborech, ale představa, že by v shellu s sebou každé slovo tahalo BOM, je praštěná...

[Michal Kováč]

A pracuje to s locales? Nevim, jestli by to bylo spravne chovani... asi ano... nejdrive se mi vsak nezdalo - preci jen, zkyz clovek chce spoustet regularni vyraz na text, nevim zda predpoklada, ze musi byt ten text ve stejnem kodovani jako ma nastaveno uzivatel

Jinak ja jsem vychazel ze stareho Unicode-HOWTO, ted jsem nasel novy a tam je doopravdy, ze od glibc 2.2 je podporovan

dik za info, tak mozna precijen prejdu na utf8

[unchallenger]

Locale určuje, jakou znakovou sadu (kódování) používáš. Pracovat defaultně v ní asi proto nebude špatně...

Jiná otázka je, jaké bys měl mít možnosti práce s textem v Big5, když je tvoje znaková sada KOI8-R, ale to bychom možná od fmt chtěli skutečně příliš, bežně se tyhle věci řeší lokální změnou locale jen pro ten konkrétní příkaz.

[polov]

me osobne nejvice stve, ze pod UTF-8 nefunguje Acrobat Reader...a Adobe se nejak nema k vyvoji...

[Michal Čihař]

Mě nepřipadalo, že by nefungoval, ale moc jsem to nezkoumal )

[Petr Šobáň]

Funguje pod UTF-8 bez problémů.

Akorát někdy vypisuje že nezná font nebo tak něco (přesnou hlášku již nevím) odstranění je nastavením proměnné LC_ALL na C.

Takže na začátek skriptu kterým se spouští acrobatreader dodáme export LC_ALL=C. viz:

#!/bin/sh
#
export LC_ALL=C

ver=5.0.6
install_dir=/usr/local/Acrobat5/Reader

#
# Prepend a colon separated environment variable
# $1 string to be prepended
# $2 environment variable
#
prepend()
{
.........