Dotaz: Vim - špatná diakritika v souborech UTF-8

[Jan Odvárko]

Vim mi podle všeho nějak divně zapisuje diakritiku v kódování UTF-8. Když zapíšu soubor na disk a v konzoli ho vytisknu, pak se všechno zobrazí správně, ale pokud ho zobrazím v jakémkoli GUI prohlížeči (a samozřejmě nastavím že je kódovaný v UTF-8), tak mi prohlížeč např. místo " ž " zobrazí znak " ¾ " nebo místo " ě " znak " ì " atd. A když jsem se pokusil jen za zkoušku soubor zapsat v ISO8859-2, tak mi Vim vypíše chybu: E513: write error, conversion failed
Tuhle chybu mi vypíše jen tehdy, pokud soubor obsahuje diakritiku. Myslím, že může být špatné nastavení už někde na úrovni shellu, protože s ním si Vim musí rozumnět. Ale může to být i něčím jiným. Předem díky ----
Moje konfigurace: Distribuce Slackware 10.0,
Vim 6.3, Bash 3.00 (oboje zkompilované proti knihovně slang-1.4.5). Locales:
export LANG=en_US.utf-8
export LC_COLLATE=cs_CZ.utf-8
export LC_CTYPE=cs_CZ.utf-8
Ve skriptu /etc/profile ještě spouštím pro konzoli:
unicode_start /usr/share/kbd/consolefonts/lat2-14.psfu.gz Ve .vimrc souboru mám pro kódování:
set encoding=utf-8
set fileencoding=utf-8

Odpovědi

[Marek Bernát]

Co sa tyka encoding, tak to je len interne kodovanie vimu a s tymto nema nic docinenia, takze ho z .vimrc mozete rovno vyhodit.
To co potrebujeme je fileencoding(staci aj fenc).
Vim totiz pri otvarani suboru skusa prave kodovania, ktore su v tejto premennej. Takze ak chcete otvorit vo vicku subor s inym kodovanim ako utf, tak nanho placne utf a je koniec.
Takze co treba spravit je dat do .vimrc:
set fenc=utf-8,iso-8859-2,..
Vim pouzije na subor prve kompatibilne kodovanie, preto je nutne pisat utf-8 ako prve a ostatne kodovania az za tym.
Popripade, ak ste vo vim trochu vyspelejsi, este lepsie je napisat autocommand pre TeX-ovske subory a tam mu povedat, aby na ne daval utf.

[unchallenger]

Téměř správně. Proměnná, kterou popisuješ, je fileencodings, nikoli fileencoding (rozdíl viz v :h fencs).

[Marek Bernát]

Jasne, ospravedlnujem sa.
Tento problem som riesil asi pred pol rokom a od vtedy som sa na to nepozeral, takze som poradil, co ma napadlo.

[Jan Odvárko]

To s interním kódováním (encoding) jsem nevěděl, dík. Už to ve .vimrc nemám. Co se týče fileencodings a odlišných kódování, tak ISO8859-2 jsem uvedl jen jako příklad, mně nejde o samotnou konverzi kódování (všechno vč. konzole mám v UTF-8) ale o to, že se mi text v UTF-8 asi zapisuje špatně a nevím kde mám hledat chybu, co je špatně nastaveno, že se mi jinde než v konzoli zobrazí diakritika špatně.

[Marek Bernát]

Ak som to spravne pochopil, tak mate ciste utf-8 a vsetko co teda potrebujete je set fencs=utf-8

Ale najlepsie asi bude, ak si sam poskusate:
:help enc
:help fenc
:help fencs

a z toho zistite, co vlastne potrebujete.
Vimovsky :help je naozaj takmer dokonaly (ako sam vim) a oplati sa ho preliezt.

[Jan Odvárko]

Vimovskou nápovědu znám, v ní jsem právě řešení hledal hodně dlouho a nenašel Vysvětlím problém na jednoduchém příkladu:
- V konzoli si spustím Vim, napíšu v něm text "ěščřžýáíé", a uložím.
- Otevřu jakýkoli prohlížeč (Mozillu nebo třeba IE ve Win) a v menu vyberu, že je soubor kódovaný v UTF-8.
- No a místo textu "ěščřžýáíé" vidím obludnosti typu "ì¹èø¾ýáíé"

Teď jen jde o to, v čem je vlastně chyba. V nastavení konzole, či snad ve Vim? Zkoušel jsem spoustu věcí a vůbec jsem s tím nehnul. Paradoxně ten soubor vidím v konzoli správně, když např. pomocí cat zobrazím jeho obsah, takže je to asi s konzolí nějak provázané.

[User682]

v lete byla na toto tema chyba ve vimu. pak se to opravilo. vim, ze jsme to nejakou dobu resili na linuxsoftu pri zavadeni utf-8 na vsechny weby.
jakou pouzivate versi vim-u ?
anebo se to take podari, pokud zeditujete dany soubor v nejakem jinem kodovani nez utf-8 a potom to otevrete v nejakem editoru(treba vim-u).
gf

[Jan Odvárko]

Nainstaloval jsem si nedávno verzi 6.3 (2004 June 7) ale dělá to tu samou chybu. Takže by stačilo patchnout Vim?

[Marek Bernát]

Blbost!
Je velmi nepravdepodobne, ze by bola chyba vo vime.
Ak sa subor zle zobrazuje v mozille, znamena to, ze ho vim z nejakeho dovodu neprekodoval do utf.
Predpokladam, ze vo vimrc mate set fencs=utf-8
Skuste znova vytvorit subor s nejakymi ceskymi znakmi a ulozit ho.
Ak je vsetko spravne nastavene, tak vim napise nieco ako [converted].
Ak to nevypise, skuste napisat priamo vo vime set fenc=utf-8 a subor znova ulozit.

[Jan Odvárko]

Při ukládání mi [converted] nepíše. Ani když explicitně určím kódování. Podle mě je to logické, když mám konzoli taky v UTF-8, tak proč by se mělo něco konvertovat?

[Marek Bernát]

Nejde o to, ake kodovanie mate v konzole, konverzia je medzi vimovskym internym kodovanim a suborom. Takze mate zrejme nastavene aj interne kodovanie vimu ako utf-8.
Skuste na ten subor pustit recode: recode utf-8..iso-8859-2 subor. Ak nevypise chybu, tak subor je (takmer) urcite utf-8 a teda problem bude skor s mozillou a spol.

[unchallenger]

Abychom se něčeho dobrali, tak nainstaluj enca, protože ty soubory jsou asi v kdovíčem a testovat je zobrazováním v náhodném programu udělá kdovíco.

[Jan Odvárko]

Tak mi enca píše, že je to Universal transformation format 8 bits; UTF-8
Jenže ono se to jako UTF-8 přece tvářit může, ale znaky můžou být zapsané špatně. Ať to zobrazím v jakémkoli prohlížeči, tak je to prostě blbě. Napsal jsem ve Vimu testovací stránku která je v UTF-8, abyste to viděli sami.

[unchallenger]

Jediný způsob, jak může tohleto vzniknout, je, že se text v ISO-8859-2 zkonvertuje do UTF-8, jako by byl v ISO-8859-1.

[Jan Odvárko]

Výborně, tak jsem zase o krok dál. Dík. Teď jen jak to řešit. :(

[unchallenger]

Netuším, kde se tam může po cestě vzít Latin1.

[Vašek Lorenc]

Vařím z vody -- špatně vygenerované locales by něco takového způsobit nemohly?

[Jan Odvárko]

Locales se zdají být nastavené správně. Napadla mě jedna souvislost: Když v konzoli napíšu české znaky a pak pomocí backspace chci ty znaky smazat, tak mi to umaže i další znaky, třeba i kus promptu. A nebo když napíšu něco s českými znaky a pak napíšu ještě něco před to, tak se ten vložený text ve výsledku objeví úplně někde jinde. Tzn. už konzole se znaky zachází špatně, možná to s problémem souvisí.

[Marek Bernát]

Tak toto vyzera naozaj na zle nastavene locales, konzola ignoruje multi-bytove utf znaky.
Skuste si overit, ci nie su nejake localy ala LC_ALL a spol nastavene ako iso namiesto utf.
Myslim, ze sa mozete zamerat cisto na tento problem a vim uz vynechat.

[User682]

taky jsem se divil (nejen ja), ale byla to chyba vim-u. s novejsi versi to slo.
bye gf

[Jan Odvárko]

Vyřešeno. Všem moc díky. Nainstaloval jsem nejnovější vývojovou verzi Vim a už to funguje (než používat nestabilní vývojovou verzi, možná stačí patch). Čili mohu potvrdit, že to skutečně byla chyba Vim.

[Jan Odvárko]

Je to jinak. Chyba byla v nastavení Locales - když mám nastaveno LANG=cs_CZ a LC_ALL=cs_CZ (jen pro příklad) tak pak to funguje i s verzí 6.3. Uff. Testování je dost nevděčná a zdlouhavá práce, zvlášť v tomhle případě to mělo nejasnou příčinu, tak sorry že jsem ten příspěvek zase posunul na začátek před ostatní. Ale alespoň nebudu šířit bludy.

[Marek Bernát]

IMHO presne ako som si myslel, je velmi nepravdepodobne, ze bude taka doocibijuca chyba v programe, ktory pouzivaju miliony (dufam ) ludi.
Btw, prispevok o locales som postol o nieco vyssie, mohli ste skusit hned, ale som rad, ze sa to nakoniec dotiahlo do vitazneho konca.