Dotaz: Gentoo+man sshd+UTF8=nesmysly

[Mufíček2]

Dobrý den,
na svém systému používám kódování UTF-8.
Vše mi funguje až na to, že když dám např.: man sshd, zobrazí se mi toto:

POPIS
       Program  sshd  (secure  shell  démon)  je server pro ssh.  Program ssh
       nahrazuje programy rlogin a rsh  a  zajiÅ¡Å¥uje  bezpeÄnou  Å¡ifrovanou
       komunikaci  mezi  dvÄma  nedůvÄryhodnými poÄÃtaÄi pÅes nezabezpeÄenou
       sÃÅ¥. Programy ssh a sshd jsou navrženy tak, aby  jejich  instalace  a
       použÃvánà bylo co nejjednoduÅ¡Å¡Ã.

       Sshd   je  démon,  který  vyÅizuje  spojenà  klientů.  NormálnÄ  je
       startován pÅi bootu ze souboru /etc/rc.local  nebo  jeho  ekvivalentu.
       Pro  každé  pÅicházejÃcà  spojenà  vytváÅà  nový  podproces.

Nevíte, co bych mohl mít kde špatně ?
UTF-8 jsem zprovozňoval dle tohoto návodu a úpravu man.conf jsem provedl následovně:

(Původní řádek)
NROFF           /usr/bin/nroff -Tascii -c -mandoc

(Nahraďte tímto výše uvedený řádek)
NROFF           /usr/bin/nroff -mandoc -c

Nastavení fontů na Linuxu:

# /etc/conf.d/consolefont
CONSOLEFONT="lat2-16"
#CONSOLETRANSLATION="8859-1_to_uni"

# /etc/conf.d/keymaps
KEYMAP="cz"

Jinak, když zadám například "ifconfig", tak je veškerý výpis OK.

gw1 ~ # ifconfig
eth0      Zapouzdření:Ethernet  HWadr 00:4F:4E:61:0A:6D
          inet adr:10.255.255.253  Všesměr:10.255.255.255 Maska:255.255.255.0
          AKTIVOVÁNO VŠESMĚROVÉ_VYSÍLÁNÍ BĚŽÍ MULTICAST  MTU:1500  Metrika:1
          RX packets:202 errors:0 dropped:0 overruns:0 frame:0
          TX packets:129 errors:0 dropped:0 overruns:0 carrier:0
          kolizí:0 délka odchozí fronty:1000
          RX bytes:18361 (17.9 Kb)  TX bytes:17954 (17.5 Kb)
          Přerušení:10 Vstupně/Výstupní port:0xd000

lo        Zapouzdření:Místní smyčka
          inet adr:127.0.0.1 Maska:255.0.0.0
          AKTIVOVÁNO SMYČKA BĚŽÍ  MTU:16436  Metrika:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          kolizí:0 délka odchozí fronty:0
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

gw1 ~ #

Děkuji za každou radu.

Odpovědi

[Luboš Doležel (Doli)]

Taky jsem to dělal podle toho návodu a taky mi v manu nejede čeština správně.

[Radomír Fojtík]

Sice OT, ale mi čeština v manu nejede ani při LANG=cs_CZ. Jedině v konqueroru man:/sshd.

[Mufíček2]

No, tak otázka zní, co se s tím nechá dělat a jestli vůbec existuje nějaké "uspokojivé" řešení ?

[tfrais]

Mně kdysi zabralo dát 'export LESSCHARSET=utf-8' do /etc/profile.

[Mufíček2]

Bohužel, nepomohlo.

[Radomír Fojtík]

V docela rozsáhlém vláknu o Unicode v Gentoo padlo i několik "tipů" k manuálovým stránkám. Nenajde se tam nic použitelného?

[Mufíček2]

Tady už jsem taky byl a bohužel, zatím stále nic. Pro jistotu přikládám ještě celý výpis z man.conf:

gw1 ~ # cat /etc/man.conf
#
# Generated automatically from man.conf.in by the
# configure script.
#
# man.conf from man-1.6
#
# For more information about this file, see the man pages man(1)
# and man.conf(5).
#
# This file is read by man to configure the default manpath (also used
# when MANPATH contains an empty substring), to find out where the cat
# pages corresponding to given man pages should be stored,
# and to map each PATH element to a manpath element.
# It may also record the pathname of the man binary. [This is unused.]
# The format is:
#
# MANBIN                pathname
# MANPATH               manpath_element [corresponding_catdir]
# MANPATH_MAP           path_element    manpath_element
#
# If no catdir is given, it is assumed to be equal to the mandir
# (so that this dir has both man1 etc. and cat1 etc. subdirs).
# This is the traditional Unix setup.
# Certain versions of the FSSTND recommend putting formatted versions
# of /usr/.../man/manx/page.x into /var/catman/.../catx/page.x.
# The keyword FSSTND will cause this behaviour.
# Certain versions of the FHS recommend putting formatted versions of
# /usr/.../share/man/[locale/]manx/page.x into
# /var/cache/man/.../[locale/]catx/page.x.
# The keyword FHS will cause this behaviour (and overrides FSSTND).
# Explicitly given catdirs override.
#
# FSSTND
FHS
#
# This file is also read by man in order to find how to call nroff, less, etc.,
# and to determine the correspondence between extensions and decompressors.
#
# MANBIN                /usr/local/bin/man
#
# Every automatically generated MANPATH includes these fields
#
MANPATH /usr/share/man
MANPATH /usr/local/share/man
MANPATH /usr/X11R6/man
MANPATH /usr/local/man
MANPATH /usr/man
#
# Uncomment if you want to include one of these by default
#
# MANPATH       /opt/*/man
# MANPATH       /usr/lib/*/man
# MANPATH       /usr/share/*/man
# MANPATH       /usr/kerberos/man
#
# Set up PATH to MANPATH mapping
#
# If people ask for "man foo" and have "/dir/bin/foo" in their PATH
# and the docs are found in "/dir/man", then no mapping is required.
#
# The below mappings are superfluous when the right hand side is
# in the mandatory manpath already, but will keep man from statting
# lots of other nearby files and directories.
#
MANPATH_MAP     /bin                    /usr/share/man
MANPATH_MAP     /sbin                   /usr/share/man
MANPATH_MAP     /usr/bin                /usr/share/man
MANPATH_MAP     /usr/sbin               /usr/share/man
MANPATH_MAP     /usr/local/bin          /usr/local/share/man
MANPATH_MAP     /usr/local/sbin         /usr/local/share/man
MANPATH_MAP     /usr/X11R6/bin          /usr/X11R6/man
MANPATH_MAP     /usr/bin/X11            /usr/X11R6/man
MANPATH_MAP     /usr/bin/mh             /usr/share/man
#
# NOAUTOPATH keeps man from automatically adding directories that look like
# manual page directories to the path.
#
#NOAUTOPATH
#
# NOCACHE keeps man from creating cache pages ("cat pages")
# (generally one enables/disable cat page creation by creating/deleting
# the directory they would live in - man never does mkdir)
#
#NOCACHE
#
# Useful paths - note that COL should not be defined when
# NROFF is defined as "groff -Tascii" or "groff -Tlatin1";
# not only is it superfluous, but it actually damages the output.
# For use with utf-8, NROFF should be "nroff -mandoc" without -T option.
# (Maybe - but today I need -Tlatin1 to prevent double conversion to utf8.)
#
# If you have a new troff (version 1.18.1?) and its colored output
# causes problems, add the -c option to TROFF, NROFF, JNROFF.
#
TROFF           /usr/bin/groff -Tps -mandoc
NROFF           /usr/bin/nroff -mandoc -c
JNROFF          /usr/bin/groff -Tnippon -mandocj
EQN             /usr/bin/geqn -Tps
NEQN            /usr/bin/geqn -Tlatin1
JNEQN           /usr/bin/geqn -Tnippon
TBL             /usr/bin/gtbl
# COL
REFER           /usr/bin/refer
PIC             /usr/bin/pic
VGRIND
GRAP
PAGER           /usr/bin/less -is
BROWSER         /usr/bin/less -is
HTMLPAGER       /bin/cat
CAT             /bin/cat
#
# The command "man -a xyzzy" will show all man pages for xyzzy.
# When CMP is defined man will try to avoid showing the same
# text twice. (But compressed pages compare unequal.)
#
CMP             /usr/bin/cmp -s
#
# Compress cat pages
#
COMPRESS        /bin/bzip2
COMPRESS_EXT    .bz2
#
# Default manual sections (and order) to search if -S is not specified
# and the MANSECT environment variable is not set.
#
MANSECT         1:1p:8:2:3:3p:4:5:6:7:9:0p:tcl:n:l:p:o
#
# Default options to use when man is invoked without options
# This is mainly for the benefit of those that think -a should be the default
# Note that some systems have /usr/man/allman, causing pages to be shown twice.
#
#MANDEFOPTIONS  -a
#
# Decompress with given decompressor when input file has given extension
# The command given must act as a filter.
#
.gz             /bin/gunzip -c
.bz2            /bin/bzip2 -c -d
.z
.Z              /bin/zcat
.F
.Y
gw1 ~ #

[Petr Šobáň]

Pokud máte vše správně tj nastavené na unicode tak problém bude asi stejný jak v první verzi fedory nebo v RH9 teď nevím tam to dělalo taky.

Problémy přetrvávají s českými manuálovými stránkami. I když si z výše uvedené adresy stáhnete manuálové stránky překódované do UTF-8, nezobrazí je příkaz man správně. Problém je kdesi uvnitř v příkazu nroff, který nesprávně zpracovává vícebajtové znaky.

Vím že se upravoval nroff pokud si dobře pamatuji (zdroják) takže skuste ten patch pohledat nebo použít zdroják z distribuce FC4 tam by snad měl být opraven. (man stránky se zobrazují správně na FC4)

Jinak proskoumal jste Unicode v Gentoo zda tam není odpověď ?

[Mufíček2]

Ano, prozkoumal, ale bohužel uspokojivou odpověď jsem tam nenašel.

[petr_p]

Ano, mate pravdu. nroff v Gentoo neobsahuje patche pridavajici podporu UTF-8 vstupu. Prozatim se to obchazi manualovymi strankami v iso-8859-2 a doufa se, ze nikdo nebude chtit manal v cestine a v rustine naraz.

Mne na ceske manualove stranky funguje:

/usr/bin/nroff -mlatin2 -Tutf8 -c -mandoc

[Mufíček2]

Tak jsem to zkusil, ale stejně mě to česky nejede. Jediná změna která nastala, je tato: Po ukončení programu man mi to hodí tuto hlášku:

gw1 ~ # man sshd
standard input:132: can't find hyphenation patterns file `hyphen.cs'
gw1 ~ #

[razor]

Wow, tak ten -mlatin2 u mě zabral. Dik.

[spectrum]

Zajímavý, na jednom kompu mi to také zabralo, na druhém ne. /etc/man.conf mám stejné.

[Petr Šobáň]

No a v jakém kodování máš ty manuálové stránky ?

[spectrum]

To nepovím, ne že bych nechtěl, ale netuším. Oba systémy jsou Gentoo, kódování utf8, verze manu je stejná, stejně aktualizovaný a snad i nastavený ...

[Boris]

Mám taky Gentoo (stejný problém), ale ty stránky jsou určitě v UTF-8 - na UTF-8 konsoli gunzip -c /usr/share/man/cs/man8/sshd.8.gz zobrazuje krásně všechny české znaky. Když přesměruju výstup toho příkazu do souboru: gunzip -c /usr/share/man/cs/man8/sshd.8.gz > sshd.8 a prohlížím si ho příkazem less sshd.8 přímo, tak to nezobrazí obsah souboru (který obsahuje různé formátovací direktivy manuálových stránek apod.), ale zobrazí to přesně jako man stránku, a to stejným způsobem zmršenou (v podstatě se to chová ne jako less sshd.8, ale jako man sshd). Když ale dám cat sshd.8 | less, tak to zobrazí skutečný obsah souboru se správnými znaky a včetně direktiv, prostě doslova to, co je v souboru sshd.8. LESSCHARSET=utf-8 mám nastaveno.

[David Watzke]

Takže nakonec je viník less?

[Petr Šobáň]

Ano i v less není podpora unicode - existuje na to path.

Jak jsem psal máte stejné problémy jako u RH nroff a less neumí unicode.

[razor]

Ja mám české manuálové stránky app-i18n/man-pages-cs v kódování latin2, a funguje mi právě výše uvedené nastavení /usr/bin/nroff -mlatin2 -Tutf8 -c -mandoc. Pro úplnost:

~ $ locale 
LANG=
LC_CTYPE="cs_CZ.utf8"
LC_NUMERIC="cs_CZ.utf8"
LC_TIME="cs_CZ.utf8"
LC_COLLATE="cs_CZ.utf8"
LC_MONETARY="cs_CZ.utf8"
LC_MESSAGES="cs_CZ.utf8"
LC_PAPER="cs_CZ.utf8"
LC_NAME="cs_CZ.utf8"
LC_ADDRESS="cs_CZ.utf8"
LC_TELEPHONE="cs_CZ.utf8"
LC_MEASUREMENT="cs_CZ.utf8"
LC_IDENTIFICATION="cs_CZ.utf8"
LC_ALL=cs_CZ.utf8

~ $ echo $LESSCHARSET
utf-8

$ grep -v "\#" /etc/man.conf
FHS
MANPATH /usr/share/man
MANPATH /usr/local/share/man
MANPATH /usr/X11R6/man
MANPATH /usr/local/man
MANPATH /usr/man
MANPATH_MAP     /bin                    /usr/share/man
MANPATH_MAP     /sbin                   /usr/share/man
MANPATH_MAP     /usr/bin                /usr/share/man
MANPATH_MAP     /usr/sbin               /usr/share/man
MANPATH_MAP     /usr/local/bin          /usr/local/share/man
MANPATH_MAP     /usr/local/sbin         /usr/local/share/man
MANPATH_MAP     /usr/X11R6/bin          /usr/X11R6/man
MANPATH_MAP     /usr/bin/X11            /usr/X11R6/man
MANPATH_MAP     /usr/bin/mh             /usr/share/man
TROFF           /usr/bin/groff -Tps -mandoc
NROFF           /usr/bin/nroff -mlatin2 -c -Tutf8 -mandoc

JNROFF          /usr/bin/groff -Tnippon -mandocj
EQN             /usr/bin/geqn -Tps
NEQN            /usr/bin/geqn -Tlatin1
JNEQN           /usr/bin/geqn -Tnippon
TBL             /usr/bin/gtbl
REFER           /usr/bin/refer
PIC             /usr/bin/pic
VGRIND
GRAP
PAGER           /usr/bin/less -is
BROWSER         /usr/bin/less -is
HTMLPAGER       /bin/cat
CAT             /bin/cat
CMP             /usr/bin/cmp -s
COMPRESS        /bin/bzip2
COMPRESS_EXT    .bz2
MANSECT         1:1p:8:2:3:3p:4:5:6:7:9:0p:tcl:n:l:p:o
.gz             /bin/gunzip -c
.bz2            /bin/bzip2 -c -d
.z
.Z              /bin/zcat
.F
.Y

[Mufíček2]

Mám to nastavené úplně stejně, a i přes to je výsledek stále stejný.

[razor]

Pokud jste to nedělal, tak bych ještě zkusil zkontrolovat, zda jsou ty české manuálové stránky nakódované v latin2. Jinak mě nic nenapadá. V záchvatu zoufalství bych možná ještě skusil reemergovat man-pages-cs.

[petr_p]

Ono je dobre vedet, ze less neni jen less. Napr. podle dokumentace

INPUT PREPROCESSOR
       You may define an "input preprocessor" for less.  Before less  opens  a
       file, it first gives your input preprocessor a chance to modify the way
       the contents of the file are displayed.  An input preprocessor is  sim‐
       ply  an executable program (or shell script), which writes the contents
       of the file to a different file, called the replacement file.  The con‐
       tents  of  the replacement file are then displayed in place of the con‐
       tents of the original file.  However, it will appear to the user as  if
       the  original  file  is opened; that is, less will display the original
       filename as the name of the current file.

A skutecne

$ set |grep LESS
LESS='-R -M --shift 5'
LESSCHARSET=utf-8
LESSOPEN='|lesspipe.sh %s'

Vtip je v tom, ze ze less ctouci data ze stdin zadne filtry neuplatnuje.

Jinak ten vas pripad mi prijde trochu divny. Ja kdyz mam manualovou stranku v UTF-8, tak mi ji zmrsi nroff, protoze zadny vstupni preprocessing type -mutf8 neumi (defaultni kodovani je totiz latin1). Naopak less se chova zcela korektne.

Kdyz se podivam do manualove strankym tak mi file rika, ze to neni v utf8

$ zcat /usr/share/man/cs/man1/dd.1.gz |file  -
/dev/stdin: ISO-8859 troff or preprocessor input text

A skutecne

$ zcat /usr/share/man/cs/man1/dd.1.gz | hexdump -C |head
00000000  2e 54 48 20 44 44 20 31  20 22 47 4e 55 20 46 69  |.TH DD 1 "GNU Fi|
00000010  6c 65 20 55 74 69 6c 69  74 69 65 73 22 20 22 46  |le Utilities" "F|
00000020  53 46 22 20 5c 22 20 2d  2a 2d 20 6e 72 6f 66 66  |SF" \" -*- nroff|
00000030  20 2d 2a 2d 0a 2e 64 6f  20 68 6c 61 20 63 73 0a  | -*-..do hla cs.|
00000040  2e 64 6f 20 68 70 66 20  68 79 70 68 65 6e 2e 63  |.do hpf hyphen.c|
00000050  73 0a 2e 53 48 20 4a 4d  c9 4e 4f 0a 64 64 20 5c  |s..SH JM.NO.dd \|
00000060  2d 20 6b 6f 6e 76 65 72  74 75 6a 65 20 73 6f 75  |- konvertuje sou|
00000070  62 6f 72 20 70 f8 69 20  6b 6f 70 ed 72 6f 76 e1  |bor p.i kop.rov.|
00000080  6e ed 0a 2e 53 48 20 50  4f 55 ae 49 54 cd 0a 2e  |n...SH POU.IT...|
00000090  42 20 64 64 0a 5b 5c 2d  5c 2d 68 65 6c 70 5d 20  |B dd.[\-\-help] |

Zamerte se na ř ve souslovi při kopírování.

Dobre je take prozkoumat manual k nroffu

       The nroff script emulates the nroff command using groff.   Only  ascii,
       latin1, utf8, and cp1047 are valid arguments for the -T option, select‐
       ing the output encoding emitted by grotty, groff’s TTY  output  device.
       If an invalid or no -T option is given, nroff checks the current locale
       to select a default output device.  It first tries the locale  program,
       then  the environment variables LC_ALL, LC_CTYPE, and LANG, and finally
       the LESSCHARSET environment variable.

Bohuzel o vstupnim kodovani se nikde nedoctete. Podle mych zkusenosti nepatchovany nroff predpoklada iso-8859-1, pokud nepouziji makro (parametr -m) pre samotnym formatovanim.

[Raptor2]

Díky moc za tip, tohle zabralo: /usr/bin/nroff -mlatin2 -Tutf8 -c -mandoc

[Mufíček2]

tak bohužel, i přes veškeré úpravy je výsledek stále špatný :(

[wosambo]

mel jsem problem s tim, ze me manove stranky jsou v utf8 a nechtelo se mi je prekodovavat pri kazdem updatu man-pages-cs tak sem si zkompiloval soubor utilitek odsud a pomohlo

1. v Makefile nastavit PREFIX (ja sem nastavil /opt/groff-utf8)
2. sudo make
3. sudo make install
4. v man.conf jsem nastavil
 NROFF       /opt/groff-utf8/bin/groff-utf8 -Tutf8 -c -mandoc
5. vytvoril jsem si v /etc/env.d soubor 03groff-utf8 s obsahem
PATH="/opt/groff-utf8/bin"
6. sudo env-update
7. source /etc/profile
8. man ls

a vse se zobrazilo ok

[Mufíček2]

Ahoj, určitě to někdy vyzkouším.
Koukám, je to už nějaká ta chvíli co jsem tento thread zakládal

Bohužel, vzhledem k tomu, že JSEM člověk LÍNÝ a POHODLNÝ, tak jsem zrušil všechno co jsem měl v utf8 a vrátil se k ISO-8859-2

Ale díky, určitě to jednou vyzkouším.

---

PS: Export all in UTF-8..... .....třeba to planet Mars

---

Petr

[trancelius]

Mě nakonec pomohlo alias man='LC_ALL='\'''\'' man', nějak těm překladům nemůžu přijít na chuť :)

[just-paja]

sice už to jsou skoro 4 roky od začátku tohoto tématu, ale u mě tento problém vyřešila následující úprava /etc/man.conf NROFF /usr/bin/groff -mandoc -c -k -Tutf8

[SAM:]

Potvrzuji, na Gentoo mi pomohl tento řádek v man.conf. Hlavní roli asi hraje parametr -k:

NROFF /usr/bin/groff -mandoc -c -k -Tutf8

[elko]

Díky. Jen doplním, že je důležité použít "/usr/bin/groff", aby někdo nepoužíval něco jiného jako já a nedivil se, co je špatně.

[DaBler]

Mimochodem, psal jsem o tom předčasem ve svém blogu.