Lokalizace aplikací, Gettext

17.3.2009 23:00 | Přečteno: 4000× | Programování |

Kostlivec z roku 2004, začátek nedopsaného seriálu, třeba se to bude někomu do začátků hodit... Jak lokalizovat (překládat) aplikace. Jak psát lokalizovatelné aplikace. Použití standardních nástrojů. Příklady pro Python, C, Glade, Bash.

Podíváme se, pro jaké jazyky máme vygenerované locales.

$ locale -a
C
cs_CZ
cs_CZ.iso88592
czech
POSIX

Budeme-li chtít vygenerovat další locales, upravíme /etc/locale.gen.

en_US ISO-8859-1
cs_CZ ISO-8859-2
sk_SK ISO-8859-2

a spustíme skript locale-gen.

# locale-gen
Generating locales...
en_US.ISO-8859-1... done
cs_CZ.ISO-8859-2... done
sk_SK.ISO-8859-2... done
Generation complete.

Tento skript smaže staré locale data v /usr/lib/locale a vygeneruje nové dle výše zmiňovaného konfiguračního souboru. Např. pro náš jazyk spustí.

localedef -i cs_CZ -c -f ISO-8859-2 -A /etc/locale.alias cs_CZ

Program by měl nejprve číst proměnnou $LC_ALL. Když nic neobsahuje, přečte nastavení z proměnných (umožňují různorodé nastavení jednotlivých kategorií) uvedených v následujícím výpisu. Teprve poté použije případně proměnnou $LANG.

$ locale
LANG=cs_CZ
LC_CTYPE="cs_CZ"
LC_NUMERIC="cs_CZ"
LC_TIME="cs_CZ"
LC_COLLATE="cs_CZ"
LC_MONETARY="cs_CZ"
LC_MESSAGES="cs_CZ"
LC_PAPER="cs_CZ"
LC_NAME="cs_CZ"
LC_ADDRESS="cs_CZ"
LC_TELEPHONE="cs_CZ"
LC_MEASUREMENT="cs_CZ"
LC_IDENTIFICATION="cs_CZ"
LC_ALL=
$ date
So kvě 1 16:34:49 CEST 2004
$ LC_ALL=C date
Sat May 1 16:34:57 CEST 2004

V případě, že nejsou nalezeny příslušné soubory (nebo je hodnota proměnné C), použijí se řetězce zakompilované v programu. Proměnné předáváme hodnotu v následujícím formátu (případně můžeme použít přezdívku definovanou v /etc/locale.alias).

jazyk[_země][.znaková sada] (např. cs_CZ.ISO-8859-2)

Překlad textových řetězců pro MC nalezname v binárním souboru /usr/share/locale/cs/LC_MESSAGES/mc.mo. V původní textové podobě ho můžeme získat následujícím příkazem.

$ msgunfmt /usr/share/locale/cs/LC_MESSAGES/mc.mo > mc.po

Podívejte se na obsah získaného souboru.

• msgid "" - původní řetězec ze zdrojového kódu
• msgstr "" - přeložený řetězec
• # - komentář
• #: - odkaz na umístění ve zdrojovém kódu
• #, - informují o stavu překladu nebo formátu

Python, Glade

Máme následující skript v Pythonu l10n1-python.py a XML soubor z Glade l10n1-python.glade.

#!/usr/bin/python -d
# -*- coding: utf-8 -*-

import gtk
import gtk.glade
import gettext

gettext.bindtextdomain('l10n1-python', '/usr/share/locale')
gettext.textdomain('l10n1-python')
gtk.glade.bindtextdomain('l10n1-python', '/usr/share/locale')
gtk.glade.textdomain('l10n1-python')
_ = gettext.gettext

xml = gtk.glade.XML('l10n1-python.glade', 'window')

def spustit(button):
  info_LB.set_text(_("Complete."))

def quit(window):
  gtk.main_quit()
  print _("End...")

xml.signal_autoconnect(locals())
info_LB = xml.get_widget("info_LB")
gtk.main()

Na začátku definujeme, kde se má hledat MO soubor a veškerý text, který budeme chtít přeložit, umístíme do _(""). Nyní vytvoříme katalog, otevřeme si ho v našem oblíbeném editoru, provedeme překlad a nezapomeneme definovat kódování atp. na začátku katalogu. Poté soubor s překladem převedeme do binárního tvaru a zkopírujeme do /usr/share/locale/.

$ xgettext l10n1-python.py l10n1-python.glade -o l10n1-python.po
$ vim l10n1-python.po
$ msgfmt l10n1-python.po -o l10n1-python.mo
# cp ./l10n1-python.mo /usr/share/locale/cs/LC_MESSAGES/l10n1-python.mo

Vyzkoušíme, jestli vše funguje.

$ LC_ALL=C ./l10n1-python.py
End...
$ LC_ALL=cs_CZ ./l10n1-python.py
Konec...

C

l10n1-program.c

#include <locale.h>
#include <libintl.h>

#define PACKAGE   "l10n1-program"
#define LOCALEDIR "/usr/share/locale"
#define _(str) gettext(str)

int main(void) {
  setlocale(LC_ALL,"");
  bindtextdomain(PACKAGE, LOCALEDIR);
  textdomain(PACKAGE);

  printf(_("Hello World.\n"));
  printf(_("Dir: %s\n"), LOCALEDIR);
  exit(0);
}

U céčkových programů hledá implicitně xgettext ve zdrojovém kódu klíčové slovo gettext, ale my používáme kratší _.

$ xgettext --keyword=_ l10n1-program.c -o l10n1-program.po

Bash

l10n1-bash.sh

#!/bin/bash

TEXTDOMAINDIR=/usr/share/locale
TEXTDOMAIN=l10n1-bash

echo $"Hello World."
printf $"Dir: %s\n" $TEXTDOMAINDIR

První příkaz získá ze skriptu řetězce pro překlad a druhý přidá hlavičku katalogu.

$ bash --dump-po-strings l10n1-bash.sh > l10n1-bash.po
$ xgettext l10n1-bash.po -o l10n1-bash.po

Další nasměrování => po-mód v Emacsu, plugin po.vim ve Vimu a program KBabel.

       

Komentáře

[Jardík]

Já bych měl dotaz na ten gettext, ještě mi nedchází jedna věc. Když zavolám příslušnou gettextovou funkci, vrátí se mi řetězec a v žádné aplikaci, kterou jsem studoval, se takto vrácený řetězec nikde neuvolňuje z paměti a je tam do umření programu (?). Když ho zavolám podruhé, alokuje se znovu, nebo se použije ten naalokovaný už předtím (= asi nee thread safe jestli to nepoužívá mutexy).

[Fuky]

Glibc6 používá thread safe funkce, gettext je součást této knihovny, takže by na tom měl být v současné době stejně, s vyjímkou volání fce setlocale(), která z důvodů náročnosti není thread safe:

3.19. bonnie reports that char i/o with glibc 2 is much slower than with libc5. What can be done?
4.2 Triggering gettext Operations

Díky makru HAVE_PER_THREAD_LOCALE lze od roku 2005 používat v různých vláknech různé nastavení locales:

fix for multithreaded gettext() tests

Funkce gettext() vrací ukazatel na string, který je staticky alokovaný a nesmí se tedy měnit ani uvolňovat (man 3 gettext):

If a translation was found in one of the specified catalogs, it is converted to the locale’s codeset and returned. The resulting string is statically allocated and must not be modified or freed. Otherwise msgid is returned.

Pro podrobnosti mrkni do zdrojáků glibc...

[Jardík]

Ok, ale jak může být staticky alokován, když se alokuje "za běhu" aplikace? Nebo je tam předdefinovaný buffer, který se pořád přepisuje (= omezení délky řetězce)?

[Fuky]

Využívá se fce mmap() a soubor *.mo se namapuje do paměti, viz glibc-2.7/locale/loadlocale.c a fce _nl_load_locale().

[Jardík]

Ok, díky moc. Mně se nechtěli studovat zdrojáky, alespoň jsem teď o něco chytřejší

[Fluttershy, yay!]

Přidán odkaz do wiki skupiny Překlady, klidně to tam mohlo vyjít jako článek.

[l4m4]

Generování ISO 8859 locales mělo raději zůstat v tom roce 2004, dnes už bych takové kostlivce nevytahoval.

[Aleš Kapica]

Také mám tady jednoho takového kostlivce, z října r. 2006..

Blogpostový pidiseriál Linuxové překladatelské nástroje 1,2,3,4,5