abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 06:00 | Nová verze

Po necelém roce od vydání verze 0.67 byla vydána verze 0.68 populárního telnet a ssh klienta PuTTY. Podrobnosti v přehledu změn. Řešeny jsou také bezpečnostní chyby.

Ladislav Hagara | Komentářů: 0
včera 21:32 | Nasazení Linuxu

Canonical představuje nejnovější verzi chytré helmy DAQRI s Ubuntu pro rozšířenou realitu. K vidění bude příští týden v Barceloně na veletrhu Mobile World Congress 2017.

Ladislav Hagara | Komentářů: 0
včera 21:31 | Pozvánky

Pro zájemce o hlubší znalosti fungování operačních systémů připravila MFF UK nový předmět Pokročilé operační systémy, v rámci něhož se vystřídají přednášející nejen z řad pracovníků fakulty, ale dorazí také odborníci ze společností AVAST, Oracle, Red Hat a SUSE. Tento předmět volně navazuje na kurz Operační systémy ze zimního semestru, ale pokud máte praktické zkušenosti odjinud (například z přispívání do jádra Linuxu) a chcete si

… více »
Martin Děcký | Komentářů: 6
včera 21:30 | Pozvánky

Czech JBoss User Group Vás srdečně zve na setkání JBUG v Brně, které se koná ve středu 1. března 2017 v prostorách Fakulty Informatiky Masarykovy Univerzity v místnosti A318 od 18:00. Přednáší Tomáš Remeš a Matěj Novotný na téma CDI 2.0 - New and Noteworthy. Více informací na Facebooku a na Twitteru #jbugcz.

mjedlick | Komentářů: 0
20.2. 23:45 | Zajímavý software

Na blogu Qt bylo představeno Qt 3D Studio. Jedná se o produkt dosud známý pod názvem NVIDIA DRIVE™ Design Studio. NVIDIA jej věnovala Qt. Jedná se o několik set tisíc řádků zdrojového kódu. Qt 3D Studio bude stejně jako Qt k dispozici jak pod open source, tak pod komerční licencí. Ukázka práce s Qt 3D Studiem na YouTube.

Ladislav Hagara | Komentářů: 10
20.2. 17:50 | Komunita

Nadace The Document Foundation (TDF) zastřešující vývoj svobodného kancelářského balíku LibreOffice slaví 5 let od svého oficiálního vzniku. Nadace byla představena 28. září 2010. Formálně byla založena ale až 17. února 2012.

Ladislav Hagara | Komentářů: 0
20.2. 12:50 | Komunita

Mozilla.cz informuje, že dosud experimentální funkce Page Shot z programu Firefox Test Pilot (zprávička) se stane součástí Firefoxu. Page Shot je nástroj pro vytváření snímků webových stránek. Umí výběr oblasti, prvku stránky (např. odstavce), nebo uložení snímku celé stránky. Snímky lze ukládat na disk nebo nahrávat na server Mozilly. Nedávno bylo oznámeno, že se součástí Firefoxu stane Activity Stream.

Ladislav Hagara | Komentářů: 33
20.2. 04:10 | Nová verze

Po 10 týdnech vývoje od vydání Linuxu 4.9 (zprávička) oznámil Linus Torvalds, mj. již 20 let žijící v USA, vydání Linuxu 4.10 (LKML). Přehled nových vlastností a vylepšení například na Kernel Newbies a v Jaderných novinách (1, 2 a 3). Kódové jméno Linuxu 4.10 je Fearless Coyote.

Ladislav Hagara | Komentářů: 27
19.2. 15:55 | Zajímavý projekt

Vyzkoušet si příkazy a vyřešit několik úkolů lze na stránkách Commandline Challenge (CMD Challenge). Úkoly lze řešit různými způsoby, důležitý je výsledek. Zdrojové kódy jsou k dispozici na GitHubu pod licencí MIT.

Ladislav Hagara | Komentářů: 19
18.2. 17:35 | Bezpečnostní upozornění

Německá Bundesnetzagentur (obdoba českého ČTU) zakázala na německém území prodej panenky Cayla kvůli „špionáži“ dětí. Tato elektronická hračka obsahuje mikrofon, reproduktor a kameru a bezdrátové komunikační rozhraní, pomocí kterého se hračka připojuje na servery výrobce. Takovýmto způsobem může hračka pomocí umělé inteligence „odpovídat“ na dotazy dítěte. Hlavní problém bude ale asi někde jinde, podle prvotních zpráv může

… více »
Petr Tomášek | Komentářů: 34
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (14%)
 (2%)
 (71%)
 (3%)
 (10%)
Celkem 680 hlasů
 Komentářů: 63, poslední dnes 11:29
Rozcestník

Dotaz: Vícejazyčná data v databázi

Josef Kufner avatar 28.8.2008 18:37 Josef Kufner | skóre: 66
Vícejazyčná data v databázi
Přečteno: 1050×
Ahoj,
potřebuju uložit do databáze data v několika jazycích. Některá data jsou všem jazykovým verzím společná (např. datumy, číselné hodnoty, adresy, atp.), některá ne (texty ;-)). Co jsem tak koukal na různé články na toto téma, tak píšou akorát o tom, jak je jedno řešení horší než druhé... Takže vím jak to neudělat, ale nevím jak to udělat :-( Jako databáze bude použita MySQL, chci aby byly respektovány zvyklosti v řazení u každého jazyka a nebylo to moc slozité (jak pro mě, tak pro server). Máte nějaké nápady, zkušenosti, odkazy, cokoliv?
Hello world ! Segmentation fault (core dumped)

Odpovědi

28.8.2008 20:31 Dejv | skóre: 37 | blog: Jak ten blog nazvat ... ? | Ostrava
Rozbalit Rozbalit vše Re: Vícejazyčná data v databázi
Ahoj.

Kdysi jsem resil nekolik jazykovych variant webovek, ale skoncilo to u titulni stranky (ta byla staticka), dal se ten projekt nedostal (nikoli mou vinou). Ale i ta titulka byla pochopitelne lokalizovana.

Texty byly rozdeleny do casti, delicim prvkem byly html tagy (odstavce, obrazky, spany a pod.) - tyto tagy ale byly jen ve skriptu, kterym byla vysledna stranka tvorena, v databazi byly jen textove prvky. Kazdy takovyto blok textu mel svoje ID a poradove_cislo, kde ID odpovidalo strance a poradove_cislo udavalo poradi toho bloku v html zdrojaku stranky. Zaznamy se stejnym ID a poradove_cislo predstavovaly pokazde stejny kus textu, jen v jinem jazyce.

Takze jsem udelal neco jako

select txt from texty where ID=id_stranky order by poradi
a pak do html zdrojaku v patricnych mistech postupne vkladal nactene zaznamy. A lokalizace bylo udelana tak, ze kazda jazykova mutace mela svuj vlastni sloupec v databazi, takze dotaz pro cesky jazyk byl
select txt_cs ...
pro anglictinu
select txt_en ...
pro nemcinu
select txt_de ...
atd. Pridani jazyka znamenalo pridani sloupce do databaze.

Jsem si vedom, ze to urcite neni ten nejlepsi zpusob, ale mi proste v danou chvili pro dany ucel s danymi prostredky vyhovoval... Navic se jednalo o vice-mene staticke stranky, coz asi neni vas pripad.


Dejv
Pevne verim, ze zkusenejsi uzivatele me s mymi napady usmerni a poslou tam, kam tyto napady patri...
29.8.2008 09:30 vratidlo007 | skóre: 20
Rozbalit Rozbalit vše Re: Vícejazyčná data v databázi
Ahoj, ja bych to resil nasledujicim zpusobem: lang: lang_id, lang_dsc label: label_id, lang_id, label_value

select label_id, label_value from lang inner join label on lang_id where lang_id = ?

Tabulky propojis a mas krasny, cisty reseni, ktery neni zatezi ani pro server (join mu az tak neublizi), ani pro tebe (bude se ti hezky spravovat data). Otazkou zustava co pro spolecna data. Bud mit defaultni jazyk a resit to v aplikacni vrstve (nehezky) nebo udelat komplikoanejsi dotaz pro dane view co ti bude generovat data pro danou stranku.
default avatar 30.8.2008 22:19 default | skóre: 22 | Madrid
Rozbalit Rozbalit vše Re: Vícejazyčná data v databázi
Ahoj,

já to řešil a vyřešil. Mám řešení pro Oracle, které je díky Oraclu jednoduché, a pak pro PostgreSQL, které je vysoce netriviální. Ale v podstatě jsem do PostgreSQL dostal věci, které jsou u Oracle samozřejmostí :-)

Takže, jestli máš zájem, můžu trošku odtajnit default's proprietary :-D
Josef Kufner avatar 30.8.2008 22:44 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: Vícejazyčná data v databázi
Hurá, prosím prosím, smutně koukám ;-)
Hello world ! Segmentation fault (core dumped)
default avatar 31.8.2008 20:14 default | skóre: 22 | Madrid
Rozbalit Rozbalit vše Re: Vícejazyčná data v databázi
OKi, tak začneme.

Požadavky

  • ukládání dat ve více jazycích
  • řazení těchto dat podle zvyklostí daného locale
  • jednoduchost pro databázi i aplikační server
Začnu tím třetím, tedy jednoduchostí. Vrchol jednoduchosti vídím v Oracle:
CREATE TABLE loc_test (
    lt_text NVARCHAR2(64))
/

INSERT INTO loc_test (lt_text) VALUES ('Petr')
/
INSERT INTO loc_test (lt_text) VALUES ('František')
/
INSERT INTO loc_test (lt_text) VALUES ('Áron')
/
INSERT INTO loc_test (lt_text) VALUES ('Antonín')
/
INSERT INTO loc_test (lt_text) VALUES ('Petříček')
/

COMMIT
/

ALTER SESSION SET NLS_SORT = CZECH_AI
/

SELECT
    lt_text
FROM
    loc_test
ORDER BY
    lt_text
/

ALTER SESSION SET NLS_SORT = ASCII7
/

SELECT
    lt_text
FROM
    loc_test
ORDER BY
    lt_text
/

SELECT
    lt_text
FROM
    loc_test
ORDER BY
    NLSSORT(lt_text, 'NLS_SORT = CZECH_AI')
/

DROP TABLE loc_test
/
Použití je velmi jednoduché. Ve výsledku je vidět, že to skutečně funguje tak, jak chceme:
CREATE TABLE succeeded.
1 rows inserted
1 rows inserted
1 rows inserted
1 rows inserted
1 rows inserted
COMMIT succeeded.
ALTER SESSION SET succeeded.
LT_TEXT                                                          
---------------------------------------------------------------- 
Antonín                                                          
Áron                                                             
František                                                        
Petr                                                             
Petříček                                                         

5 rows selected

ALTER SESSION SET succeeded.
LT_TEXT                                                          
---------------------------------------------------------------- 
Antonín                                                          
František                                                        
Petříček                                                         
Petr                                                             
Áron                                                             

5 rows selected

LT_TEXT                                                          
---------------------------------------------------------------- 
Antonín                                                          
Áron                                                             
František                                                        
Petr                                                             
Petříček                                                         

5 rows selected

DROP TABLE loc_test succeeded.
Tak! A jak něco podobného udělat například v PostgreSQL? PostgreSQL umožňuje nastavit locale při vytváření databáze. Což je docela slabé. Proto jsem došel k následujícímu řešení, které je optimalizované na maximální výkon pro SELECT (to byl požadavek) a jednoduchost volání jako v Oracle.

Základní schéma

Na začátku je tabulka LOCALES, která funguje jako číselník podporovaných locales. Jednotlivá locale se zadávají v Javí notaci, tedy JAZYK_ZEMĚ_VARIANTA. Pak tam jsou naimplementované funkce, které umějí dohledat locale stejně tak, jak to dělá Java (java.util.ResourceBundle). Další tabulkou je tabulka TABLES, která ukládá názvy tabulek, které jsou pod lokalizací. Všechny funkce, které nějak mohou afektovat data (například přidání locale, odebrání locale), díky této tabulce automaticky přidávají nové jazyky. Úplně vespod jsou funkce pro podporu uživatelských proměnných v session, implementace chybějících funkcí PL/PgSQL a tak.

Data pod lokalizací

Základem jsou tři tabulky. Tabulka se suffixem _C, která ukládá nelokalizované atributy, další se suffixem _L, která ukládá lokalizovaná data a poslední se suffixem _D, která drží stav NULL, NOT NULL pro lokalizovaná data. Příklad:
CREATE TABLE i18n.example_c (
        exmp_id bigint DEFAULT nextval('sq_exmp_id') NOT NULL,
        exmp_type bigint NOT NULL,
        exmp_creation_time timestamp with time zone NOT NULL DEFAULT NOW()
);

ALTER TABLE i18n.example_c ADD CONSTRAINT pk_exmp_id PRIMARY KEY (exmp_id);


CREATE TABLE i18n.example_l (
        exmp_entity bigint NOT NULL,
        exmp_locale bigint NOT NULL,
        exmp_name varchar NULL,
        exmp_value varchar NULL,
        exmp_value_ord bytea NULL
);

ALTER TABLE i18n.example_l ADD CONSTRAINT pk_exmp_entity_exmp_locale PRIMARY KEY (exmp_entity, exmp_locale);
ALTER TABLE i18n.example_l ADD CONSTRAINT fk_exmp_entity_exmp_id FOREIGN KEY (exmp_entity) REFERENCES i18n.example_c (exmp_id) ON DELETE CASCADE;
ALTER TABLE i18n.example_l ADD CONSTRAINT fk_exmp_locale_locale_id FOREIGN KEY (exmp_locale) REFERENCES i18n.locale (id);


CREATE TABLE i18n.example_d (
        column_name varchar NOT NULL,
        nullable boolean NOT NULL
);

ALTER TABLE i18n.example_d ADD CONSTRAINT pk_example_d PRIMARY KEY (column_name);
Pak si nadefinuješ pohledy, které celou tuto strukturu zobrazí jako jednu tabulku:
CREATE VIEW i18n.example AS
SELECT
                c.exmp_id,
                c.exmp_type,
                c.exmp_creation_time,
                l.exmp_locale,
                l.exmp_name,
                l.exmp_value,
                l.exmp_value_ord
        FROM
                example_c c INNER JOIN example_l l ON (c.exmp_id = l.exmp_entity)
        WHERE
                l.exmp_locale = i18n.get_session_locale_id();


CREATE VIEW i18n.example_a AS
SELECT
                c.exmp_id,
                c.exmp_type,
                c.exmp_creation_time,
                l.exmp_locale,
                l.exmp_name,
                l.exmp_value,
                l.exmp_value_ord
        FROM
                example_c c INNER JOIN example_l l ON (c.exmp_id = l.exmp_entity);
Ta view se suffixem _A zobrazují veškeré locales (nejsou omezena na aktuální locale v session). Jak je vidět, pro každý řádek v tabulce EXAMPLE_C je v tabulce EXAMPLE_L vygenerován speciální řádek pro každé locale. Když přidáš další locale, "systém" automaticky do všech těchto kompozitů dogeneruje prázdné řádky.

Řazení

Tak, to byla struktura. Abychom mohli řadit v závislosti na locale, potřebujeme collation key. Ten spočítáme podle locale například Javou (třídy java.util.Locale a java.text.Collator). Získaný collation key uložíme do sloupku EXMP_VALUE_ORD v tabulce EXAMPLES_L a pak jen tento sloupek uvedeme v ORDER BY klauzuli. Jak jednoduché, že?

Jen precizní je dostatečně dobré

Nakonec napíšeme tři funkce, které pomocí RULEs zaregistrujeme jako Oraclí INSTEAD OF — TRIGGERy na ta VIEWs, které za nás automaticky při INSERTu nebo UPDATE přepočítají collation key. Ve všech dotazech tedy používáme vlastně jen ta VIEWs, protože se díky pravidlům chovají jako opravdové tabulky.


Takže — namísto Oraclího ALTER SESSION SET NLS_SORT… zavoláš i18n.set_session_locale(…) dál používáš databázi, jak je třeba. Když potřebuješ řadit jinak, buď zavoláš set_session_locale znovu, nebo si napíšeš vlastní ORDER BY klauzuli.
Josef Kufner avatar 31.8.2008 21:19 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: Vícejazyčná data v databázi
Díky, myslím, že jsi mi právě vyřešil i několik dalších problémů, na které jsem se ani neptal :-D Máš u mě čokoládu (příp. pivo).
Hello world ! Segmentation fault (core dumped)
default avatar 31.8.2008 22:35 default | skóre: 22 | Madrid
Rozbalit Rozbalit vše Re: Vícejazyčná data v databázi
Díky, myslím, že jsi mi právě vyřešil i několik dalších problémů, na které jsem se ani neptal :-D
Já vím. Jsem za to placenej :-D
Máš u mě čokoládu (příp. pivo).
Já radši vodku. Teď tady cucám lahvinku Stolichnayi :-D
Ale zpět k databázím. Na implementaci těch funkcí je asi nejlepší právě ta Java. Když se vyhneš proměnným prostředí, bude ti stačit ICU od IBM, které se dělá i v C (možná je to C++, nevím). A konec konců ty session variables by šly také napsat přímo v C, ale proč, když v Javě jsou to dva řádky, že? :-D
Josef Kufner avatar 1.9.2008 00:16 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: Vícejazyčná data v databázi
No, ono je okolo tohohle ještě dalších 30K řádků v PHP a MySQL, takže asi tak ;-)

Když jsem hledal jak v php vyrobit hodnoty do sloupečku pro řazení, zjistil jsem, že MySQL umí to co Oracle, jen se trochu bojím neefektivního indexování (ale to by se mohlo dohnat kešováním).

Ještě domyslet pár detailů a bude to stačit už jen napsat :-D
Hello world ! Segmentation fault (core dumped)
default avatar 7.9.2008 17:39 default | skóre: 22 | Madrid
Rozbalit Rozbalit vše Re: Vícejazyčná data v databázi
Nechceš udělat nějaký souhrn, jak jsi to vyřešil? Třeba by to mohlo někomu pomoci…
Josef Kufner avatar 7.9.2008 19:25 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: Vícejazyčná data v databázi
Jo, dám sem pak řešení, ale ještě to není hotové, takže nevím jak moc to bude fungovat. Musím okolo toho vytvořit několik dalších věcí, než to začne něco užitečného dělat ;-)
Hello world ! Segmentation fault (core dumped)

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.