Konverzia slovníka Translator -> StarDict

29.5.2006 12:14 | Přečteno: 6256× | poslední úprava: 27.7.2007 21:27

Zápisek byl opraven, doplněn a vydán jako samostatný článek.

Úvod

Situácia na trhu s anglicko-českými elektronickými slovníkmi, ktoré fungujú pod Linuxom nie je príliš ružová. V oblasti komerčných slovníkov je to azda len firma Lingea, ktorá sa rozhodla nestrpčovať život užívateľom ne-MS systémov. Slovníky Lingea sú podľa môjho názoru kvalitné, no i dosť drahé. Free alternatívou je relatívne známa slovníková databáza GNU/FDL od Milana Svobody. Pre bežné použitie postačuje, ale náročnejší užívateľ môže prísť skrátka.

Čítajte prosím článok, informácie v tomto príspevku nie sú aktualizované.        

Komentáře

[Kníže Ignor]

Tak to je vskutku supercalifragilisticexpialidocious! Šlo by to použít i pro novější translator? Myslím, že mám 2003 nebo tak něco.

[jose17]

vyskúšajte a dajte vedieť

[Kníže Ignor]

To bych musel někde najít ta instalační CD, což bude problém od doby, co mám jen linux (2 roky) jsem do počítače žádné nehudební CD nedával, uvidím, jestli ho najdu

[alium]

Jakmile budu mít chvíli čas, tak vyzkouším převod Translatoru 2005. Pod wine to přece jen nějaké mouchy má a toto by bylo dobrým řešením... Takový slovník se vždy hodí

[miso]

Mozem sa opytat, aky je problem slovnika http://slovnik.zcu.cz/?
Mala slovna zasoba, alebo nepokryva niektore oblasti?

[jose17]

Mala slovna zasoba, alebo nepokryva niektore oblasti?

povedal by som aj aj. a navyše ešte chýba garancia správnosti prekladu. ale pre bežné/občasné použitie - myslím - postačuje.

[Milo Kmeť]

Mám Translator 2003, a pod wine sa mi ho ani raz nepodarilo rozbehať. Program ako taký beží, ale nemá žiadne dáta v Slovníkoch. Ako keby mal nejaké problémy s cestami. Treba ho nejak špeciálne prehovárať?

[jose17]

nemáte dáta v slovníkoch alebo ich len nevidíte? skúste dať vyhľadať nejaké heslo a potom 2x kliknite na biele miesto. ak sa vám v novom okne preklad zobrazí, máte ten istý problém ako ja s verziou 2001.

nakoniec som to vyriešil tak, že spustím translator (to rozhranie na preklad celých textov) a z neho potom slovník (F9) - ten už potom funguje dobre. skúste, snáď to pomôže.

[Milo Kmeť]

Díki moc za radu. Presne tak sa to správa, ako ste opísali. Takže už mám ako tak funkčný translator. Táto možnosť ma vôbec nenapadla, keďže stále som okrem slovníka (wdict32.exe) nič iné nepúšťal.

Idem skúsiť ten Váš postup, ak dačo veď sa ešte ozvem.

Apropo, tykajte mi :)

[belisarivs]

Mam 2005. Zatim mi to chroupe. Vypada to, ze to pojede, ale leze z toho soubor en-cz-distionary.txt ktery uz ma 100 mega a porad roste. ma to tak byt nebo je to zacyklene?

[belisarivs]

Vidimm tu jeste dva txt soubory. Czech.txt a english.txt. To je jako vysledny soubor kombinaci 1. x 2.? Ten en-cz-dictionary.txt uz ma 230 MB. Pokud je spravna moje teorie, to z toho vylezou dva soubory o velikosti filmu na CD? Jau. Ne ze bych nemel dostatek mista, ale to musi byt prece strasne pomale, ne? Jesti to bude OK tak budu v sedmem nebi.

Mimochodem, slo by nejak adaptovat tento program na pouziti te databaze? http://www.penguin.cz/~pindur/trn/man.htm

Je to slovnik pro terminal. Nyslim, ze je to celkem uzitecne. Umi to vyuzivat primo databazi PC Translatoru. Bohuzel ne novejsi verze.

[belisarivs]

Sakris. Ten soubor uz ma 1,6 GB. Fakt to neni nejak zacyklene?

[Mikos]

Tenhle thread se mi líbí, to je napínavější než přímý přenos z nějakého sportovního utkání Jen pokračuj v reportech

[Mikos]

Jinak mohli bychom taky začít uzavírat sázky na jaké velikosti ten soubor skončí Typuju si že skončí po zaplnění celého disku Ale bez sázek to není ono

[belisarivs]

Spatne. Na 3,2 GB jsem to zrusil. Ja to sem psal protoze jsem doufal, ze mi na to nekdo odpovi, tak at ma podrobnejsi informace. Nemas nejakou malilinko rypavou naladu?

[Kníže Ignor]

A už zbývalo jenom 100 MB, ty jsi ale pakoš...

[Pavel Stárek]

njn nevydržel

[belisarivs]

Dobry vtip. Ten skript by to pak zkusil prohnat prez awk a iconv, ktere by to neprecetly, protoze je moc velky. Viz. chybove hlaseni.

[Milo Kmeť]

Sa stihol odzálohovať veľmi skoro. Ani som ho nestihol skopírovať. Tak som to skúsil druhý krát ale s watch -n 1 cp ANCS.TXT /tmp/ancs.txt a on má nakoniec len 22 MB - anglický.

[belisarivs]

No jo. Ale to jsi na zacatku cesty. Pak to musis nehrat k tomu rozbalenemu skriptu, ten trochu upravit (anebo binarku tabfile nahrat do /usr/bin) a spustit. U me mel ten anglicky soubor velikost 23 MB. Ale behem behu tho skriptu se vytvoril jiny, ktery tak narostl.

[Milo Kmeť]

Jaaaj, sorry, No ja som práve na jednom giga, a vážne uvažujem o tom, že to stopnem.

[Milo Kmeť]

Jaaaj, sorry, No ja som práve na jednom giga, a vážne uvažujem o tom, že to stopnem.

[belisarivs]

A pouzivas UTF-8, co? Tak ho nepouzivej (aspon na dobu generovani toho slovniku). Mne to nenarostlo vic nez na 25 MB pote co jsem se prepnul na 1so8859-2. Moje rekordy s UTF si na teto strance muzete lehce vyhledat.

A nakonec jeste jedna vec. Do adresare ~/.stardict/dic nakopiruj vsechny soubory s priponou ifo, idx a dict.dz.

Jo a pred spustenim toho skriptu se ujisti, ze encs.txt ma na konci prazdny radek. Zjist si co je nad nim za posledni slovo a tim pak nahrad v tom pythonackem skriptu slovo "zyma" (nebo tak nejak, proste po "z" ma "y").

Spust sktipt a melo by to slapat. A pak nezapomen jeste zeditovat ty soubory jak bylo popsano vyse.

[jose17]

spomínané problémy by mali byť vychytané v novšej verzii skriptu (viď update príspevku). ak máte čas/chuť, prosím otestujte ho a dajte vedieť, či to pomohlo. díky

[Michal Vyskočil]

No nevím, čtvrtfinále i semifinále na MS v hokeji mi přišli trochu zajímavější

[jose17]

nestačí Ti spomínaný terminálový slovník sdcv? navyše ten je ešte stále aktívne vyvíjaný: last update 2006-04-24 oproti 13. January 1999.

[belisarivs]

Je tam nejaka chyba. Ten soubor neustale roste a pak to awk a iconv neni schopen pro velikost precist.
Kdyz jsem to na 3,2 BG velikosti generovaneho souboru prerusil, tak jsem dostal tohle chybove hlaseni:

Traceback (most recent call last):
File "merge_dict.py", line 17, in ?
cz="\t"+cz
KeyboardInterrupt
Vytvaram slovnikove udaje pre cesko-anglicky slovnik...
awk: cannot open en-cz-dictionary.txt (File too large)
iconv: cannot open input file `en-cz-dictionary.txt': File too large
Vytvaram data pre stardict slovnik (cz-en)...
./create_dict.sh: line 14: tabfile: command not found
Vytvaram data pre stardict slovnik (en-cz)...
./create_dict.sh: line 16: tabfile: command not found

Takze ten skript taky nepocita s tim, ze tu binarku tabfile mam jenom v tom adresari se skriptem (ale v navodu to tusim zmineno nebylo).

[jose17]

moc sa všetkým ospravedlňujem za problémy. asi som mal naozaj napísať, že pokiaľ veľkosť slovníkových dát prekročí rozumnú hranicu (neviem, koľko to môže pri najnovšej verzii translatora byť, ale hodnoty nad 200 MB už sa mi zdajú príliš) je vhodné skript zrušiť a hľadať príčinu.

tí, ktorí ste sa dívali na tie skripty, ste určite pochopili, že nie som žiaden kódový čistopisec a že nejaké tie Základy programovania(tm) by sa mi iste hodili. Vskutku som dúfal, že sa nájde niekto, komu sa zapáči koncept a celé to prepíše. Ale OK.

Navrhujem, aby ste sa mrkli na ten python skript, predovšetkým na to, kedy sa končí načítavanie súboru. Pôvodne som chcel napísať niečo ako while EOF do.. bohužiaľ ale neviem ako to v pythone urobiť. Takže je tam podmienka na nájdenie posledného slova (zyme). Mrknite sa do vášho súboru ancs.txt, či tam vôbec toto slovíčko nájdete.

Rovnako by mohol pomôct aj výstup tail pre tie stále rastúce súbory.

[belisarivs]

Jasne. No, ja pythonista nejsem, ale mrknu na to. Snad to bude aspon trochu podobne Cecku.

Tak jsem se koukal, tak posledni slovo je u me "zymurgy". ale tim to prece byt nemuze, ne? Maximalne by to zkoncilo spis a nasledujici slova by se tam proste nenahodila.

[jose17]

skuste zyme zmenim na zymurgy a ak to nepomoze poslite tail toho suboru.

[belisarivs]

"cat en-cz-dictionary.txt | tail" vyhaze hodne radku s textem "dumm".

A kdyz dam "cat en-cz-dictionary.txt", tak vystup je neco radku, ktere vypadaji asi takhle.

dumm aZ�aSiaCh chyb�n� o�n� �o�kyCh GCh Ch
dumm aZ�aSiaWCh bez o�n� �o�kyCh GCh Ch "
dumm aZ�aSiSCh bez o�n� �o�kyCh GCh Ch #
dumm aZ�aUiaCh neschopnost polykatCh GCh Ch
dumm aZ�aU�ZraaiaCh porucha polyk�n�Ch Ch A Ch
dumm aZ�aViaCh oko bez �o�kyCh GCh Ch

Nechapu ty znaky. Pouzivam UTF-8 a v terminalu mi ceske znaky taky slapou.

Ale mozna to tak ma byt.

[jose17]

dumm, resp. dummy[:-1] tam celkom určite byť nemá. zaujímalo by ma ako vyzerá head. každopádne vyzerá to, že zlyháva táto podmienka: if cz[:1]=="\t". to, že k jej naplneniu nedôjde môže mať podľa môjho názoru 3 príčiny:

• tabulátor je v utf-8 inak ako "\t"?
• v novej verzii bol zmenený formát slovníkových dát (resp. ich zálohy)
• nezarovnaný koniec súboru (to len tak strieľam, ale skúste sa pozrieť na koniec ancs.txt, odstráňte podozrivé/prázdne riadky).

hmm.. nejak sa nám to zamotáva

[belisarivs]

Soubor konci prazdnym radkem a kazdy radek konci smesici znaku a mezer. ma to tak byt?

[belisarivs]

Nemate ICQ nebo jeste lepe jabber? belisarivs@njs.netlab.cz

[Milo Kmeť]

Celé toto riešenie má ešte jednu chybyčku krásy. Že slovníky sú česko - slovenské. Keďže neviem spisovne po česky, niektoré výrazy mi občas robí problém nájsť.

Mám pocit, že Translator to nejak prekladá EN -> CZ -> SK a naopak. Neskúšali ste spraviť slovensko-anglický? Myslím, si, že počet slov by mal byť zachovaný.

[Milo Kmeť]

Sorry, ale nejak vláčim prst to touchpade tak, že klikám dva krát :(

[Michal Vyskočil]

opraveno

[jose17]

aby som pravdu priznal, nerozumiem obsahu vašeho príspevku. aké slovníky sú česko--slovenské? myslíte tým, že aktuálna verzia Translatora používa slovník, ktorý obsahuje 3 jazyky (cz/sk/cudzí)?

čo vám môžem napísať rovno je to, že skript, tak ako je napísaný bude mať pravdepodobne problémy so slovensko-... slovníkom alebo iným slovníkom, ktorý používa písmeno "ä" a "Ä". tento znak je totiž použitý pre špeciálny účel. momentálne je to napísané skutočne veľmi nešikovne, skúsim to "unormálniť".

[Milo Kmeť]

V práci máme zakúpený Translator 2003, ktorý obsahuje slovníky: anglický, nemecký, francúzsky, španielsky, ruský, maďarský, český, slovenský.

Translator dokáže prekladať medzi jednotlivými jazykmi (teda aspoň myslím). Skúšal som preklady Slovenčina do iných jazykov vrátane českého.

Keď však pozerám názvy súborov, tak sú csfr.*, cssp.*, frcs.* encs.*, ancs.*. Slovníky, ktoré napovedajú prítomnosť slovenčiny sú len slcs.*. Z toho usudzujem, že Translator pracuje s češtinou ako s hlavným jazykom, kotrý používa pri prekladoch do iných jazykov.

Keď si nájdem viac času, skúsim to lepšie preskúmať a nájsť tam nejaké rozumné väzby, ktoré by sa dali použiť. Keď som však dal odzálohovať česko-slovenský slovník, bol veľký len 5 MB, čo sa mi nejak nezdá dostatočná slovná zásoba v porovnaní s česko-anglickým slovníkom, ktorý má 22 MB.

[belisarivs]

No, slovenstina je AFAIK v podstate upravena cestina, tedy mnoho slov spolu sdili.

Takze treba v tom slovniku jsou podchycena slova, ktera jsou vylozene odlisna.

Naprostou vetsinu toho, co jsem ted napsal, pochopite bez pouziti slovniku i bez hlubsi znalosti ceskeho jazyka. Tak proc byste potereboval slovnik, ktery bude prekladat ceske slovo do v podstate stejneho slovenskeho slova?

Mezi anglictinou a cestinou je oproti tomu rozdil v podstate diametralni.
Proto musi mit i dany slovnik podstatne vetsi slovni zasobu.

[Milo Kmeť]

Áno tomu plne rozumiem. Len nájsť kľúče bude potom zložitejšie... Ale nejak sa s tým hádam vysporiadam.

[belisarivs]

Jestli muzu poradit, http://dicts.info/uddl.php

Nahore vyberte jazyky a ztahnete (musite to udelat 2, pro EN->SK a SK->EN).

pak ty programy prozente programem sed:

sed -e "s/\(^[^\t]*\t[^\t]*\).*/\1/" EN-SKgenerovany.txt > EN-SK-novy.txt

a to same i pro opacny preklad.

Pak ztahnete skript, ktery byl zminen nahore (clanek byl rozsiren) a prozente jim ty dva nove soubory.

Databaze asi nebude kdovi jak velka, ale lepsi jak dratem do oka.

Pripadne to udelejte z cestionu a mate SK-CZ slovnik a naucite se aspon jeden "cizi" jazyk.

[jose17]

ak su vsetky subory vo formate subory cs* usudzujem, ze sa bude jednat o cesku verziu pc translatora. nemyslim si, ze dokaze prelozit slovo zo slovenciny do ineho nez ceskeho jazyka. pre slovensko-* verziu doporucujem pozriet sa na stranky teosu. sposob konvertovania databaze by mal byt ten isty.

[jose17]

je to odskúšané. ak chcete databázu anglicko-slovenských slov, potrebujete pc translator sk. jose

[Mikos]

Tak jsem přišel na to, že žádné čachry-machry s undelete utilitama není vubec potřeba dělat, ty vygenerované soubory ancszal.{15,25,35,45,55} jsou totiž prochobyčejně zagzipované! Takže stačí udělat toto:

zcat ancszal.{15,25,35,45,55} > ancs.txt

A máte zpátky nekomprimovanou podobu

[Mikos]

A ještě jeden detail - mělo by tam být uvedeno, že by člověk měl mít nainstalovanou také utilitku dictzip. Protože tabfile se po provedení své práce automaticky snaží zavolat dictzip, aby slovník zkomprimoval. Pokud dictzip není přítomen, pokus selže, slovník zůstane nezkomprimován a zabírá pak zbytečně mnohonásobně více místa.

[Mikos]

Jo a ona utilitka dictzip je standardně součástí balíčku dictd (teda pokud to ve vaší distribuci sami nerozdělují).

[trancelius]

Ten *.TXT soubor není potřeba nějak rychle odchytit, stačí na něj otevřít file descriptor v době, kdy vzniká (času je dost)... třeba open("LACS.TXT") v pythonu. Wine potom smaže jen odkaz na soubor (jeho jméno), data zůstanou chráněna a soubor půjde přečíst (buď zase v pythonu, nebo třeba přes /proc).

[jose17]

dík, ale toto je už vyriešené (ctrl-f zcat). jose

[trancelius]

alternativy... :)