Akože gramatický korektor

2.11.2005 02:40 | Přečteno: 1401× | Spracovanie jazyka

Pred zhruba mesiacom som reagoval na poznámku o tom aké by to bolo super mať aspoň jednoduchý gramatický korektor. Pôvodný autor v ňom zmieňoval, že by bolo fajn, keby to fungovalo aspoň pre tie javy, ktoré majú jasné pravidlá.

Takto reaguje väčšina programátorov (a im spriaznených duší), všetko okolo nás je jednoduché a každý tomu rozumie bez toho, aby o tom vedel niečo viac. A je úplne jedno, či sa jedná o lingvistiku, alebo dotácie v EÚ :) Moja reakcia sa vtedy snažila o akýsi popis toho, prečo to vlastne nie je také jednoduché. Napísal som však, že jediná vec, ktorá je jednoduchá je vokalizácia predložiek. Vec, ktorá je na prvý pohľad nesmierne jednoduchá, stačí sa pozrieť a určiť kedy sa má písať v/vo, z/zo, s/so, ... Neprozreteľne som napísal, že sa to dá napísať za jedno poobedie. Včera pršalo a dnes ráno tiež. Tak som sa do toho pustil.

Keďže som sa momentálne pripojil k projektu, ktorý sa zaoberá ovládaním autorádia pomocou hlasu, tak som to rovno využil aj na zoznámenie sa s novinkami (JDOM, Open Agent Architecture). Základom bolo preportovať knižnicu na prácu s hláskami (vedeli ste, že už toto nie je jednoznačné) a následne vytvoriť baseline, aby bolo následne s čím porovnávať.

ak to je vokalizovana predlozka potom
        vrat chybu
ak to nie vokalizovana predlozka potom
        vrat ze je to v poriadku

Keďže na mojich testovacích dátach (korpus Harry, milión slov) je tých chýb minimálne, tak by to v ideálnom prípade malo vrátiť, že je všetko OK. A kebyže o tom nič neviem, tak nasleduje šok. Prezentovaná metóda má úspešnosť okolo 89.9%, ak nerobíme s jazykom, tak to je slušné číslo. Ale v prirodzenom jazyku to má k použiteľnosti ešte ďaleko. A tak prepisujem nejaký pravidlá z múdrej knižky a pridávam pár svojich. Po pár hodinách (a remíze Artmedie) sa dostávame k presnosti 97.7%, ale stále mi tam zostáva okolo 500 prípadov, ktoré sú nesprávne. Kde-tu to je pravda, ale väčšinu z toho tvoria chyby. A tak pozerám a hľadám. A moja lingvistická intuícia dostáva na frak. Nedokážem určiť, čo je ešte spisovné a čo už nie. No nič, idem spať.

Celý balík (pod BSDL) pošlem na požiadanie, takto je to vhodné akurát tak pre niekoho, kto sa chce hrať. Ledaže by sa našiel niekto, kto by napísal rozhranie k OO.org. So skvalitnením pomôžem rád, s pridávaním do OO.org, či niečoho podobného len ťažko, keďže ich nepoužívam, takže by som z toho nemal žiaden osoh, a nemyslím si, že by ma to bavilo. Ale iniciatíve sa medze nekladú :) Ak máte nápady na nejaké podobné eazy lingvistické problémy, tak sem s nimi.

       

Komentáře