Polemika: text retušovat nebo raději rozpoznávat?

23.7.2009 16:44 | Přečteno: 1447× | Mezi židlí a klávesnicí

V diskuzích k mému dvoudílnému článku o automatizovaném retušování digitalizovaných textů ([1], [2]) se Filip Jirsák opakovaně pozastavoval nad tím, proč rovnou nepoužít OCR, které retušování udělá také, a může ho udělat lépe. Již v diskuzi jsem zmínil, že mé zkušenosti s OCR nejsou velké, a nyní dodávám, že to málo, které mám, je poněkud rozpačité. Přesto mi to nakonec nedalo, abych jednu dvoustranu ze zpracovávaného dokumentu nezkusil procesem rozpoznávání textu prohnat.

Jestli jsem Filipovým poznámkám správně porozuměl, předmětem sporu jsou odstraňování šumu a šedého pozadí; ostatní úpravy jako odstranění černých okrajů, ořez a korekce sklonu se zdají být pochopitelné. Co se šumu týče, asi mělo být v článku více zdůrazněno, že filtr unpaperu je ve výchozím nastavení opravdu citlivě nastaven, tj. že odstraňuje prakticky pouze jednopixelové body, pokud zároveň v nejbližším okolí je jen velmi málo jiných bodů, takže i při relativně nízkém rozlišení skenovaných dokumentů a malém písmu skutečně nehrozí, že by filtr postihl interpunkci či podtržení. Samozřejmě je žádoucí si výsledek filtru na vzorku zkontrolovat a v případě potřeby upravit jeho intenzitu či jej úplně vypnout.
Odstraňování šedého pozadí možná byl v článku věnován mnohem větší prostor, než si ve skutečnosti zaslouží – pokládám za náhodu, že jsem se potkal se zvýšeným počtem knih, které rámečky se šedým pozadím používaly, jinde se s nimi asi v takové míře nesetkáte. Každopádně zde nelze mluvit o nějakém obecném retušování, naopak šlo o nastudování vzorku tohoto šumu a sepsání algoritmu přesně cíleného na jeho odstranění. Jak by v tom nějaké OCR mohlo být lepší?

A nyní k provedenému testu: nechal jsem zpracovat originální sken a retušovaný sken jedné dvoustrany obsahující mimo jiné i texty v šedých rámečcích. Jak dokazují přiložené snímky obrazovky, na textu v šedých rámečcích v originálním obrázku si OCR vylámalo zuby, za text označilo jenom části rámečků a písmena v nich nepoznalo správně. V retušovaných obrázcích mělo OCR u textů v rámečcích stejnou úspěšnost jako u jiného textu mimo rámeček. Co se běžného šumu týče, zde dávám Filipovi za pravdu, s tím OCR problém nemá.
Použité OCR bylo OmniPage 4.0 SE, což asi nebude žádný zázrak pod Sluncem, přesto to potvrzuje mou hypotézu, že retušování může OCR pomoci. I když třeba jiné OCR s vhodným profilem může uspět lépe (dokud neuvidím, neuvěřím), asi budu raději dál retušovat než-li ztrácet čas hledáním vhodného profilu.

       

Anketa

Obrázky

Komentáře

[#Tom]

Neretušovat a nerozpoznávat. Při použití velkoformátového snímacího zařízení se snáze dosáhne toho, že jsou stránky nasnímány rovně, nebo téměř rovně. Potom stačí stránky vhodně ořezat a rozřezat na levou a pravou. Stačí mi k tomu jen netpbm, na zakódování pak DJVU. S programem unpaper jsem před několika lety příliš spokojen nebyl. Škoda, že teď nemám zrovna nic, na čem bych jej opět vyzkoušel, možná se už zlepšil. Samotné rozpoznávání pak zavrhuju proto, že jej nemám čím provádět, navíc by posloužilo jen jako text pro prohledávání DJVU. A to zvládne i on-line služba any2djvu.

[Filip Jirsák]

Bylo by možné zveřejnit nějaké originály (300 nebo 600 DPI v odstínech šedi v TIFFu nebo PNG), a případně pak i upravené verze? Projel bych to OCRkem (OmniPage 16, což je poněkud méně preehistorický kousek), abychom mohli něco porovnat.

[Jiří Poláček]

Originály jsou černobílé v rozlišení 200 dpi, a prakticky celý popisovaný postup je založen na tomto faktu. Pokud by primárním úmyslem naší digitalizace bylo OCR, pak bychom možná preferovali jiné parametry skenování.

Nějaké skenované obrázky samozřejmě mohu poskytnout k vyzkoušení (jen co se po dovolené dostanu k datům).

[Filip Jirsák]

Originály jsou černobílé v rozlišení 200 dpi

Alespoň to, ať můžeme porovnat alespoň něco.

[Radovan Garabík]

Retušovať, potom rozpoznávať a rozpoznané uložiť ako vrstvu pod text - DJVU alebo PDF. My tak robíme, sprístupnili sme zopár oscannovaných kníh  a časopisov, tak som sa s tým kedysi dosť hral. Článok je na veľmi dobrej úrovni, škoda že nebol píaný pred pár rokmi, takto som si to všetko musel poobjavovať sám

 

Rozpoznávanie a použiitie textu bez grafickej verzie je nanič - chybovosť je ta jeden-dva znaky na riadok (dosť, ak ide o publikáciu, kde na znakoch záleží), ale hlavne hrozí veľké riziko zblbnutia rovníc, tabuliek, schém apod. Pre beletriu to nie je až také podstatné, pre vedeckú literatúru veľmi.

[Semo]

Suhlasim s tou beletriou. Cital som skenovaneho Maga od E.R.Feista a spojenie "princovi Borricovi" bolo obcas zapisane ako "princovi Romeovi". Po par stranach mi doslo, ze sa v deji neobjavila ziadna nova postava, iba OCR spolu so slovnikom uradovalo. Ale citat sa to dalo.

[Jiří Poláček]

Škoda, že jste to před těmi pár lety nesepsal sám, mohl jste mi ušetřit práci