Domáce AI OCRko... (diskuse)

[Want]

A?

Takhle nějaký vzoreček na ukázku by nebyl? Abychom měli představu z čeho co vykouzlí a kolik dalšího sraní to pak ještě bude vyžadovat.

Náš administrátor shledal tento komentář závadným.

provokatér

Zobrazit komentář

[Want]

Tupče, nemáš ani páru co takový postprocesing obnáší. Už jenom dvouslopcova sazba, případný perex či poznámky pod čarou s indexy, repetitivni název v záhlaví, čísla stránek v patě. Scan je tak 10% práce, úprava scanu 20%, OCR 30% ale pak dočistit bordel po OCR je zbytek, idiote!

Náš administrátor shledal tento komentář závadným.

provokatér

Zobrazit komentář

[Want]

Tak jsi přišel na svět možná tak ty na slovači. Ten předchozí příspěvek sice místo mne vložil někdo jiný, ale to nic nemění na tom, že to tak je.

[Miki]

HW poziadavky a nejaky benchmark voci Tesseractu by nebol?

[Max]

Používám OCRmyPDF s OCRmyPDF-web jako web iface pro uživatele. Vesměs spokojenost. Mám to tak hafec let. Každopádně by mně zajímalo, zda má smysl přechod z ocrmypdf (tedy tesseract) na něco jiného.
Nicméně koukám, že Ollama dostala podporu pro pdf před osmi dny. A je to postavené na Llama 3.2-Vision. Vypadá to na mnohem vyšší hw nároky a na mnohem menší podporu jazyků, něco jao 100 vs 8.
Z toho tedy usuzuji, že nasazení zatím nemá smysl.
Zdar Max

[Aleš Kapica]

Příloha:

• 1647_Hedvika_Kapica_svatba.jpg (119349 bytů)

Ale je to AI, tak to musí být určitě lepší, ne?

Pro mne to začne být zajímavé, až to zvládne i texty, jako je kupř. ten v příloze.

[jejda]

Jsem si až doteď myslel že jakžtakž umím číst. No nic. Zajímalo by mě, jestli za 500 let budou lidi z naší latinky stejně paf jak teď já z toho obrázku. Tipl bych si že nejspíš jo, protože to už se budou používat místo písma nějaké neuro-elektrické impulzy generované centrálním galaktickým supermozkem lidem přímo do hlav. Generování a šíření vlastních impulzů bude podléhat mučivým schvalovacím procesem, kterým nakonec projde jenom hrstka vyvolených. Autoři a distributoři myšlének které supermozek neschválí budou tvrdě stíháni. Vznikne podzemní rebelské hnutí, které bude používat ke komunikaci písmo podobné tomu z tvojeho obrázku. To bude pro supermozek nečitelné

[Aleš Kapica]

Běžný matriční záznam ze 17. století: 10. Junnius 1674 Joan Kurkowűts von [Li]ewiera, ein Wittiber mit Hedwig Capiczowna Won [J]omzowűtz beӳ Tarnowitz ein Wittib. Testis. Blaczech Kaluza. – link na originál.

Moje interpretace: 10.6.1674 [se oženil] Jan Kurkovic, z ?, vdovec (ein Wittiber) s (mit) Hedvikou, dcerou Kapicy (použití přípony -owna dokládá polský původ) z ? poblíž (bei) Tarnovic, vdovou (ein Wittib). Svědci (Testis) Plaček Kaluža.

Problém tohoto záznamu: Nejsem schopen blíže identifikovat obce ze kterých pocházeli. Tarnovice, od dob Jana Lucemburského patřící mezi země české koruny, jsou dnešní Tarnowskie Góry. V roce 1674 ještě pod legitimní vládou korunovaného (1656) českého krále Leopolda I. Habsburského. V oblasti, kterou si o 66 let později přivlastnilo Prusko (1740) a kterou roku 1922 rada Společnosti národů (takový předchůdce NATO, kde hrála prim Francie a Velká Británie) přiklepla obnovenému vazalskému Polsku, přestože si na ni brousilo zuby vazalské Československo (které by si tak interně vylepšilo poměr slovanů vůči germánům). Ale to je celkem fuk, protože dál do minulosti se už přes matriky stejně nedostanu. Starší záznamy (v češtině) (1654) jsou ještě stručnější. Který čech by se obtěžoval takovým detailem, jakým bylo jméno ženy 8-P, hlavně že to má datum.

Náš administrátor shledal tento komentář závadným.

provokatér

Zobrazit komentář

[Slovenský prejav]

My vám veď robíme láskavosť. Každý Pepík si musí denne zapindať a tak nemusí hľadať, rovno to má v diskusii. Také ABClinuxu by potrebovalo slovenského šéfredaktora, čo by tu nastolil poriadky a zmenil UI. To by ste blahom pindali od rána do noci.

[pwd123456]

:D díky!

[_]

nojo, to je skvělé - a jaké pořádky by tady měl nastolit? Máš nějakou představu co ti tady vadí, nebo chybí?

[Aleš Kapica]

Tak to si zřejmě ucvrnkneš štěstím, až tu po volbách zavládnou pořádky slovenského premiéra, když už ne tedy rovnou šéfredaktora. O přísloví „poturčenec horší turka” jsi slyšel?

[Rad]

mne by spis zajimalo, jak by si to poradilo se sepsanim seznamu knih na polici. treba: https://knihovna.utb.cz/wp-content/uploads/2020/10/knih_aktualita_rijen_2020.jpg

dostal jsem za ukol sepsat knizky, co ma doma nase babicka - je to nekolik set knizek, je docela sectela a cely zivot kupovala knizky. sepisovat je rucne je andlodsky vykon. tak jsem zkousel par OCR, ale byla to spis bida, nez uzitek, rucne prepisovat bylo rychlejsi.

[Aleš Kapica]

No. Bez ruční práce to nepůjde, ale zefektivnit asi jo.

Každá slušná kniha obsahuje tiráž. Pokud máš mobil, který alespoň trochu slušně fotí, tak ber jednu po druhé na nacvakej si do něj ty tiráže. ALE JEN TIRÁŽ – tzn. že na té fotce bude jen tisk a bílé pozadí.

Ber polici po polici, ale systematicky.

Až s tím budeš hotov, přesuň ty fotky do kompu a můžeš na to poštvat netpbm. Abys neřekl, tady máš kolonu, kterou na to můžeš použít:

~# ${JPEGTOPNM} ${SOURCE} | \
   ${PAMCUT} -left 150 -width 1 | \
   ${PAMTOPNM} | \
   ${PPMTOPGM} | \
   ${PGMTOPBM} -threshold -value 0.5 > /tmp/strip.pbm

A na ten hotový soubor /tmp/strip.pbm poštvi tesseract a výstup ulož do souboru, pojmenovaného stejně jako ten snímek tiráže, akorát s příponou .txt. Výchozí soubor (snímek) ti poskytne přes exif čas pořízení snímku, který pak můžeš do těch souborů přidat.

A máš v podstatě k dispozici vše k tomu, abys mohl vygenerovat katalog a k němu adekvátní štítky s QR kódy, kterýma pak olepíš hřbety, ev. titulní listy těch knih.

Jak jsem napsal hned úvodem. Bez ruční práce se to neobejde a každou z těch knih budeš muset vzít minimálně jednou do ruky. Ale pak, až to budeš mít v těch textových souborech, už půjde hodně věcí automatizovat.

[Rad]

ale ten tesseract (na prvni pohled) nevypada spatne. oznaceni hrbetu jednotlivych knih na fotce je sice taky vopruz, ale urcite mensi effort, nez je vytahovat a fotit jednotlive. diky za tip

[Aleš Kapica]

Ten čas je důležitý – pomůže ti setřídit ty soubory podle umístění knihy. Na konci police si cvakni třeba její číslo, nebo alespoň prázdný list. Pomůže ti to detekovat začátky a konce číselných řad.

A polepením je dobré pověřit nějakou pečlivou osobu, co nesere na to co dělá. Nemusí být moc chytrá ani zručná. Jenom by měla průběžně kontrolovat jestli lepí správný štítek do správné knihy.

[Rad]

diky za odpoved, ale to je presne ten postup, kteremu jsem se chtel vyvarovat: po jednom vytahovat knihy z policky, dokonce je otevirat!

moje predstava je spis takova, ze z jedne fotky jedne police se pomoci OCR precte nazev/autor (pokud tam je) a zanese do nejakeho csv, kery je pak pozdeji zpracovan scriptem, co vyhleda prislusne info ke knize z webu. tech polic je (okometricky) kolem 50, v kazde 20-40 knih (nekde dokonce ve dvou radach - no, tam se to vytahovat bude muset).

jsem odhadoval, ze jenom to foceni polic zabere jeden cely den, ne-li vikend (foceni, kontrola citelnosti, kontrastni upravy, doostrovani ... pripadne znovufoceni). a do toho nervozni babicka, ktera desne lpi na tech knizkach - jako pujcit pujci, s tim nema problem, ale prehrabavat se v nich, vytahovat, nebo dokonce riskovat, ze se vrati na jine misto, to fakt ne. (ja ji chapu - nektere knizky jsou pekne stare - i pres 100 let)

proto jsem byl zvedav na to AI, jak to eventualne zvlada precist ruzne fonty, ruzne orientovane.

takze ano, s tim naprosto souhlasim: ten cas je dulezity

[Aleš Kapica]

Tak to si počkej až cbrpnk natrénuje tu Ollamu. Obávám se však, že do té doby zemřeš úderem do hlavy o ten regál, když si přišlápneš vous, co ti za tu dobu vyraší 8-D

[RealJ]

ta tva predstava je stejne detinska jako kdyz muj 8 lety syn ma predstavu ze bude bydlet s nama i kdyz mu bude 30 let... prvni vec, ktera me napadne je ze muzes narazit na stejny nazev knizky u ruznych autoru nebo na knizky ktere maji na hrbetu uplny kulovy... dalsi vec - vyhleda si na webu prislusne info ke knize? Uz to mas naprogramovane, odladene? Nejsnadnejsi reseni je dat random studentovi brigadu za 500/1000 at ti nafoti kazdou knizku zepredu a k tomu stranku s isbn/informacemi o vydani... pak z tech fotek vyctes isbn a od toho uz najdes informace bez problemu. Nebo dej studentovi dalsi litr at ti to napise a doda vysledny csv s nejakym domluvenym % chyb. No a pokud jses kolenovrt...

[Rad]

koukam, ze hodne lidi ma problem s chapanim psaneho textu. bez urazky.

ale co je nepochopitelneho na tom, kdyz napisu, ze neni mozne travit dlouhy cas sbiranim dat a dalsi blocking je nemoznost (ve velkem) manipulace s knizkama?

mam uz odlazdenych (z jinych projektu) podobne scripty, jako vyhledavani duplicit v zaznamech, nejednoznacne zaznamy odlozit bokem na manualni zpracovani, vyhledavani informaci k zaznamu na webu (filmy, hudebni alba, ...)

jsem chtel jenom vedet (puvodni post), jak si stoji AI se ctenim textu atypickeho vzhledu a orientace. a tady, jak koukam, jsem narazil na hromadu lidi s kladivama (pro ktere je kazdy problem hrebikem)

[RealJ]

takze vse mas hotove a zajima te jenom srovnani AI s tesseractem? Protoze ten text ti precte i tesseract...

[podlesh]

ta tva predstava je stejne detinska jako kdyz muj 8 lety syn ma predstavu ze bude bydlet s nama i kdyz mu bude 30 let...

Aby ses nedivil, zrovna mama-hotel ve třiceti je dnes celkem běžná věc.

[RealJ]

Ano, u neschopnych lidi je to bezne… u idiotu je to trvale… normalni clovek u studia vs pracuje a vydela si na sve bydleni…

[Aleš Kapica]

Jaké si ty děti vychováš, takové je máš. Můj syn s nataženou tlapkou nechodí.

[RealJ]

Tvuj syn chape ze mu zanechas leda navod k diskless sendvicum…

[Aleš Kapica]

A pár nemovitostí k tomu Žako.

[Rad]

BTW: to uz radsi si sednout a nahlas cist nazvy knih do mobilu azvukove soubory pak prehnat pres nejaky text2speech tool.

akorat to by potrebovala nejakeho cloveka, co se mluvenim zivy, protoze cele hodiny cist (artikulovane, s durazem na cistotu vyslovovani), to by normalniho cloveka taky polozilo na lopatky (odrovnalo hlasivky).

[Aleš Kapica]

Ochraptíš u prvního regálu. Nehledě na to, že ten "text2speech tool" si také schroustne nějaký ten čas a výpočetní výkon. Já na taková nástroj čekal přes 20 let, protože nebyl kdo by to za nějaký obolus překepal na stroji. A ta kvalita stejně není nic moc a vyžaduje korekci.

Chceš knížecí radu?

Zapomeň na rychlá řešení a začni něco dělat. Půjde to pomalu, ale jistě. Když počítáš na jednu knihu optimistických 30 sekund, tak s tím zabiješ 7 člověkodní při počtu 20 tis. publikací, a tolik jich tvá babi za svůj život nenastřádala. To se vsadím. Sám jich vlastním odhadem něco do tisícovky, včetně knihovny co jsem zdědil po bratranci, co byl podobný knihomol jako já.

[iSteve]

Koukate na to moc linuxove.

Proste iPhonem pofotit hrbety knih na policce a pres airdrop hodit do Macu. Tam to (pripadne vyrotovat) a Preview dokaze selectnout text i z obrazku, neni treba nejaky ocr ci olamu, je to zapeceny v macOS primo.

Pak to jen pastuj do nejakyho dokumentu a pripadne nejakou chybku oprav pres spelling and grammar (zapeceny primo v macOS). Za hodinku to das.

ukazka

[Want]

Nedostatky tohoto řešení zmínil už Žako. Krom toho, tituly na hřbetu knih nejsou ani zdaleka samozřejmostí. Polovina knih co vlastním je nemá a mnoho jich ani nemá tiráž - samizdaty, archiválie, či hodně jeté rarity ulovené z antikvariátů.

Vím, že se opakuji, ale jsou oblasti na které AI nemá a nikdy mít nebude. Těžko ti najde knihu na základě pocitu a jen velice vágní vzpomínky na to co jsi kdysi dávno četl. Neví nic o tom, jak ra kniha byla velká, ani kde se přibližně ta pasáž nalézá. Takový Techický slovník Teyslerra Kotyšky má přes metr, ale také index. Ovšem mraky jiných knih nic takového nemají a přesto vím kde najdu založeno to co hledám.

[Rad]

reknu jednoduseji - mne nezajima, jak to nejde a proc to nejde.

svoji odpoved jsem jinak uz formuloval o neco drive (o par vstupu mahoru). ptal jsem se na konkretni vec. a o te, podle odpovedi, nikdo nema informace. to je tak tezke sam sobe priznat, ze neco nevite? to je fakt potreba svou neznalost maskovat mnozstvim vseobecne znamych plku? a nikomu to neprijde divne? jako fakt? (pro vysvetleni: basnicke otazky - nevyzadujici odpoved tazateli)

[Aleš Kapica]

reknu jednoduseji - mne nezajima, jak to nejde a proc to nejde.

Ale mělo by, příteli. Mělo by. Marně se neříká „dvakrát měř a jednou řež”. To máme u nás také jednoho takového, kterého to nezajímá, a pak se hrozně diví, kam až klesá priorita jeho požadavků.

[RealJ]

Je to vul, oskenuje polovinu knizek, vycuca mu to z niceho vsechny metadata z internetu ale vsichni tady jsou idioti...

[Rad]

ano, ten vul se zepta jaky je rozdil v chuti mezi staropramenem a starobrnem a "experti" se zacnou predhanet o vykladu procesu vyroby vrchne a spodne kvaseneho piva ...

teseract jsem neznal - kouknu se na to. jsem se ptal, jak zvlada to AI cteni ruznych fontu a ruzne stranove orientace. na to mi nikdo neodpovedel. hlavne, ze ja jsem vul.

[RealJ]

No jsi vul, protoze neumis pouzit ani google a seznam ti evidentne nic nenasel. Kdyby jsi pouzil google tak najdes okamzite tesseract a vymluvy o starobrne si nech, to pivo stoji stejne za hovno jako tvuj pruzkum… hlavne ze mas pry skripty na vsechno… pohadky stareho Izaka…

[Aleš Kapica]

Nemusíš se hnedka čertit. Tesseract není žádná AI, pracuje s hotovými modely které si musíš stáhnout, podle toho o jaký jazyk půjde. Umí zpracovat i frakturu, pokud máš ten správný model (tesseract-ocr-frk). Ale jsou prostě texty pro které žádný model není a nebude. Jako ten, který jsem uvedl.

K jejich vyluštění je totiž potřeba mraky jiných, zdánlivě nesouvisejících informací i jistou dávku intuice, kterou AI nemá.

[karkar]

ehm, tak já jako expert na pivo tvrdim, že staropramen jsou jen o něco lepší chcanky než starobrno. U těhle se nemá cenu bavit o chuti ani o kvašení.

[RealJ]

Ja ti nevim, rict o staropramenu ze je lepsi nez starobrno je stejne jako rict ze vcerejsi prujem mel lepsi konzistenci nez prujem pred tydnem… furt to stoji za hovno… chcanky proste nechlastat.

[hmmmw]

Já jen přispěji: https://xkcd.com/1319/

Aneb, kdybys hned začal sepisovat ručně. Už bys to dávno měl :D

[Aleš Kapica]

Dovolím si nesouhlasit. Vývoj vedl k tomu, že vzniknul whisker a bez toho bych dál a dál marně čekal na osobu, která by ty staré audio nahrávky překlepala do počítače.

[hmmmw]

Sám jsi to výše počítal, kolik to zabere času. Očividně to je problém, který už nějakou dobu odkládá. Kdyby neodkládal a ručně to sepsal, měl by hotovo, a nemusel by čekat, až vznikne nástroj, který to udělá sám...

Nechápu, proč se vždy stavíš proti všem do opozice.

[Aleš Kapica]

Nechápu, proč se vždy stavíš proti všem do opozice.

To se ti jen zdá. Já jsem spočítal, kolik by mu asi tak zabralo zpracování tiráží. A když jsem odpovídal, šlo primárně o bezprostřední reakci na ten jeho šílený nápad – „to uz radsi si sednout a nahlas cist nazvy knih do mobilu azvukove soubory pak prehnat pres nejaky text2speech tool. akorat to by potrebovala nejakeho cloveka, co se mluvenim zivy, protoze cele hodiny cist (artikulovane, s durazem na cistotu vyslovovani), to by normalniho cloveka taky polozilo na lopatky (odrovnalo hlasivky).”

Text → Oko → Mozek → Prsty

vs.

Text → Oko → Mozek → Huba → audio záznam. a následně, audio záznam → Ucho → Mozek → Prsty

Kterážto realizace je (nejenom) časově mnohem náročnější. Je to stejně praštěné řešení, jako nahrávání dění na terminálu ve formátu mp4.

[Bystroushaak]

ChatGPT 4.5 ti to dá i z téhle fotky focené na bramboru:

Na obrázku jsou viditelné následující knihy (některé názvy jsou částečně čitelné):

• Farmakologie
• Farmakoterapie vnitřních nemocí
• Barevný atlas farmakologie
• Mechanika zemin
• Úvod do informatiky
• Medicína
• Psychoterapeutické směry
• No vnímání umění
• Moderní fyziologie
• Společenský rozvoj
• Základy psychologie
• Klinická propedeutika
• Základy pediatrie
• Lékařská péče o dítě
• Anatomie člověka
• Chirurgie pro studenty medicíny

Další knihy nejsou kvůli úhlu či rozlišení jasně čitelné. Pokud potřebuješ informace o nějaké konkrétní knize, dej mi vědět!

API call stojí pár korun.

[Aleš Kapica]

Jako obvykle polopravda. A to, že se některé tituly nejspíš opakují, ani jejich se nedozvíš. Ale když jsem se na ti fotku kouknul zblízka, je vidět že ty knihy nějaké kódy mají. Co se takhle podívat, jestli se někde neválí kartotéka?

[jose17]

pip bez virtualneho environmentu? curl pipovany do shellu? ale no fuj!

[Tom.š Ze.le.in]

Když tady jsou rady k OCR, máte někdo radu jak zOCRkovat do latinky (slušně nafocené) těsnopisné deníky ze začátku minulého století? Česká soustava těsnopisu.

[Aleš Kapica]

Tady doporučují: „Řešením může být Tesseract který si ale musíš natrénovat.” Víc ti bohužel neporadím, protože tak do hloubky jsem s ním nikdy nedělal.

• Detecting Steganography
• steno is a personal project to digitize my stenographic writings

[Tom.š Ze.le.in]

Dík, ale sám natrénovat má drobný problém, nemám trénovací data, natož rozsáhlá (a jak tam píší, This is a big project).

Jinak stenografie a steganografie jsou něco trochu jiného. A česká a Duployer jsou taky jiné.

[Aleš Kapica]

Já vím. Však jsem to nenabízel jako hotové řešení. Na té odkazované stránce píšou kde je kámen úrazu. Máš jenomdvě možnosti. Buď to zkusit. Nebo vyhledat někoho kdo to za patřičný obnos přepíše do počítače.