Dotaz: ocr titluků z filmu

[jejda]

Ahojte! Jak přečíst z titulky z filmu který je má natvrdo vypálené do obrazu? Našel jsem na netu program videocr no nedaří se mi to rozchodit. Tesseract nainstalovaný mám. Podle návodu jsem vytvořil soubor example.py

from videocr import get_subtitles

if __name__ == '__main__':  # This check is mandatory for Windows.
    print(get_subtitles('video.mp4', lang='chi_sim+eng', sim_threshold=70, conf_threshold=65))

Přijde mi trochu ujeté že ten název souboru a jazyk, v tom musí být natvrdo zadrátovaní. Takto když to spustím vyhodí to pochopitelně error že "video.mp4" neexistuje. Bylo potřeba to upravit na

from videocr import get_subtitles

if __name__ == '__main__':  # This check is mandatory for Windows.
    print(get_subtitles('/tmp/video', lang='slk+eng', sim_threshold=70, conf_threshold=65))

Kde soubor /tmp/video je symlink na soubor s filmem a jazyk titulků je slovenský, proto slk+eng. Když se to pustí tak CPU jede naplno a v tempu to vytváří soubory jako například:

/tmp/tess_w45fo6y7
/tmp/tess_w45fo6y7.PNG
/tmp/tess_w45fo6y7.tsv
/tmp/tess_2dz6zzki
/tmp/tess_2dz6zzki.PNG
/tmp/tess_2dz6zzki.tsv

Takže se asi něco děje, ale bohužel ten program nedává žádný výstup ani po hodině. Není tu nějaký pythonista co by pomohl? Nebo neexistuje nějaký jinačí způsob jak vygrabovat z takto zmršeného hardsubed filmu obyčejné srt textové titulky?

---

---

Odpovědi

[Jendа]

1) import sys; get_subtitles(sys.argv[1], lang=sys.argv[2])

2) ten zdroják není dlouhý, to bys mohl zvládnout oddebugovat… Pro začátek bych si přidal debug print do funkce _image_to_data.

[jejda]

To asi nezvládnu. Já nejsu programátor. Dokážu tak maximálne sesmolit nějaký jednoduchý shell skript v bashi. Python vůbec. Nepředpokládám že by v tom programu měli nějakou zásadní chybu, jenom v tom readme chybí návod pro blbce jako jsem já, jak to vůbec spustit. Jsem to nainstaloval pomocí

pip install videocr

a snažím se to spustit jako:

python example.py

[NN]

Co takto example.py:

from videocr import get_subtitles

save_subtitles_to_file('video.mp4', file_path='subtitle.srt', lang='slk', time_start='0:00', time_end='')

Podivej se do ~/tessdata zda se stahnula slovenstina..

[jejda]

To vyhodí chybu

python example.py
Traceback (most recent call last):
  File "example.py", line 3, in module
    save_subtitles_to_file('video.mp4', file_path='subtitle.srt', lang='slk', time_start='0:00', time_end='')
NameError: name 'save_subtitles_to_file' is not defined

Zkoušel jsem "video.mp4" nahradit "/tmp/video", ale chyba je stejná. Nevím jestli to chápu dobře ale to save_subtitles_to_file je funkce ta by se potom ale měla nějak zavolat ne? A v těch kulatých závorkách se velice nic neděje, akorát se tam definujou proměnné? A soubor ~/tessdata/slk.traineddata tu je. Má asi 14MB.

[Aleš Kapica]

Pokud tomu dobře rozumím, máš soubory s příponou .tsv, což je nějaký kontejner s videem, který má v sobě titulky.

Jelikož je to jeden soubor, domníváš se, že jsou natvrdo vypálené v obraze. Ale tak to není! Natvrdo to měly některá starší videa. Tohle bylo evidentně ripnuté z nějakého DVD (napovídá tomu suffix – přípona). Proto musíš v prvé řadě zjistit co to je. A možností je několik:

ffprobe -i cesta/k/souboru_videa

nebo můžeš použít nejprve příkaz:

file -s cesta/k/souboru

…který ti vykecá co to je.

Taky bys měl vědět, že nejsou titulky jako titulky. V kontejneru mohou být titulky buď jako TEXT, nebo jako OBRÁZKY.

Pokud jsou uloženy jako obrázky, je třeba stopu s titulkama vyexportovat (soubory .sub a .idx) a teprve na tyto vyexportované soubory lze použít utilitu vobsub2srt, která ty obrázky postupně kuchá, dělá OCR a výsledek zapisuje do .srt souboru.

[Aleš Kapica]

A pokud by to byl ten případ, kdy jsou titulky skutečně vypálené v obraze, existuje také řešení, ale není jednoduché.

Nejprve bys musel všechny snímky z videa vyexportovat jako PNG obrázky, ty potom přežvýkat skriptem tak, aby vše co má jinou barvu než je bílá barva titulků černé a pak ponechat vždy první a poslední (jejich čísla pak použiješ pro nastavení časování), prohnat přes tesseract do TXT souboru a dořešit přes textový editor.

[LarryL]

vyexportovat jako PNG obrázky

To se mi nezdá, že by v 21. století se to muselo dělat takto manuálně. Videocr má v popisu napsáno "Extract hardcoded (burned-in) subtitles" a pokud by videocr nefungoval, tak fakt není žádný jiný OCR, který to umí automaticky bez nějakého exportování PNG?

[Aleš Kapica]

… fakt není žádný jiný OCR, který to umí automaticky bez nějakého exportování PNG?

KAŽDÝ to exportuje do PNG, jenom se ty soubory průběžně při zpracování zahazují. Takže je docela dobře možné, že videocr má v sobě zadrátované přesně to co jsem popsal. Tj. že vytahuje z původního snímku jen to co je bílé do nového, na který pak pustí OCR engine.

[jejda]

Nene ty soubory v /tmp s příponou tsv a png vytváří právě až ten spuštěný videocr. Soubor s videem je obyčejný avi, ten titulky jako samostatnou stopu v kontejneru myslím vůbec neumí. Jsou natvrdo vypálené v obraze.

A ten videocr se spouští pythoním skriptem který si musí sám uživatel nějak dodělat. A to bohužel vůbec nedávám.

[Aleš Kapica]

A co takhle sem nakopírovat výstup těch dvou příkazů co jsem ti napsal?

[jejda]

Může být, ale nic užitečného tam není

$ file -s /mnt/disk2/temp/video.avi
/mnt/disk2/temp/video.avi: RIFF (little-endian) data, AVI, 1280 x 720, >30 fps, video:, audio: (stereo, 44100 Hz)

$ ffprobe -i /mnt/disk2/temp/video.avi
Input #0, avi, from '/mnt/disk2/temp/video.avi':
  Metadata:
    encoder         : Lavf58.45.100
  Duration: 01:08:28.10, start: 0.000000, bitrate: 1428 kb/s
    Stream #0:0: Video: h264 (High) (avc1 / 0x31637661), yuv420p(progressive), 1280x720 [SAR 1:1 DAR 16:9], 1282 kb/s, 48 fps, 24 tbr, 48 tbn, 48 tbc
    Stream #0:1: Audio: aac (LC) ([255][0][0][0] / 0x00FF), 44100 Hz, stereo, fltp, 128 kb/s

[Aleš Kapica]

Užitečného je v tom to, že jsme se z toho dozvěděli že TOHLE video (video.avi) žádnou stopu s titulkama nemá. Takže pokud to má titulky, jsou skutečně součástí těch snímků a musíš postupovat jak jsem napsal. Teda pokud to ten videocr nemá nějak implementované.

[kol-ouch]

Kdysi to nějak uměl avidemux - ale je to asi 1000 let co jsem to zkoušel

[Aleš Kapica]

Uměl, ale už neumí. Zrovna v pondělí jsem řešil něco podobného, proto jsem se do toho vložil.

[LarryL]

Do téhle diskuze jsem mrkl, že by se mi to taky někdy mohlo hodit a jak se dívám tak třeba na AURu i Ubuntu je SW Subtitle Ripper for Linux který používá GOCR. Vypadá to, že se nic doprogramovávat nemusí, ale jestli je to lepší než videocr nevím.

Pokud na Linuxu nic dobrého nebude, tak jestli není jednodušší použít nějaký program pro Windows (ve Wine nebo VM Win). Zdá se že třeba SubRip je jen klikačka, kde pomáháš rozpoznávat nečitelné znaky.

[Aleš Kapica]

Jo. Jenomže to všechno počítá s tím, že jsou titulky uvedené jako samostatná stopa, nikoliv jako integrální součást obrazu. Teda, alespoň si to myslím.

[LarryL]

Minimálně u těch pro Win je uvedeno "hardcoded subtitles from videos" což podle mne není myšleno jako samostatný soubor v kontejneru.

[jejda]

Přílohy:

• ss2.png (427537 bytů)
• ss2.png (427537 bytů)

Tak jsem zjistil, že mám nějak nemocný tesseract. Udělal jsem png screenshot (v příloze) a tesseract ho nepřečte.

$ tesseract /tmp/ss2.png stdout -l slk
Warning: Invalid resolution 0 dpi. Using 70 instead.
Estimating resolution as 481








F 'rĺ"d/
isom.sa jej všetko
a pĺqg%čo ÉAČT eh

k

tu bude asi zakopaný pes.

[Aleš Kapica]

Není nemocný. Musíš udělat to co jsem ti napsal - ponechat jenom bílou barvu a všechny ostatní zahodit (změnit na černou)

[Peter Golis]

Myslím že v tomto prípade bude pre neprogramátora lacnejšie a rýchlejšie ten film zakúpiť na médiu kde dané titulky nebudú súčasřou obrazovej stopy.

Ostatne už aj prastaré DVD Video malo samostatné stopy s titulkami, i keď obrázkovými. A na tie sa dal v pohode poštvať vobsub2srt ktorý zavolal tesseract pre správnu jazykovú voľbu (diakritiku).

[Aleš Kapica]

Google + "Replacing Multiple specific color to the specified color" a pár sekund?

Napsat skript s jednoduchou smyčkou, která zkombinuje export obrázku, konverzi a ocr není zas takový problém. Alespoň se při tom něco naučí.

[Peter Golis]

Mať ten film v trafike za 3€, tak si to kúpim. Ostatne podľa rozlíšenia 1280 x 720 to vyzerá že niekto pred nedávnom grabol DVD do AVI (h264) a zle zaklikol titulky. A na DVD máš samostatnú stopu pre titulky, takže ju človek vie skonvertovať na text aj bez použitia Big Brother (Google).

[jejda]

Příloha:

• ss2bw.png (2958 bytů)

HM to taky nebude ono

$ convert /tmp/ss2.png -threshold 90% - | tesseract stdin stdout -l slk
Warning: Invalid resolution 0 dpi. Using 70 instead.

zkoušel jsem různě měnit --dpi ale bez úspěchu.

[jejda]

Ha mám to!

$ convert /tmp/ss2.png -threshold 90% -channel RGB -negate - | tesseract stdin stdout -l slk
Warning: Invalid resolution 0 dpi. Using 70 instead.
Estimating resolution as 362
Snažil som sa jej všetko
vysvetliť a pozri, čo sa stalo.

takže tesseract funguje! Ale je to docela magie a nevím jestli s tím ten program videocr počítá.

[jejda]

To vypadá, že nikde nic hotovýho funkčního neexistuje. Tak jsem se do toho pustil sám. Zatím z toho sice nelezou bezchybné srt titulky, ale už se jim to trochu začíná podobat . Ten výstup se musí nějak přeparsovat. Občas je tam bordýlek. Zatím jsem nevymyslel jak na to. Taky jsem zjistil, že tesseract má docela potíže číst světlé písmo na tmavém pozadí. Proto se mu ty barvy musí převrátit. S bílýma titulkama je to v pohodě, se žlutýma už je to horší. Docela fajn vychytávka je ustřihnout pryč vrchní polovinu obrazu, tesseract se potom nesnaží číst loga televizních stanic a hodně se mu to čtení zlepší.

#!/bin/bash
video="$1"
jazyk=ces
if not [ -s "$1" ]; then exit 1; fi
delka=$(ffprobe -i "$video" -v error -select_streams v:0 \
    -show_entries stream=duration -of default=noprint_wrappers=1:nokey=1 | \
    cut -d. -f1)

pocitadlo() {
hh=$(echo "$f/3600" | bc)
mm=$(echo "($f-$hh*3600)/60" | bc)
ss=$(echo "$f-$hh*3600-$mm*60" | bc)
if [ $hh -lt 10 ]; then hh=0$hh; fi
if [ $mm -lt 10 ]; then mm=0$mm; fi
if [ $ss -lt 10 ]; then ss=0$ss; fi
cas="$hh:$mm:$ss"
}

f=0
while [ $f -lt $delka ]; do
pocitadlo
f=$((f+1))
#echo $cas
titulek=$(ffmpeg -ss $cas -i "$video" -an -sn -vf "crop=iw:ih/2:0:ih" \
       -vframes 1 -f image2pipe - 2> /dev/null |
       convert - -threshold 90% -channel RGB -negate - |
       tesseract stdin stdout -l $jazyk 2> /dev/null |
       grep [[:graph:]])
if [ -n "$titulek" ]; then printf "%s\n%s\n\n" "$cas" "$titulek"; fi
done

[Aleš Kapica]

Šikula!

[Jendа]

Taky pomáhá nastavit správně DPI.

Žlutá/whatever se dá opravit pomocí convert -level 5,50%, to udělá ze všeho nad polovinu intenzity bílou.

[jarek163]

Toto téma mě velice zajímá. Ale jako BFU z toho moc nepobírám. Nemohl by jsi prosím na toto téma zpracovat malý článek - tutoriál? Děkuji předem...

[Aleš Kapica]

To máš těžké. Pokud jsi nepobral tuhle diskuzi, tak by ti byl zřejmě houby platný.

[LarryL]

Ze zvědavosti jsem zkusil SubRip z výše uvedeného odkazu. Funguje ve Wine, pouze jsem musel doinstalovat K-Lite_Codec_Pack, AviSynth a podstrčit dgdecode.dll a vyzkoušel jsem na souboru Avi. Vypadá to, že to něco dělá, ale je to jako v tom videu výše co jsem odkazoval - uživatel musí pořád doplňovat znaky, takže by možná bylo rychlejší to přepsat ručně . Problém je v tom, že vycuclé písmo je kostrbaté a OCR má problém s rozpoznáváním jednotlivých znaků. Zkoušel jsem měnit různě nastavení, ale bez valného výsledku. ABBYY FineReader, který by v tom asi měl být lepší se mi ve Wine rozjet nepodařilo a do VM se mi to instalovat nechtělo. Takže pokud nemáš odpor k win programům ve Wine nebo VM, tak můžeš zkoušet další prográmky z toho odkazu výše.

Otázka je jestli se jejdovi s videocr a tesseracte podaří dosáhnout lepšího výsledku aniž by musel každé 5. slovo opravovat.

[gvwww]

Hele co se týče hardsubu, skvělý je VideoSubFinder: https://sourceforge.net/projects/videosubfinder/files/

[LarryL]

JJ, ten je v tom odkazu taky zmiňovaný.

[Drew]

Jen dodám, že aby to ve wine fungovalo, je třeba nainstalovat (nejjednodušeji skrze winetricks ) součást windows jméněm "vcrun2017" - a pak jsem teda ještě skrze winecfg nastavil jako nativní dll knihovny msvcp140 vcruntime140 a nastavil windows na win 10, ale nejsme si jist, zda ty poslední kroky josu nutné, protože jsem je vyzkoušel předtím, než jsem nainstalovat ten vcrun2017, po němž to začalo běžet (A teď to spokojeně dešifruje). Celé to zkouším na ubuntu 18.04.

[Drew]

Hlavně je tedy asi dobré použít 32bit verzi programu, 64bit mi pořád padala.

[jejda]

Příloha:

• ss3.png (353444 bytů)

Trochu si s tím zkouším hrát, ale proměnit žlutou na bílou se mi moc nedaří. Takový typický obrázek se kterým jsou potíže jsem dal do přílohy. Pro lidské oko je to krásně čitelné, no tesseract si hraje na slepýho.

[Jendа]

Jo, máš pravdu, zachovává si to saturaci.

Jedna možnost je nahradit to jako barvu

convert 245077-ss3-7829814832695538012.png -fuzz 15% -fill white -opaque "#edd341" out.png

(nalezeno zadáním imagemagick convert replace color do gůglu), druhá je to udělat na černobílém obrázku

convert 245077-ss3-7829814832695538012.png -grayscale Rec709Luminance -level 5,50% out.png