yt2txt

6.10. 18:46 | Přečteno: 3030× | poslední úprava: 7.10. 07:57

Dost často se mi stává že narazím na youtube na video které mě sice tématicky zajímá, ale bohužel autorův verbální projev je natolik uširvoucí a celkově neposlouchatelný že musím video vypnout. Nezřídka bývají taky videa "obohacená" o otravnou muziku na pozadí, rychlé vizuální střihy, stroboskopické efekty a podobné zvrácenosti. Vyrůstal jsem v dobách kdy lidi na obrazovce měli jakžtakž kultivovaný projev a nehodlám se sebetrýznit dnešním audiovizuálním fástfůdem.

Youtube má naštěstí funkci která dokáže poměrně úspěšně převést to nesrozumitelné geglání a drmolení na titulky. Tyto se dají stáhnout samostatně pomocí yt-dlp. Stačí potom titulky nějak převést na okem čitelný text. Text ti nediktuje tempo, nevnucuje emoce, dá se snadno prohledávat, nezabírá stovky megabajtů místa. Je veliký rozdíl v tom jestli přečteš za pět minut text nebo jsi nucen hodinu trpět jak zvíře u videa.

Přikládám jednoduchý shell skript který jsem si na toto sestrojil. Zkusil jsem ho dovybavit anglickýma komentářema kdyby se to náhodou dostalo do ruky někomu kdo neumí česky.

#!/bin/sh
# this script using yt-dlp and xmllint to convert
# youtube video to readable plain text file
# Usage: sh yt2txt.sh video_id

lang=cs   # set prefered language
id=$1

if [ $(echo $id | wc -c) -ne 12 ]; then
    echo "invalid video id!"
    exit 1
fi

if yt-dlp --list-subs $id 2>&1 | grep -wq "(Original)"; then
dir=$HOME/yt2txt/$(date +%s)-$id
mkdir -p $dir && cd $dir
yt-dlp --ignore-config \
       --ignore-errors \
       --write-subs \
       --sub-langs all,-live_chat \
       --sub-format srv1 \
       --skip-download \
       --output "%(id)s" $id

# download auto generated/translated version
# if regular subtitles not available.
if ! ls -1 | grep -q "\.$lang"; then
# if you get HTTP Error 429 then try increase
# --sleep-subtitles to 30 seconds or more.
yt-dlp --ignore-config \
       --ignore-errors \
       --write-auto-subs \
       --sleep-subtitles 2 \
       --sub-langs .*-orig,$lang \
       --sub-format srv1 \
       --skip-download \
       --output "%(id)s-auto" $id
fi

# convert xml to readable text.
for i in *.srv1; do
    if [ -f "$i" ]; then
        xmllint --xpath '//text()' "$i" |
        sed 's/&[^;]*;//g;/^$/d' |
        tr -s '\n' ' ' | fold -sw70 > $(basename "$i" srv1)txt
        rm "$i"
    fi
done

# open result or run filemanager
s=$(ls -1 $dir | grep "\.$lang" | head -n1)
if [ -f "$s" ]; then
    less $s
else
    xdg-open $dir
fi

else
    echo "video $id have no subtitles!"
fi

Pokud by i přesto všecko vznikal problém získat z textu srozumitelnou informaci, dal by se teoreticky výstupní textový soubor předhodit AI aby ho předžvýkala do stravitelné podoby. Ale toto jsem zatím nezkoušel.        

Komentáře

[jejda]

Příloha:

• yt2txt.sh (1445 bytů)

Nevímproč se při vkládání nějak rozbil ten sed regex. Mezi & a [ zmizel text amp. Vložím ten skript rači do souboru jako přílohu. Nevíte někdo jak to opravit?

[prd@z.brd]

https://notegpt.io/

[jejda]

No webík mají pěkný ale už u druhého videa na mě vybafnul nepřeskočitelný login.

[Pendrekama do nich❗]

altman má kromě tohodlenc taky hele tamto ňáký lokální whisper.cpp na předělávání mluvenýho slova na text (STT), češtinu to prej jakštakš dává :O ;D

[jejda]

Dík. Zkusil jsem tomu pokusně předhodit celkem mizerný zvuk z tohoto videa a výsledek mě příjemně překvapil. Chyby tam jsou ale čekal jsem že to bude horší. Samotný youtube u podobně mizerných kvalit ani titulky nenabízí. Jenom by to mohlo být trochu rychlejší. Louská to ten text zhruba dvakrát pomaleji než je délka záznamu.

[Pendrekama do nich❗]

by to mohlo být trochu rychlejší

sry, sem ti sem strčila vodkaz na vobyčejnej whisper :D

whisper.cpp je hele přepis tamtoho original whisperu z pythonu do c++, takže to asi jako muže bejt votrošku rychlejší :O ;D

[jejda]

Tak jsem s tím trochu poexperimentoval a zjistil jsem, že ta rychlost není závislá od toho jestli použiju pythoní whisper nebo whisper.cpp ale daleko víc záleží na tom jaký model se načte. Čim větší model tím použitelnější výsledky to dává ale o to je to pomalejší. Model large-v3-turbo mi přišel jako rozumný kompromis. Původně mi ale vlastně vůbec nešlo o to převádět v domácích podmínkách zvuk na text. To vyžaduje mít hodně nabušené železo. Účel tu toho zápisku v blogu bylo ukázat, že si člověk může celkem jednoduše stáhnout předpřipravené youtube titulky a upravit si je do čitelné podoby bez nutnosti zakládat si accounty na různých pochybných webech třetích stran nebo nedejbože někomu za to platit. Hotové řešení má smysl začít hledat až když člověk po několika pokusech zjistí že zadání nezvládne vyřešit vlastníma silama.

[Peter Golis]

Ak chceš niečo lokálne, tak napríklad:

flatpak search SpeechNote

Akurát to má postprocessing ktorý to preženie filtrom beletrie, a vyjde z toho (...)

[jakpak?]

zsh: command not found: flatpak