Jak snadněji stahovat hry a četbu z Českého rozhlasu

5.3.2023 00:29 | Přečteno: 2043× | poslední úprava: 13.7. 14:53

UPDATE: nyní to funguje jednoduše pomocí yt-dlp, viz tento issue, takže stačí v řádku zadat yt-dlp URL_PORADU_NA_rozhlas.cz (poradí si i s vícedílnými pořady, viz komentáře).

Z webu českého rozhlasu si již nějakou dobou stahuji obsah pomocí rozšíření do prohlížeče VideoDownloadHelper. Bohužel se obsah stále častěji streamuje pomocí protokolu DASH v XML verzi, který není tímto rozšířením zatím podporován. Stále ale funguje stahování ručně, k čemuž jsem si napsal malý skript.

Nejprve je pomocí vývojářských nástrojů potřeba zjistit adresu manifestu, což je popsáno zde.

V případě, že je souborů na stránce více je lze všecchny zkopírovat postupem zde, což spočívá v zásadě na tom, že vývojářské nástroje běží v okně, pak se spustí vývojářské okno (CTRL+SHIFT+I) na toto okno a do konzole se napíše:

copy(UI.panels.network.networkLogView.dataGrid.rootNode().flatNodes.map(n => n.request().url()).join('\n'))

Samotný skript (uložil jsem si ho jako stahni_rozhlas.sh) je pak takovýto:

#!/bin/bash
for i in ./*
  do COUNTER=0
  sed -i '/^$/d' "$i" # odstraní případné prázné řádky na konci souboru
  name=$( tail -n 1 "$i" ) # Jméno adresáře a souborů z posledního řádku souboru
  mkdir "$name"
  while IFS= read -r line || [ -n "$line" ] # přečte soubor řádku po řádce
    do
      if [[ $line == *.mpd ]] # stahujeme jen manifesty
        then let COUNTER=COUNTER+1
        echo "$line"
        printf -v COUNTER_dec '%02d' $COUNTER # soubory číslujeme vždy dvěma číslicemi
        yt-dlp $line -o "$name"/"$COUNTER_dec"_"$name".m4a
      fi
  done < "$i"
done

Předpokládá, že bude spuštěn v adresáři, kde jsou pouze soubory následující struktury:

https://croaod.cz/stream/b00ffa1f-90c1-4f56-8a31-f185325f606e.m4a/manifest.mpd
https://croaod.cz/stream/ac2e5f60-295f-4d24-8641-0f52f623b4cb.m4a/manifest.mpd
https://croaod.cz/stream/87d6504d-e8e6-4cd2-bdf5-d29b8b06fcde.m4a/manifest.mpd
https://croaod.cz/stream/f7a34e65-680d-49c8-bd1c-474450546284.m4a/manifest.mpd
https://croaod.cz/stream/ed0f47af-a475-4b9a-a2a2-cb259aee7496.m4a/manifest.mpd
Osudy Jana Vlasáka

Poslední řádek je název adresáře, kam budou jednotlivé díly staženy do stejnojmených souborů očíslovaných vepředu dvěma číslicemi od 01. Všechny ostatní řádky jsou pak odkazy na manifesty jednotlivých dílů. Očekává se, že jsou popořadě.

 

Doufám, že VDH se tento typ stahování brzo naučí, otázal jsem se na to.

       

Komentáře

[Gréta]

něco podobnýho se tady už jednou řešilo hele :O ;D

[TechnikTom]

Jenže ten tehdejší skript fungoval na původní verzi prezentace na rozhlas.cz.

A to perfektně řešil i ten Video Downloadhelper.

Ale teď skoro vše převedli na jiný způsob a už to tak lehce nefunguje.

Proto dík za tenhle příspěvek.

I když pořád zůstává ten opruz se získáním URL jednotlivých dílů.

[Max]

Já si v podobném duchu napsal srcipt na stažení cca 200 rozhovorů "Příběhy 21. století" kvůli offline možnosti poslechu na zahraničních cestách. Jedním scriptem jsem si vytahal url, druhým to postahoval.
Oni ty záznamy mají všude, google, spotify, irozhlas, takže to bylo celkem jednoduché.
Zdar Max

[TechnikTom]

Jenže to je právě už "stará vesta".

Nové pořady takhle snadno nestáhnete.

[Samgarr]

ffmpeg ma demuxer pro HLS, staci pustit na spravny playlist:

ffmpeg -i "https://croaod.cz/stream/83478896-a9a9-4bf3-9b53-261cdff893ef.m4a/playlist.m3u8" cro_track.mp3

[Samgarr]

A odkaz ziskam pres API.

[Drew]

No a máte program, kterému lze předhodit url a on stáhne všechno audio, které na dané url je, a ještě to nějak smysluplně pojmenuje?

[panveverka]

Dobrý den, mohl byste, prosím, poskytnout ukázkový příklad na to, jak získávat odkaz pomocí API např. pro toto: https://vltava.rozhlas.cz/maxim-gorkij-mestaci-ze-zivota-vazene-rodiny-v-predvecer-zasadnich-spolecenskych-8985267

Děkuji mockrát! PV

[Mayhem]

Je tam neco nelevicoveho, co by slo poslouchat? Obavam se, ze ne.

[prace slechti]

Levice neni problem,problem jsou levicaci!

[Drew]

To je nějaký bot? Je tam třeba hra od Shakespeara.

[Dajaaaa]

ty jsi problem pičo hlupá.

[TechnikTom]

Ten způsob přes ffmpeg asi funguje, ale v mém případě Lubuntu 16 ffmpeg hlásí nějaký zmatek v knihovnách, tak jsem hledal jinou cestu a mělo by to jít i bez něj.

Jen mi jsou bližší spíš mikropočítače a assembler, tak než vyplodím nějaký script pro zpracování webové stránky, co to zvládne automaticky, tak to bude chvíli trvat.

Možná tu je někdo ,pro koho to bude záležitost na 5 minut a bude mít chuť to zkusit.

Můj plánovaný postup by měl být následující:

1. Ve zdrojovém kódu stránky najít řetězec: "part":"číslo dílu" - tedy pro 11. díl "part":"11" a číslo dílu si uložit

2. V bezprostředně následujícím kódu najít a uložit řetězec od "http" do "m4a" včetně.

3. Z tohoto řetězce odstranit obrácená lomítka a slovo "stream" nahradit slovem "download"

4. Pomocí GET a získaného odkazu stáhnout a pojmenovat číslem dílu audiosoubor. Formát m4a mobil normálně přehraje, tak bych to ani nepřeváděl na mp3.

5. Pokračovat bodem 1 až na konec stránky.

Ideálně na vstupu scriptu zadat URL seriálu a požadované pojmenování dílů.

A seriál se zveřejňuje postupně třeba měsíc, tam mít ošetřeno, že daný díl již může být v cílovém adresáři obsažen díky předchozímu stažení.

Tak k tomu tak nějak směřuji, až budu mít výsledek, hodím ho sem.

[TechnikTom]

Tak jsem slepil ( doslova ) nějaký funkční skript, kdyby někdo potřeboval.

Asi je to hrozné, ale nikdy jsem něco podobného nepsal a ani se tím nehodlám v budoucnu moc zabývat, ale funguje.

Soubory se ukládají do adresáře, ve kterém se to spustí, na vstupu se zadá URL stránky příslušného seriálu a název ukládaných souborů. Na konec názvu je automaticky doplněno číslo příslušného dílu.

Díly již dříve uložené se přeskakují.

#!/bin/bash echo

# Funkce pro získání řetězce mezi dvěma řetězci

get_string_between() {

start_str=$1

end_str=$2

input_str=$3

result=$(echo "$input_str" | awk -v a="$start_str" -v b="$end_str" 'BEGIN{FS=a} {split($2, parts, b); print parts[1]}')

echo "$result"

}

# Získání URL seriálu a názvu

read -p "Zadejte URL seriálu: " url

read -p "Zadejte název seriálu: " series_name

# Stažení obsahu URL adresy

echo

echo

echo

echo "Stahování obsahu URL adresy: $url ..."

echo

echo

echo

# Načtení stránky

page_content=$(curl -s "$url")

# Získání odkazů na audio soubory

audio_link=$(echo "$page_content" | grep -oE '"part"[^ ]*mpd')

#echo "RAW odkaz na audio soubor:"

#echo "$audio_link"

# Úprava odkazů pro stažení - odstranění zpětných lomítek a výměna "stream" za "download"

audio_link=$(echo "$audio_link" | sed -e 's/\\//g' -e 's/stream/download/g')

#echo "Upravený odkaz pro stažení:"

#echo "$audio_link"

readarray -t links_array <<< "$audio_link"

echo "----------------------------------------------------------"

# Procházení řádků s odkazy

for ((i=0; i<${#links_array[@]}; i++)); do

#echo ${links_array[$i]}

# Vyseparování čísla dílu

part_str='"part":"'

part=$(get_string_between "$part_str" '"' "${links_array[$i]}")

#echo "Číslo dílu: $part"

# Vyseparování odkazu na soubor

link=$(get_string_between "https" "m4a" "${links_array[$i]}")

odkaz="https"$link"m4a"

echo "$odkaz"

# vytvoření názvu ukládaného souboru s číslem dílu

# Pokud je číslo dílu menší než 10, vlož na začátek nulu kvůli řazení při přehrávání. Taky přidáme příponu

if [ $(( $part )) -lt 10 ]; then

new_filename="${series_name} 0$part.m4a"

else

new_filename="${series_name} $part.m4a"

fi

echo "$new_filename"

# Kontrola jestli již soubor existuje a pokud ne, tak jeho stažení

if [ -e "$new_filename" ]; then

echo "Soubor již existuje"

else

echo "Stahuji"

curl ${odkaz} -o "$new_filename"

#curl ${links_array[$i]} -o "$new_filename"

fi

echo "----------------------------------------------------------"

done

echo

echo

echo

echo "Stahování dokončeno."

echo

echo

echo

[TechnikTom]

Jelikož ty místní tagy "code" mi rozhodily formátování,

tak při následné úpravě se mi podařilo dostat příkaz "echo" do prvního řádku,

což je samozřejmě špatně a skript při spuštění nadává.

Na jiném PC s novějším OS mi funguje i ffmpeg, tak tady je modifikace části kódu pro uložení do mp3, ale je to znatelně pomalejší.

if [ $(( $part )) -lt 10 ]; then

new_filename="${series_name} 0$part.mp3"

else

new_filename="${series_name} $part.mp3"

fi

echo "$new_filename"

# Kontrola jestli již soubor existuje a pokud ne, tak jeho stažení

if [ -e "$new_filename" ]; then

echo "Soubor již existuje"

else

echo "Stahuji"


ffmpeg -v quiet -stats -i "${odkaz}" "$new_filename"

[Drew]

To je nějaké moc složité. Stačí použít yt-dlp. Já si větinou věci stahuji jednou za týden, vytvořím si dva soubory ep1 a ep2, do jednoho naskládám url, kde není více dílů, do druhého, kde je více dílů, a pak mám dva skripty, cr1 a cr2:

Když není více dílů:

#!/bin/sh
IFS=$'
'
list=`cat $1`
#echo "$list"
for item in $list
do
  yt-dlp -c --replace-in-metadata 'title,uploader,playlist' ':' ' -' "$item"
done

Když je více dílů (uloží se do společného adresáře)

#!/bin/sh
IFS=$'
'
list=`cat $1`
#echo "$list"
for item in $list
do
  yt-dlp -c --replace-in-metadata 'title,uploader,playlist' ':' ' -' -o '%(playlist)s/%(playlist_index)s - %(title)s.%(ext)s' "$item"
done

Skripty říkají yt-dlp, aby přemazala metadata, pak používám easytag, který umí velmi jednodue hromadně vyplnit metadata tak, aby tag name odpovídal názvu souboru (včetně očíslování) - to se pak hodí pro přehrávání v přehrávači antennapod na Androidu.