tv-dl - stahovač ČT iVysílání a Nova Voyo

7.6.2011 21:18 | Přečteno: 20065× | poslední úprava: 13.6.2011 16:00

Nova-dl se za tu dobu už docela proflákl, dokonce dostal i GUI. Ale pořád to umělo jenom Novu...

Nový ČT iVysílání je teď taky RTMP-pozitivní, a další televize asi taky, takže jsem se rozhodl to celý předělat, aby to bylo tak nějak modulární. Narozdíl od svýho přechůdce je v Pythonu 3. Rtmpdump používá normálně z PATH, už je snad v každé distribuci. Další televize (Prima a Barrandov - nevím, jestli to k něčemu bude, ale bylo to jako feature request u nova-dl, tak asi jo) přibudou časem.

Kód je na GitHubu.

EDIT: minimální verze Pythonu je 3.2 (kvůli modulu argparse)

       

Komentáře

[kotyz]

Potvrzuju funkčnost s voyo.cz i s ivysilani čt, stáhnul sem pro testovací účely kriminálku anděl a černé ovce. S rtmpdumpem 2.3 z repozitáře extra v arch linuxu.

Tak honem, stahujte, testujte a pište připomínky!

[dnes]

File "cli.py", line 6 SyntaxError: invalid syntax

[pavlix]

U programů, které ostatním fungují je potřeba uvádět přesnou verzi kompilátoru/interpretu, aby to vůbec mohl někdo vyzkoušet.

[dnes]

Python 2.7.1

[pavlix]

Díky, Limoto na to určitě koukne, že? :)

[Limoto]

Jak píšu, je to na Python 3. Ale když dám na druhou řádku

#-*- coding: utf-8 -*-

tak mi to na 2.7.1 funguje. Nebo se to aspoň spustí...

[chrono]

Funguje to aj s Python 2.7.

[GeBu]

Díkes. Jinak velice užitečný by byl modul pro Show Jana Krause.

[Limoto]

Hmm, tam je pěkně naprd, že to je všecko napatlaný na jedné stránce a v normálním archivu Primy Kraus není. Ale podívám se na to...

[chrono]

Môžeš vyskúšať nasledujúci skript. Ako parameter to potrebuje adresu stránky video archívu, takže to bude niečo ako sjk.py "http://www.iprima.cz/showjanakrause/videoarchiv-leden-unor-2011"

Nič sa tam netestuje, takže je veľmi veľa možností, prečo to nemusí fungovať (každopádne "mne to funguje" (tm))

#!/usr/bin/env python

import re
import sys
import urllib2

def download_file(url, referer=None):
	req = urllib2.Request(url)
	if referer is not None:
		req.add_header('Referer', referer)
	f = urllib2.urlopen(req)
	return f.read()

page_url = sys.argv[1]

page = download_file(page_url)
items = [re.split(r'\',\s*\'', item.group(1)) for item in re.finditer(r'LiveboxPlayer\.init\(\'([^)]+)\'\)', page)]
if len(items) == 0:
	sys.exit(1)

script = download_file('http://embed.livebox.cz/iprima/player.js', page_url)
rtmp = re.search(r"stream: '(rtmp://iprima.livebox.cz/iprima_token\?auth=_any_\|\d+\|[0-9a-f]+)',", script).group(1)

for item in items:
	print "%s\n\tLQ: %s/%s\n\tHQ: %s/%s\n" % (item[6] if len(item) > 6 else '???', rtmp, item[4], rtmp, item[3])

[GeBu]

Nefunguje :(.

[chrono]

To "nefunguje" sa prejavuje ako?

[GeBu]

Vypíše to:

./sjk.sh "http://www.iprima.cz/showjanakrause/videoarchiv-leden-unor-2011"

2011/02/25 23:00:00

LQ: rtmp://iprima.livebox.cz/iprima_token?auth=_any_|1307565202|99c6f0360abf18d40e0e837124003709bcd5bf67/Kraus-201026-4739_LQ.flv

HQ: rtmp://iprima.livebox.cz/iprima_token?auth=_any_|1307565202|99c6f0360abf18d40e0e837124003709bcd5bf67/Kraus-201026-4739_HQ.flv

2011/02/25 11:00:00

LQ: rtmp://iprima.livebox.cz/iprima_token?auth=_any_|1307565202|99c6f0360abf18d40e0e837124003709bcd5bf67/KrausCut-202726-2383592_LQ.flv

HQ: rtmp://iprima.livebox.cz/iprima_token?auth=_any_|1307565202|99c6f0360abf18d40e0e837124003709bcd5bf67/KrausCut-202726-2383592_HQ.flv

[GeBu]

Aha, to nebyla odpověď pro mne na stažení, ale na vyseparování videí :).

[chrono]

tv-dl nepodporuje získanie viacerých videí z jednej stránky, takže momentálne sa z toho kódu nedá urobiť modul pre ten program (teda dá, ale fungovalo by to len s prvým videom na každej stránke).

[Limoto]

Je to tam.

[BitCoinUser]

ludia nemate nieco na tahanie videoarchivu Show Jana Krause?

[xm]

Já od té doby co mi přestalo fungovat nova-dl (novější verzi jsem nějak nesháněl) a také co jsem potřeboval stahovat z archivu Primy používám český YouTube Downloader pod Wine. Podporuje toho obrovskou hromadu (jak českých tak zahraničních video serverů a televizí, včetně porno serverů ).

Je to také opensource (ovšem napsáno je to v Pascalu/Delphi), tak se tam můžeš inspirovat při psaní modulů pro jiné servery (hlavně tu Primu! ). Osobně bych se v tomto případě (kvůli SSH) velmi rád zbavil závislosti na GUI programu a navíc pod Wine, fuj (byť tedy funguje pod ním bezchybně, to zas né že ne).

[gtz]

ovšem napsáno je to v Pascalu/Delphi

škoda, že není podporován Linux. Autor by to mohl naportovat pro Lazarus.

[Nicky726]

Tvořím PKGBUILD pro Arch, ale nedaří se mi upravit zdroják, aby načítal "enginy" z /usr/share/tv-dl. Myslel jsem že bude stačit následující sed (na cli.py ~ tv-dl):

sed -i -e "s/.\/engines/\/usr\/share\/tv-dl/"

ovšem stěžuje si to na:

File "/usr/bin/tv-dl", line 20, in import_engines
    m = __import__("engines.{}".format(file[:-3]) )
ImportError: No module named engines.nova

A zde už má intuice selhává. Poradí někdo?

[chrono]

Skús tam pridať sys.path.insert(0, "/usr/share/tv-dl")

[Nicky726]

Kam přesně? Na začátku souboru u sys.path.append ani před inkriminovaným řádkem to nemá vliv.

[chrono]

Ja osobne by som tie súbory dal do adresára /usr/share/tv-dl/engines (aby to bolo prehľadné aj v prípade, ak by sa tam neskôr dali aj iné súbory).

Potom by sa v tom cli zmenilo

sys.path.append(os.getcwd())

na

sys.path.append('/usr/share/tv-dl')

a

files = os.listdir('./engines')

na

files = os.listdir('/usr/share/tv-dl/engines')

[Nicky726]

Díkes, takto už to funguje.

PKGBUILD pro Arch Linux je dostupný v AURu.

[J. M.]

Díky moc. Instalace na mém Archu bez problému, právě stahuju video z archivu ČT a jede to na první pokus.

[J. M.]

Ale na druhý pokus... Funguje to s výchozím pojmenováním souboru. Ale volba -o mi nefunguje. Např:

tv-dl -o Udalosti.flv http://www.ceskatelevize.cz/ivysilani/1097181328-udalosti/211411000100608/

Traceback (most recent call last):
  File "/usr/bin/tv-dl", line 67, in <module>
    main()
  File "/usr/bin/tv-dl", line 50, in main
    d[1] = args.output
TypeError: 'tuple' object does not support item assignment

Mám něco rozbitého, nebo je problém jinde?

[chrono]

Problém je priamo v cli.py. :)

[Limoto]

Fixed

[fettgesicht]

Co by prosím mohlo znamenat toto? Connecting ... INFO: Connected... ERROR: rtmp server sent error ERROR: rtmp server requested closeDíky.

[fettgesicht]

Ježiš, co jsem s tím zase provedl? Takhle jsem to chtěl:

Connecting ...
INFO: Connected...
ERROR: rtmp server sent error
ERROR: rtmp server requested close

[Limoto]

Co když to spustíš s volbou -g?

[Limoto]

Aha, ČT změnila RTMP URL a zase to rtmpdump neumí rozparsovat... Opraveno.

[kotyz]

Jen aby ho neměnili každej tejden ...

[fettgesicht]

Už to funguje, díky člověče!

[pavlix]

Hlásím bug... když si udělám symlink /home/pavlix/bin/tv-dl na cli.py v jiném adresáři, tak si skript nenajde engines.

[Limoto]

Jo vidíš, na tohle jsem zapoměl...

[Limoto]

Opraveno.

[Stan]

Zdravím, donadávna mi tenhle prográmek fungoval naprosto bezchybně. Nyní ale ať se snažím, jak chci, ne a ne něco stáhnout. Nevíte někdo čím to?

st@n:~$ python3.2 /media/DATA/Programy/Limoto-tv-dl-3d8c378/tv-dl http://www.ceskatelevize.cz/ivysilani/10090925908-vsechnoparty/211522161600025/
Traceback (most recent call last):
  File "/media/DATA/Programy/Limoto-tv-dl-3d8c378/tv-dl", line 85, in < module >
    main()
  File "/media/DATA/Programy/Limoto-tv-dl-3d8c378/tv-dl", line 33, in main
    import_engines()
  File "/media/DATA/Programy/Limoto-tv-dl-3d8c378/tv-dl", line 23, in import_engines
    m = __import__("engines.{}".format(file[:-3]) )
  File "/media/DATA/Programy/Limoto-tv-dl-3d8c378/engines/ct.py", line 9, in < module >
    import re,os.path, urllib.request, urllib.parse, json, http.cookiejar
ImportError: No module named urllib.request

st@n:~$ /media/DATA/Programy/Limoto-tv-dl-3d8c378/tv-dl http://www.ceskatelevize.cz/ivysilani/10090925908-vsechnoparty/211522161600025/
bash: /media/DATA/Programy/Limoto-tv-dl-3d8c378/tv-dl: Operace zamítnuta

st@n:~$ sudo /media/DATA/Programy/Limoto-tv-dl-3d8c378/tv-dl http://www.ceskatelevize.cz/ivysilani/10090925908-vsechnoparty/211522161600025/
sudo: unable to execute /media/DATA/Programy/Limoto-tv-dl-3d8c378/tv-dl: Operace zamítnuta

[vmonkey]

Jednoznačně ti chybí oprávnění spuštění souboru ->

sudo chmod 777 /media/DATA/Programy/Limoto-tv-dl-3d8c378/tv-dl

a pak by to už mělo jet.

[Stan]

To bylo způsobené spouštěním ze špatně namontovaného disku. To je ale vedlejší. Hlavní problém byl v prvním chybovém výpisu. ImportError: No module named urllib.request Nakonec pomohla instalace poslední verze Pythonu (3.2.2)

[ch-in-A]

tedko to na VOYO nejak zmenili a "forbidden" .... vcera jsem musel sledovat ozaka pres flash :(

jinak ten program tv-dl je supr!

[ch-in-A]

herdek, tak zase nejaka zmena na VOYO, co stim porat stelujou :(

rtmp://wcdn61.nacevi.cz:80/nova-vod?id=YWJhZDJlfGwjNjUzN2UyMXVxfDU=
Traceback (most recent call last):
  File "./tv-dl", line 88, in module
    main()
  File "./tv-dl", line 46, in main
    d = e.download(args.quality, args.movie)
  File "/mnt/data/video/Limoto-tv-dl-3778960/engines/nova.py", line 60, in download
    playpath = e.find('url').text
AttributeError: 'NoneType' object has no attribute 'find'

[Limoto]

Funguje to teď na aktuální verzi?

[fettgesicht]

Já to mám taky nějaký rozbitý, ale asi mám nějakou starší verzi:

Traceback (most recent call last):
  File "/usr/bin/tv-dl", line 71, in module>
    main()
  File "/usr/bin/tv-dl", line 31, in main
    e = get_engine(args.URL)[2](args.URL)
  File "/usr/share/tv-dl/engines/ct.py", line 38, in __init__
    self.page = urlopen(url).read().decode('utf-8')
UnicodeDecodeError: 'utf8' codec can't decode byte 0xec in position 46698: invalid continuation byte

Před tím "module" jsem umázl stříšku doleva, bralo ji to jako tag. Museli něco někde změnit, nedávno to ještě fungovalo.

[Sonic X]

Bude tento skript ještě chodit? Dá se s tím obejít i trapný MS Silverlight? Díky

[skame]

Mohol by si sa prosim ta pozriet co zmenila ceskatelevize, pretoze to hadze chybu 403, treba to asi upravit ako http://www.abclinuxu.cz/blog/pb/2012/2/ctstream-5-aneb-html5-podle-apple#17. diky

[Kamik]

Zdravim upravil by si prosim ta engin nova.py ktory funguje na voyo.cz aby to slapalo na voyo.sk. Snazil som sa to upravit ale hazde mi to chybu 'Není k dispozici žádná kvalita videa' hned na 29 riadku.

[Tomas]

Jelikož jsem nenašel aktuálnější české fórum ke skriptu tv-dl, tak bych si dovolil oživit toto téma s otázkou, zda lze začít nahrávání nějakého pořadu až od nějakého časového intervalu - tedy ne o začátku, ale třeba až od 20. minuty, nebo nějakého procenta? Některé pořady jsou dlouhé, tak proč stahovat všechno, že?

[Pev]

Nevím, jak u ostatních pořadů, ale u české televize jde (nevím, zda vždy) o tzv. LIVE vysílání a u toho rtmpdump (pomocí kterého tv-dl stahuje) nepodporuje seek .

[Ladislav Nešněra]

asi u různých archivů rozdíly opravdu budou. Stáhnout jen výsek videa se mi podařilo u cyklu Proč chudoba, ale neuspěl jsem u 3 plus 1 s Miroslavem Donutilem. V druhém případě se mi sice stáhla zvolená část, ale VLC mi přehrálo jen zvuk (ale možná by tomu šlo ještě nějak "domluvit").

tv-dl jsem spustil s parametrem -v, což vypíše, jak je volán prográmek rtmpdump. V něm jsem pak nahradil parametr --live za --start a --stop. (přímé volání rtmpdump se mi osvědčilo při navázání přerušeného stahování. Navíc je stahování bez --live výrazně rychlejší.

[martin]

Nebyl nalezen žádný engine podporující tuto URL

- voyo markiza, 0 bodov. Strata casu.

[Karel Petranek]

Zdravím,

zkusil jsem ČT a hází to tuto chybu:

./tv-dl "http://www.ceskatelevize.cz/porady/10431237232-laska-a-smrt-v-jedne-noci/21338255458/"
Traceback (most recent call last):
  File "./tv-dl", line 123, in module
    downloader.main()
  File "./tv-dl", line 29, in main
    e = self.get_engine(self.args.URL)[2](self.args.URL)
  File "/home/hugo/tv-dl-master/engines/ct.py", line 70, in __init__
    pl_url = unquote( urlopen(req).read().decode('utf-8') )
  File "/usr/lib/python3.2/urllib/request.py", line 138, in urlopen
    return opener.open(url, data, timeout)
  File "/usr/lib/python3.2/urllib/request.py", line 375, in open
    response = meth(req, response)
  File "/usr/lib/python3.2/urllib/request.py", line 487, in http_response
    'http', request, response, code, msg, hdrs)
  File "/usr/lib/python3.2/urllib/request.py", line 413, in error
    return self._call_chain(*args)
  File "/usr/lib/python3.2/urllib/request.py", line 347, in _call_chain
    result = func(*args)
  File "/usr/lib/python3.2/urllib/request.py", line 495, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 404: Not Found

Barrandov je OK. Že by ČT zase upravila ochranu ?

[michi]

tv-dl -q list -o ctvrta-hvezda-e05.flv http://www.ceskatelevize.cz/ivysilani/10431595237-ctvrta-hvezda/213512120180005-uran/

Traceback (most recent call last): File "/usr/bin/tv-dl", line 123, in *module* downloader.main() File "/usr/bin/tv-dl", line 29, in main e = self.get_engine(self.args.URL)[2](self.args.URL) File "/sources/git-repo/tv-dl/engines/ct.py", line 72, in __init__ self.playlist = urlopen(pl_url).read().decode('utf-8') File "/usr/lib/python3.3/urllib/request.py", line 156, in urlopen return opener.open(url, data, timeout) File "/usr/lib/python3.3/urllib/request.py", line 469, in open response = self._open(req, data) File "/usr/lib/python3.3/urllib/request.py", line 492, in _open 'unknown_open', req) File "/usr/lib/python3.3/urllib/request.py", line 447, in _call_chain result = func(*args) File "/usr/lib/python3.3/urllib/request.py", line 1310, in unknown_open raise URLError('unknown url type: %s' % type) urllib.error.URLError: *urlopen error unknown url type: uri*http*

[Petr Vlasecký]

Když to jelo, jelo to skvěle!

Zdá se, ale, že tv-dl už několik měsíců nejede ... :( a github repo ( https://github.com/Limoto/tv-dl ) od půlky 2014 není obnoveno ...

Tušíte někdo, co by člověk mohl dělat, aby si v klidu a nerušeně mohl v mplayeru pod linuxem pouštět co je na webu české televize?

díky! ... pevlas