České TV programy do XMLTV

28.8.2006 20:26 | Přečteno: 13338× | Free Software | | poslední úprava: 28.8.2006 22:24

Už je to pár měsíců, co jsem v Pythonu napsal prográmek tv_grab_cz, který stahuje televizní programy ze serveru 365dni.sms.cz a generuje z nich XMLTV soubory. Pokud vlastníte televizní kartu, je to nesmírně užitečná věc, jelikož většina TV aplikací (např. TVTime, MythTV, Freevo, atd.) XMLTV přímo podporuje. Původně jsem chtěl program zveřejnit teprve až dodělám automatické generování stop-časů (v současnosti se musí na vygenerovaný soubor spustit ještě program tv_sort z balíku xmltv, který stop-časy dodatečně vygeneruje a soubor přetřídí), ale pár lidí mě prosilo zda bych ho nezveřejnil už nyní, takže tady ho tedy máte

Grabber má celou řadu nastavení, jako první věc tedy určitě vyzkoušejte tv_grab_cz --help. Co stojí za zmínku je volba --parsetitle, která zajistí parsování titulků programů, takže např. z titulku "Kobra 11 VII (10)" vyčte, že se jedná o 10. díl 7. série daného seriálu a uloží tuto informaci do výsledného XMLTV souboru (ale pozor, některé TV aplikace těmto rozšířeným atributům XMLTV specifikace nerozumí, takže tato volba možná nebude pro vás to pravé).

Můj tv_grab_cz ještě zcela neodpovídá specifikaci API XMLTV grabberů (jelikož neukládá konfiguraci do souboru a negeneruje stop-časy). Ovšem upravit ho tak, aby specifikaci API grabberů odpovídal, by nemělo být složité a až budu mít více času, hodlám to udělat.

Jinak v grabberu používám modul keepalive.py, který pochází z výborného pythonovského balíku urlgrabber a rozšiřuje funkčnost urllib2 o keep-alive spojení. keepalive.py je v mém balíčku přiložen, nicméně tv_grab_cz funguje i bez něj (pak však samozřejmě není využito keep-alive spojení).

Pokud by někdo z vás byl pythonýr a chtěl by grabber vylepšit, budu mu moc vděčný. Patche přijímám s otevřenou náručí

       

Komentáře

[Mikos]

Ještě bych chtěl doplnit takové menší info - pokud byste někdo sháněl přehledný prográmek na zobrazování televizního programu (využívající právě data ve formátu XMLTV), tak mohu vřele doporučit Maxemum TV-Guide (určeno pro KDE).

[Kill007]

Diky ti, funguje to paradne.

[GEDIK]

Dekujuuuu moc!

[nooneanymore]

Taky děkuju, absence tohoto programu mi bránila zkusit MythTV a jiné aplikace.

[Jirka]

Take jsem si napsal neco podobneho. Kdo chce otestovat muze stahovat zde. Ma to i konfigurator na vytvoreni channel listu, ze se nemusi vzdy specifikovat jake channels chcete stahovat. Ma to i stop time a viditelne episode-num v mtvg. Enjoy!

[Mikos]

Díky moc za info Nebude vadit když tvůj kód trochu prostuduju a na jeho základě vylepším svuj pythonovský tv_grab_cz? Protože já Perl opravdu nerad

Btw. koukal sem na to episode-num a je to chybně, ten formát v kterém ho ukládáš není (podle specifikace XMLTV) "onscreen" ale "xmltv_ns" (který tam já používam taky, jen ho scprávně nazývám jako "xmltv_ns"). Tedy tohle je problém Maxemum TV-Guide, která by měla brát "xmltv_ns" formát a ne jen "onscreen" formát... nepsal už někdo třeba autorovi, zda by to nenapravil? Možná mu napíšu

[Jirka]

Episode-num jsem upravil aby to fungovalo v mtvg, ale podle specifikace to neni. Jinak jsem podle specifikace nepochopil, jak se to ma vlastne cislovat. Oni uvadeji I. serii jako nultou? Kdyz tak prosim o vysvetleni. Jinak kod muzes prostudovat, alespon si lide budou moci vybrat. Nahral jsem jeste trosku novejsi verzi a ta umi rozeznat i typ videa, audia, titulky, premieru, reprizu a jeste chci dodelat rezisera, komentatory a herce. Jinak Perl je fajn, dela se v nem velmi rychle ;o) Tohle co jsem splodil bylo za 6 hodin hotovy. Nejhorsi bylo to spravne rozparsovat z puvodniho HTML. Pak uz to je sranda a hrani si. Takze stahujte novou verzi.

[Mikos]

Jojo, přesně tak, ve formátu xmltv_ns se čísluje od nuly. Takže pokud se jedná např. o 2. díl 3. série, číslo má být "2 . 1 . "... no a to poslední číslo (které je většinou prázdné) by mělo označovat dvojdíly (např. když 15 a 16 díl tvoří dohromady jeden celek), měla by ta čísla být třeba "2 . 14 . 0/1" a "2 . 15 . 1/1".

Co se týče Perlu, tak já fakt moct rád nemam V Pythonu se mi píše nesrovnatelně lépe (a taky mi přijde mnohem přehlednější). Ale to už je o vkusu a zvyklostech každého

[Jirka]

OK, diky za vysvetleni episode-num. Co se tyce Perl vs. Python, to bychom mohli psat hodiny a nema to cenu. At si kazdy pouziva na co je zvykly a co mu vyhovuje. Diky tomu je ten svet preci tak rozmanity, budme za to radi ;o)

[Mikos]

Btw. nechceš ten tvůj TV grabber poslat autorům XMLTV? I když Perl rád nemám, tak co sem na to koukal vypadá to napsané vskutku dobře (a navíc celá xmltv je v Perlu ). Bylo by super, kdyby tam byl grabber pro Česko už defaultně...

[Jirka]

Jeste to chci trosku vylepsit, pak to mozna nekam poslu (do pekla ;o)).

[mrzout]

Zpusob ziskavani programu je dlouhodobe neudrzitelnej. Nevite odkud bere data http://www.jabber.cz/wiki/TV_transport ?

Prece musi existovat nejaky stanradni zpusob, jak se pogramy sirej. Prece kazdy platek si specialne nevyzada data od dane stanice :(

[mrzout]

jo a kdyby nebyl, tak tahat to pres jabber, to by byla paradicka :)))

[Mikos]

Proč by měl být neudržitelnej? Pokud mám na 365dni.sms.cz přístup přes web, dostanu se tam i svym prográmkem tv_grab_cz A 365dni.sms.cz tu bude řekl bych na věky věků, pamatuju si že tu byl i před 6 lety

Btw. tímto způsobem fungují prakticky všechny TV grabbbery dodávané spolu s xmltv (a ty jsou pro všechny možné státy světa). Tzn. není na tom nic neobvyklého...

[mrzout]

Protoze az 365dni zmeni sablonu pro web, budou uzivatele cekat, nez to upravis (pokud dobre chapu) a tebe to treba pretane za rok bavit.

Stejne tak je to otazka copyrigtu. Precti si u odkazu na ten jabber forum, presne tohle tam resili a radeji na nejakou dobu danou sluzbu uplne pozastavili.

[Mikos]

Já spolu s tím programem nedistribuuju data na které má copyright 365dni.sms.cz. Tzn. žádný problém z hlediska copyrightu to pro mě není Ty data si uživatel z 365dni.sms.cz stahuje sám (a má na to právo, když k nim má přístup i přes web, nemůžou mu nijak zakázat stahovat ta data i jinak než browserem... to je podobná věc jako třeba s alternativními ICQ klienty, atp.). Tady mám oproti Jabber službě jasnou výhodu (protože poskytovatel té Jabber služby poskytuje ta data která mu nepatří, to já nedělám).

Pokud se změní ta šablona onoho webu 365dni.sms.cz, holt to budu muset upravit. Ale vzhledem k tomu, že jediné co se bude muset upravit by byly 2 regexpy (ano, celé ty stránky parsuju regexpem), nebyl by to problém a bylo by to během chvilky (a zvládl by to i kdokoliv jiný než já, kdybych náhodou tou dobou nebyl po ruce).

Jinak ta šabloba těch stránek se nezměnila už několik let (pokud si dobře pamatuju už před těmi 6 lety to bylo stejné), tzn. nevidim důvod proč by se najednou z ničeho nic měla změnit.

[Jiří (BoodOk) Kadeřávek]

Hadam, ze nakonec to bude tak, ze 365dni bude vychazet jako png. Protoze z vlastni zkusenosti vim, ze se jim tyto aktivity pranic nelibi.

[Mikos]

Tak pak bych holt hledal jiný zdroj než 365dni, do té doby ale hodlám 365dni využívat jak jen to půjde :-P

Btw. takhle opravdu fungují prakticky všechny grabbery v XMLTV (i ty co jsou tam defaultně), tohle není žádná výjimka...

[Jiří (BoodOk) Kadeřávek]

Jiny podobne komplexni cesky zdroj neexistuje.

[Mikos]

Ale existuje, třeba parabola.cz. A jsou i další (i když ty už možná natolik rozsáhlé nejsou).

[Jirka]

Na parabola.cz nejde zobrazit jen jeden program. Parsovani takove stranky bylo trosku slozitejsi, ale take by to slo. Jinak co do obsahu je to to skoro to same jako 365dni.cz. Maji akorat vice flags podrobnosti k poradu (vekove omezeni, posledni uvedeni poradu, typ poradu zaznam, jazyk CS/SK). Tyto flags by se docela hodili v XMLTV, ale nejsou tam uvadeny koraktne.

[Sef]

Od te aferky se sms.cz se leccos zmenilo. Nyni mame data legalne od SAT Plus, s.r.o. vice na http://jabbim.cz/about-partners.html.

Jinac alternativni ICQ klienti jsou nelegalni, prectete si licencni podminky od AOLu.

[Josef Průša]

..a aktuálně je tedy nějaká chodivá verze tv_grab_cz?

Díky

[Zdeněk]

Hmmm, 6 let to možná bylo stejný, ale jako na potvoru zrovna tenhle týden to změnili

[Jirka]

Nevadi, staci to jen znovu naparsovat. Prave na tom pracuji, takze to snad brzy bude opet funkcni.

[Jirka]

Tak hotovo. Novou funkcni verzi muzete stahovat zde.

[sysel]

Ten link se bohuzel zda byt jaksi mrtvy... (blank page).

S.

[Jirka]

Tak je to snad hotove. Vysosnul jsem z 365dni.sms.cz co se dalo a vysledek je takovy, ze muj generator XMLTV podporuje:

• nazev poradu
• puvodni nazev poradu
• popis
• kategorie
• rok natoceni
• reziser
• herci
• comentator
• hosti
• titulky
• velikost obrazu
• barevnost obrazu
• zvuk
• premiera
• repriza
• cislo epizody
• cisli dilu

Snad jsem na nic nezapomel. Pokud by nekdo prisel na to co jeste pridat, napiste mi. Jinak v MTVG nefunguje:

• video-[color]
• audio-[stereo]
• episode-num ma spatny system, melo by byt "xmltv_ns" a ne "onscreen"
• title v jinem jazyce (puvodni nazev filmu)
• premiere
• previously-shown
• subtitles.

Pokud by se nekomu chtelo to napsat tvurci MTVG, tak ma muze, budu rad, kdyz to v pristi verzi MTVG bude fungovat vsechno tak jak ma. Enjoy.

[Jirka]

Jeste jsem pridal podporu ikonek a vylepsil rozpoznavani akteru poradu.

[pavka]

Něco je shnilého v tom státě Dánském...

pavka@pavka:~$ ubuntu/tv_grab_cz.pl I: Using config filename /home/pavka/.xmltv/tv_grab_cz.conf I: Download programme for 24cz I: * day 1 I: * day 2 I: Download programme for 3SAT I: * day 1 I: * day 2 . . . . I: Download programme for Zone Reality I: * day 1 I: * day 2 I: Download programme for Zone Romantica I: * day 1 I: * day 2 Can't use an undefined value as an ARRAY reference at ubuntu/tv_grab_cz.pl line 162.

[pasky]

Perfektni. Zbyva ted jeste udelat neco dalsiho, nebo uz je to ve stavu, kdy by to slo submitnout do xmltv? (Byl jsem dost zklamany, ze tam jeste nic takoveho neni, a malem jsem sam zacal ted neco psat.) Mimochodem, jaka je licence toho perloveho skriptu?

[pasky]

Ping?

Bylo by skoda, kdyby ten skript zapadl. Ted uz mimochodem uplne zmizel z webu, nastesti jsem nasel na disku kopii...

[pasky]

Ping?

Bylo by skoda, kdyby ten skript zapadl. Ted uz mimochodem uplne zmizel z webu, nastesti jsem nasel na disku kopii...

[Petr Stehlík]

Jak jsem už psal k zprávičce linkující sem, tento program pana Křenka nezapře vážnou inspiraci programem pana Kadeřávka z www.webstep.net a je škoda, že to jeho "copyright" nezmiňuje.

Co se týká XMLTV projektu, tak já jsem loni v zimě spolupracoval s panem Kadeřávkem a lidmi z XMLTV na tom, aby se náš původní tv_grab_cz stal součástí XMTLV distribuce. Dostali jsme se do fáze, že český tv_grab_cz byl portovaný na novou platformu, do které se dnes dodělávají všechny ostatní tv_grab_XY a byli jsme už v CVS XMLTV, ale v tu chvíli p. Kadeřávka a fu WebStep kontaktovali lidé vlastnící data na 365dni.cz a tak jsme to celé museli zastavit.

[Petr Tomášek]

Museli? Přece jste nedělali nic nelegálního!

[pasky]

Ten tv_grab_cz, ktery je ted v source tree xmltv, dela takovou zvlastni vec, totiz pouziva prave webovou branu webstepu (tedy snazi se o to, ona uz je shozena). Tedy stahuje pouze data z webstepu, kde bezel PHP skript, ktery parsoval 365dni.cz. Puvodni motivace byla asi ta (pouze hadam), aby slo snadno vyresit problem s pripadnymi zmenami formatu 365dni.cz, ovsem v praxi jednak to zalezi pak na tom, az si nekdo z webstepu najde cas, a hlavne je problem s copyrightem. Skript, ktery stahuje data primo z 365dni.cz, nema ani jeden z techto problemu - copyright neporusuje a opravit ho muze kdokoliv, kdo posle patch aktualnim maintainerum xmltv.

[maysider]

hele a neslo by to pliiiis taky udelat nejak jedoduse do woken? tvxb z nejakyho duvodu nefunguje, takze nemame nic :(

[kuba novak]

nemohl by me prosim nekdo odkazat na jednoduchy zpusob, jak tento program vyuzivat pod mythtv? nejsem natolik linuxovsky sbehly. jestli jsem to spravne pochopil, tak pri spravnem nainstalovani by take tedy mel chodit mythweb, coz je dalsi vec ktera mi nefunguje jak ma. pokud tedy nekdo muze poradit jak tento grabber nastavit a popripade co nejvice automaticky, byl bych moc vdecny.

diky

[JackC]

funguje aktualne nektery z tech skriptu? :/

[Pavol Antalik]

Dobry den,

robim mensi prieskum, ci by bol zaujem o komercne poskytovane XMLTV, formou mesacneho predplatneho.

Zaujemci hlasujte na adrese http://tabletpc.terra-pgm.sk/forum/viewtopic.php?t=3

Pavol Antalik

[Paulie]

Spustena skusobna prevadzka XMLTV generatora:

http://tabletpc.terra-pgm.sk/forum/viewtopic.php?t=18&start=0&postdays=0&postorder=asc&highlight=

[Nik]

www.satplus.cz/satplus/databaze.asp

[mcmurdock]

Zdravím, dá se někde ještě sehnat TV_GRAB_CZ??? Marně prohledávám celý web. Byl jsem ve spojení s 365, ale prý na xml nic nemají a graber zakazují, to je docela blbý :(

Když tak prosím o info na mcmurdock@post.cz

Díky moc

[Mirek Mikulec]

Vydali jsme novou verzi programu 365dni, ta uplně poslední podporuje XMLTV, tzn. můžete se tam zapnout na nějakém portu web server, který vrací program všech stanic. Obrázky a info na facebooku http://www.facebook.com/group.php?v=wall&gid=379728582151

[losos]

Našel jsem perfektní zdroj XMLTV dat, který je velmi rozsáhlý - všechny české a slovenské stanice, další desítky stanic z jiných zemí, perfektní tj. bez chyb a hlavně zdarma. Adresa webu je http://xmltv.aye.cz/

[Ivo Hanuška]

www.xmltv.cz: placené kvalitní xmltv televizní programy.