Dotaz: jaka je soucasna ochrana iVysilani?

[zacatecnik]

Zdar, rad bych si napsal skripticek na obchazeni iVysilani (CT porady online), protoze ve FF ani s pluginem MediaPlayerConnectivity nejdou videa spoustet, zacal jsem se v tom trochu vrtat...

Skripticek mam napsanej chybi posledni vec jakym zpusobem maskuji spravnou url k mms proudu dat.

Zdase ze jde jen o zmenu (dnes!) jen na 12bajtu id:

#http://www.ceskatelevize.cz/ivysilani/309298380010013-biblicka-patrani/
#web ma pres plugin:  http://ctwm.visual.cz/iVysilani.Archive?id=MzU5NTU4NDM4fDYzMzk1NzE3NzQ2NDMyMDE1Mg==
						  #skript vraci: MzU5NTU5NjY0fDYzMzk1NzE3ODAyNjM4Mzc3NQ==
						#rozdil                 x xxx            xxxx x x xxxxx
									#4->0 ; 15 zmen
#MzU5NDEwNDMwfDYzMzk1NzEyMjM0NDI3MDQyMA==   funguje
#MzU5NTMyMzM4fDYzMzk1NzE2ODA4Mjg0MjMxMA==   nefunguje-ve zdrojaku
#     xxxxx x           xxxxxxxxx xxx
#w->4; 18 zmen

#DNES:

#http://ctdir.visual.cz/iVysilani/Services/Streaming/ClientPlaylist.aspx?id=MzYxMzA3NDQ0fDYzMzk1ODE1NDg2NDA1MjUwMA==
#                                http://ctwm.visual.cz/iVysilani.Archive?id=MzYxMzA3NDQzfDYzMzk1ODE1NDg2NDA1MjUwMA==
#0->z

#                                           MzYxMzAwNDY1fDYzMzk1ODE1MTg0NzE3NzUwMA
#http://ctwm.visual.cz/iVysilani.Archive?id=MzYxMzAwNDY1fDYzMzk1ODE1MTg0NzE3NzUwMA==
#http://ctwm.visual.cz/iVysilani.Archive?id=MzYxMzAwNDY0fDYzMzk1ODE1MTg0NzE3NzUwMA==
#1->0

#http://ctdir.visual.cz/iVysilani/Services/Streaming/ClientPlaylist.aspx?id=MzYxMzE0MTkyfDYzMzk1ODE1Nzg5NjA4Mzc1MA==
#                                http://ctwm.visual.cz/iVysilani.Archive?id=MzYxMzE0MTkxfDYzMzk1ODE1Nzg5NjA4Mzc1MA==
#y->x

#http://ctdir.visual.cz/iVysilani/Services/Streaming/ClientPlaylist.aspx?id=MzYxMzE2ODYxfDYzMzk1ODE1OTAyMTM5NjI1MA==
#                                http://ctwm.visual.cz/iVysilani.Archive?id=MzYxMzE2ODYwfDYzMzk1ODE1OTAyMTM5NjI1MA==
#x->w

#http://ctdir.visual.cz/iVysilani/Services/Streaming/ClientPlaylist.aspx?id=MzYxMzE4NDYwfDYzMzk1ODE1OTgxMDMwMjUwMA==
#                                http://ctwm.visual.cz/iVysilani.Archive?id=MzYxMzE4NDU5fDYzMzk1ODE1OTgxMDMwMjUwMA==
#w->5

#http://ctdir.visual.cz/iVysilani/Services/Streaming/ClientPlaylist.aspx?id=MzYxMzQ1MjA0fDYzMzk1ODE2OTQ4MDQ1ODc1MA==
#                                http://ctwm.visual.cz/iVysilani.Archive?id=MzYxMzQ1MjAzfDYzMzk1ODE2OTQ4MDQ1ODc1MA==
#0->z

#http://ctdir.visual.cz/iVysilani/Services/Streaming/ClientPlaylist.aspx?id=MzYxMzQ3ODM0fDYzMzk1ODE3MDM3NzAyMTI1MA==
#                                http://ctwm.visual.cz/iVysilani.Archive?id=MzYxMzQ3ODMzfDYzMzk1ODE3MDM3Njg2NTAwMA==
#0->z

#http://ctdir.visual.cz/iVysilani/Services/Streaming/ClientPlaylist.aspx?id=MzYxMzUwOTE0fDYzMzk1ODE3MTQ2NDk5MDAwMA==
#                                http://ctwm.visual.cz/iVysilani.Archive?id=MzYxMzUwOTEzfDYzMzk1ODE3MTQ2NDk5MDAwMA==
#0->z

#http://ctdir.visual.cz/iVysilani/Services/Streaming/ClientPlaylist.aspx?id=MzYxMzUzOTczfDYzMzk1ODE3MjU1MDc3MTI1MA==
#                                http://ctwm.visual.cz/iVysilani.Archive?id=MzYxMzUzOTcyfDYzMzk1ODE3MjU1MDc3MTI1MA==
#z->y

#http://ctdir.visual.cz/iVysilani/Services/Streaming/ClientPlaylist.aspx?id=MzYxMzU2Mzk0fDYzMzk1ODE3MzI0NzQ5MDAwMA==
#                                http://ctwm.visual.cz/iVysilani.Archive?id=MzYxMzU2MzkzfDYzMzk1ODE3MzI0NzQ5MDAwMA==
#0->z

Na vysvetlenou: 1 radek je co je zadano v HTML strance (to samozrejme nejde), druhy udaj je ziskan kdyz kliknu na to video s tim zminenym pluginem (to jde pres treba vlc, ale ne ve firefoxu- vypda to jako kdyby ten plugin jen neumel volat zadany program)- vypada to jako kdyby to prohnal javascriptem, co myslite? Koukal jsem na nejblizsi javascript a nevim, nevim... Vite nekdo jak to funguje abych nevynalezal hodiny znovu kolo?

Odpovědi

[pht]

Nechcete třeba doladit ten můj skript aby fungoval?

http://www.abclinuxu.cz/blog/pht/2009/5/ivysilani-ct-reseni-pres-wget-a-mplayer-mencoder

Někdo mi psal, že to už nefunguje (místo pořadu stáhne reklamu), ale věřím že tak hodinka s wiresharkem by opravila všechno.

[zacatecnik]

Zdravim, Váš post jsem přes Google našel a tuším zkoušel a když to nešlo, tak jsem začal psát ten můj...

omrknu to tedy blíž hned jak budu mít čas. Když to prolomím, ozvu se Vám

[Begleiter]

A nezapomeň funkční skript (pokud se ti to povede) zveřejnit. Určitě se najde dost lidí, co by ho rádi používali.

[zacatecnik]

jj samozrejme bych si to nenechal... muzu zverejnit co mam ale jen wgetem stahnu html stranku a vypreparuju z ni ten link awkáčkem a cutem... chce to proste prijit na tu zamenu v tom id. Zkusim omrknout pak ten python skriptik...

[zacatecnik]

tak jsem zkusil tu opravnou verzi (kterou jsem předtím přehlídl) a ta funguje- tedy žádné stahování reklamy

[Begleiter]

Super. Až budu mít chuť, tak určitě vyzkouším. Díky.

[Phantom Alien]

A zkoušel si vlc v MediaPlayerConnectivity? Mě to jde krásně všude včetně ivysilání.

[Begleiter]

Nezkoušel. Díky za tip.

[zacatecnik]

MediaPlayerConnectivity s VLC mně osobně nefunguje...

[Jendа]

Osobně mi funguje mozilla-mplayer a mplayer pro Debian Lenny z debian-multimedia.

[zacatecnik]

tak jsem si nainstaloval z webu výrobce toho pluginu verzi 0.4 a mplayer mám verzi 29776-1 a nejde to- je tam hláška o chybějícím zásuvném modulu. (*)

(*) - plugin nešel do mého FF 3.5.5 nainstalovat, tak jsem musel dle návodu czilla fórum editovat install.rdf v tom xpi archivu a umazat řádet updateurl + změnit max. verzi podporovaného firefoxu z 1.2 na současnou 3.5.5.

zítra zkusím ještě z webu výrobce toho pluginu daily build, teď nemám čas.

[Jendа]

Já mám plugin 3.55 a funguje mi to (musím na stránkách ČT zvolit formát „Real Media“) včetně možnosti „Do okna“ (mplayer -playlist "url toho linku"). V ~/.mplayer/config mám toto:

cache=256
vo=gl2
autosync=30
framedrop=1
prefer-ipv4=1

[plugin]
autosync=0
mc=0
correct-pts=yes
vo=gl2
prefer-ipv4=1

[pht]

Zajímavé a potěšující.

[vlado]

Příloha:

• ctdl (0 bytů)

Vlastní bash-sed-curl-mplayer implementace... :) Je to prosté - stahne se HTML kod a v nem je adresa asx playlistu - ten se musí stáhnout jako nějaký známý $USER_AGENT no a potom už jen vykuchat ten správný stream z toho asx bastlu. Problém je v tom, že nedávno tam začali dávat reklamu před i po a to pak nestráví ani mplayer -playlist pusteny na ten playlist a zacyklí se to. Jedině VLC to otevře (stačí klikat na "DO okna" a ten soubor co to vrací už otevřít ve VLC. Správný stream se pak pořád musí vybírat ručně v playlistu ve VLC. Proto dříve vždy fungoval např. Gecko media player plugin co použije gnome-mplayer přímo v okně prohlížeče. A ted se to zas lepsi neco pres nej už jde jako driv a neco nee. Asi jsou ty asx playlisty dle normy pro jediny spravny prehravac.

[Fenrus]

Příloha:

• skr (344 bytů)

Ja pouzivam tento prikaz pro prehravani

[petr_p]

Tak ochrana je udělána snad správně, to znamená, že změnu nelze algoritmicky určit. Tudíž jediná možnost je simulovat posloupnost požadavků, které činí webový prohlížeč. Jediná poťouchlost je kontrola hlavičky User-Agent.

Já už takový skript napsal a kromě proudů České televize umí i jiné.

Jako zásuvný modul do prohlížeče, který s ivysíláním funguje, mám vyzkoušený gecko-mediaplayer.

[pht]

Simulování posloupnosti požadavků snad dělá každý skript, který tu je. Váš skript používá grepovací helper, takže není o nic lepší než "konkurence". Kdybyste napsal skript, který skutečně bude autonomně prolejzat všechny odkazy, dokud nevypreparuje požadované video, tak to by byla jiná.

[petr_p]

Simulování posloupnosti požadavků snad dělá každý skript, který tu je.

Ale dotaz byl na algoritmické řešení. Tazatel chtěl vědět, jestli tudy cesta vede.

Váš skript používá grepovací helper, takže není o nic lepší než "konkurence".

Lepší je v tom, že to není jednoúčelový skript, ale nabízí rozhraní pro grepovací helpery. Takže nemusíte mít deset programů na deset televizních proudů.

Kdybyste napsal skript, který skutečně bude autonomně prolejzat všechny odkazy, dokud nevypreparuje požadované video

A mohl ctěný pht poradit, jak má skript poznat požadované video? Když bych použil obecného robota, tak z webu ivysilání vytahá všechny videa, kterých budou řádově sta tisíce. To asi není cílem našeho – vašeho snažení.

[pht]

Lepší je v tom, že to není jednoúčelový skript, ale nabízí rozhraní pro grepovací helpery. Takže nemusíte mít deset programů na deset televizních proudů.

To beru, ale mám obavu, že ty helpry jsou stejně dost různorodé, respektive mám takovou zkušenost, když jsem se pokoušel ten svůj skript adaptovat na další archivy. Takže by to spíš chtělo opačný přístup, knihovnu s obvyklými funkcemi a deset malých programů.

A mohl ctěný pht poradit, jak má skript poznat požadované video?

Určitě na to nějaké metody budou. Odkazy na jiná videa třeba polezou přes jinou stránku nebo budou mít jiný kontext, nebo název. Bylo by to docela zajímavé to vyzkoušet. Problém je spíš v tom, že spousta stránek povede spíš na flash player než na video :-/

[petr_p]

Já jsem ten skript psal a udržuju přes rok, tak vím, jak to ČT mění a co všechno se tam vyskytuje. Proto jsem přesvědčen, že věštění z odkazu nemá smysl. (ČT24 má jiné odkazy než ostatní stanice, některé druhy proudů trvale nefungují (a já mám za ně náhradu), někdy místo objektu je jen hláška, že mají technické potíže, playlisty občas (zvlášť na ČT4) obsahují předřazené nebo i zařazené reklamy, Visual občas mění vysílací servery atd.)

Nicméně i SWF se dá lousknout, protože to bývají jen přehrávače tahající data ze statických URL, případně se posílají playlisty v XML. Co se ale poslední dobou rozlézá jako mor, jsou RTMP servery (například Óčko), a na to jsem nenašel žádný funkční klient (flvstreamer je nedodělaný).

[jenik]

Vse to jde resit lehce v pipeline:

curl "http://www.ceskatelevize.cz/ivysilani/xxxxx-porad-link/?streamtype=WM3" |awk -F\" '/data=/{print $2}'|xargs curl -A "Firefox" | awk -F\" '{print $8}'|xargs curl|awk -F: '/Ref1/{print "mms:"$2}'| xargs mplayer

a nebo si udelat alias

alias ctdown="xargs curl |awk -F\\\" '/data=/{print \$2}'|xargs curl -A \"Firefox\"| awk -F\\\" '{print \$8}'|xargs curl |awk -F: '/Ref1/{print \"mms:\"\$2}'| xargs mencoder -oac copy -ovc copy -o "

a volat

cat "http://www.ceskatelevize.cz/ivysilani/xxxxx-porad-link/?streamtype=WM3"|ctdownload output.asf

[jenik]

Vse to jde resit lehce v pipeline:

curl "http://www.ceskatelevize.cz/ivysilani/xxxxx-porad-link/?streamtype=WM3" |awk -F\" '/data=/{print $2}'|xargs curl -A "Firefox" | awk -F\" '{print $8}'|xargs curl|awk -F: '/Ref1/{print "mms:"$2}'| xargs mplayer

a nebo si udelat alias

alias ctdownload="xargs curl |awk -F\\\" '/data=/{print \$2}'|xargs curl -A \"Firefox\"| awk -F\\\" '{print \$8}'|xargs curl |awk -F: '/Ref1/{print \"mms:\"\$2}'| xargs mencoder -oac copy -ovc copy -o "

a volat

cat "http://www.ceskatelevize.cz/ivysilani/xxxxx-porad-link/?streamtype=WM3" | ctdownload output.asf

[chrono]

Používateľ Opery? :)

[Jakub Lucký]

Když už se to tu oživilo, přidám k dobrému taky svůj inline, určený ke stahování víc věcí najednou

1) Vytvořte soubor url se seznamem url ke stažení

2) ve stejné složce spusťte

i=1;cat url | while read line;do wget "$line" -O- | egrep 'href="http://ctdir.visual.cz/iVysilani/Services/Streaming/ClientPlaylist.aspx' | awk -F\" '{print $6}'| xargs wget --user-agent='Mozilla/5.0 (X11; U; Linux i686 (x86_64); en-US; rv:1.9.1.12) Gecko/20100908 Firefox/3.5.9 (like Firefox/3.5.12)' -O $i.asx;mplayer -dumpstream -dumpfile $i -playlist $i.asx; i=$(($i+1));done

[mino]

vsetky dostupne postupy stahuju len reklamu next, mohol by to niekto fixnut, diky