Přehrávání a nahrávání streamu TV Noe v (K)ubuntu a Debianu

26.1.2014 00:18 | Přečteno: 2938× | Linux | poslední úprava: 4.2.2014 16:15

Sledování živého streamu je OUT, archiv TV Noe je chudý, takže necháme server nahrávat živý stream a vybudujeme si vlastní archiv.
Potřebujeme k tomu Linux a něco místa na disku (cca 9GB denně). Následuje popis mé cesty k výsledku. Stream je ze serverů nacevi.cz, možná půjde postup aplikovat i na jiné televize.

URL streamu

Půjdeme cestou "mplayer -dumpstream", takže nejprve je třeba získat URL, které by byl mplayer ochotný přehrát.

Na stránce živého vysílání TV Noe je několik odkazů ze kterých jsem se neúspěšně pokoušel wgetem získat přímou adresu streamu. Dokonce se mi je nedařilo (v Kubuntu 13.10) ani přehrát. Dodatečně se osvědčilo na prostřední odkaz "Přímý odkaz pro přehrávač VLC a podobné" pustit VLC, které stream přehraje (překvapivě Mplayer mi ale stream/playlist nepřehrál.

Po chvíli neúspěšného experimentování mi napověděl živý stream vložený prostřednictvím flashového přehrávače přímo do stránky. Co když si bere data z nějaké použitelné URL?
Tcpdump prozradil, že se jedná o URL:

rtmp://origin03.nacevi.cz:1935/prozeta-live01/_definst_/prozeta-live01-MP4_288p-1.stream

To vypadá rozumně. Z odkazů na jednotlivé streamy vím, že kromě 288 existuje i rozlišení 432, takže tipneme adresu streamu ve vyšší kvalitě (a ono to funguje):

rtmp://origin03.nacevi.cz:1935/prozeta-live01/_definst_/prozeta-live01-MP4_432p-1.stream

UPDATE: v diskuzi na TV Noe jsem objevil pěkný bashový script od neznámého autora, který ze stránky vytáhne URL RTMP streamu.
Mohl by se hodit, pokud by přímý odkaz výš přestal fungovat.
http://pastebin.com/DWaqALTL

    #!/bin/bash
    URL1=`wget http://www.tvnoe.cz/zive-pres-internet.html -O - -q | grep "<iframe src=\"/res/data" | cut -d '"' -f2`
    UUID=`wget http://www.tvnoe.cz${URL1} -O - -q | grep "prepareSmart" | cut -d '"' -f 4`
    URL2=`wget -U "Mozilla/5.0 (X11; Linux x86_64; rv:17.0) Gecko/20100101 Firefox/17.0" -q -O - --cookies=on --keep-session-cookies --save-cookies=/tmp/cookie.txt "http://vueasy.com/Smart/GetSmartPageJsonp?assetId=${UUID}&callback=aaa" | sed -e 's/[{}]/''/g' | awk -v k="text" '{n=split($0,a,","); for (i=1; i<=n; i++) print a[i]}' | sed 's/\\\\//g' | grep '"PlaylistLink"' | cut -d'"' -f 4`
    URL3=`wget -U "Mozilla/5.0 (X11; Linux x86_64; rv:17.0) Gecko/20100101 Firefox/17.0" -q -O - --cookies=on --keep-session-cookies --save-cookies=/tmp/cookie.txt "${URL2}" | grep "rtmp:" | cut -d'>' -f2 | cut -d'<' -f 1`
    URL4=`wget -U "Mozilla/5.0 (X11; Linux x86_64; rv:17.0) Gecko/20100101 Firefox/17.0" -q -O - --cookies=on --keep-session-cookies --save-cookies=/tmp/cookie.txt "${URL2}" | grep url | head -n1 | cut -d'"' -f8`
    vlc "${URL3}/${URL4}"

Přehrávání Kubuntu

Distribuční knihovna libavformat53 6:0.8.9-0ubuntu0.13.10.1 (Kubuntu Saucy 13.10) stream přehrát nezvládá, budeme muset pořídit novější.

add-apt-repository ppa:jon-severinsson/ffmpeg

V tomto PPA je libavformat53 7:0.10.9-1~saucy1, mplayer s ní stream přehraje.

 

Přehrávání Debian Squeeze

Tady se mi upgrade libavformat53 nezdařil, už si nevzpomínám proč, asi nějaké potíže se závislostmi, ale rovnou zafungoval mplayer2 z repozitáře

 deb http://www.deb-multimedia.org squeeze main non-free  

mplayer2 by pravděpodobně rovnou fungoval i v Kubuntu, nezkoušel jsem.

 

Ukládání streamu na Debianu

URL=rtmp://origin03.nacevi.cz:1935/prozeta-live01/_definst_/prozeta-live01-MP4_432p-1.stream 
mplayer2 $URL -dumpstream -dumpfile tvnoe.mp4 

Po zastavení nahrávání ve streamu nefunguje seek, opravuju ho tak, ze na nej pustim ffmpeg:

/usr/bin/ffmpeg -i tvnoe.mp4 -acodec copy -vcodec copy tvnoe_seek.mp4

 

Automatizace/skriptování

Je dobré ošetřit situaci, kdyby mplayer při nahrávání spadl.
Použil jsem svoje oblíbené daemontools - pokud by proces spadl, během vteřiny ho znovu nastartují.

Startovací run skript do daemontools, mplayer2 spuštěn pod uživatelem "uzivatel"

#!/bin/sh

exec 2>&1

OUTDIR=/path/to/storage/tvnoe
DATUM=$(date +"%Y-%m-%d_%H-%M-%S")
URL=rtmp://origin03.nacevi.cz:1935/prozeta-live01/_definst_/prozeta-live01-MP4_432p-1.stream

exec setuidgid uzivatel /usr/bin/mplayer2 $URL -dumpstream -dumpfile $OUTDIR/tvnoe_$DATUM.mp4
# zbytecny radek navic, aby zvyraznovac syntaxe na ABC zobrazil toto podtrzitko --^

Vysílání začíná každý den v 6:05, takže nám stačí spustit nahrávání v 6:00
Každý den při startu nahrávání uložíme i TV program.
Quick & dirty parsovani stranky prevedene z HTML do TXT (html2text) zatím funguje:

Spouštěcí skript do cronu (6:00)

#!/bin/bash

SVC=/usr/local/bin/svc
OUTDIR=/path/to/storage/tvnoe
DATUM=$(date +"%Y-%m-%d")

# URL s programem na konkretni den
URL="http://www.tvnoe.cz/program-na-den.html?date=$DATUM&action=print&printType=txDay"
# vyparsujeme jen cast stranky, ktera nas zajima
/usr/bin/wget -q "$URL" -O - | html2text | grep -B1 -A100 "\-\-\-\-\-\-\-\-\-\-" | grep -B 100 "**** Programov" > $OUTDIR/tvnoe_$DATUM.txt

# stop service (pro jistotu)
$SVC -d /service/tvnoe
sleep 1
# start service
$SVC -u /service/tvnoe

Aby se se streamy snadněji pracovalo, rozděluju je při nahrávání do 3 souborů. Každý má cca 3GB, denně tedy cca 9GB. Díky daemontools stačí jen restartovat službu, tím se stream ukončí a vzápětí začne další s timestampem v názvu (viz startovací run skript do daemontools).

Restart služby do cronu (12:00, 18:00)

svc -t /service/tvnoe

Ukončit nahrávání, opravit seek v souborech a přesunout jednotlivé .mp4 do adresáře podle datumu nahrávky

Vypínací skript do cronu (1:30)

#!/bin/bash

SVC=/usr/local/bin/svc
OUTDIR=/path/to/storage/tvnoe

# stop service
$SVC -d /service/tvnoe

sleep 1

# opravit streamy, aby fungoval seek
for i in $(find $OUTDIR/ -regextype posix-extended -regex '.*[0-9]\.mp4$' -print) ;
do
    /usr/bin/ffmpeg -i $i -acodec copy -vcodec copy "${i%.*}_seek.mp4"
    chown uzivatel:uzivatel "${i%.*}_seek.mp4"
    rm $i
done

# presunout mp4 do adresare podle data
for i in $OUTDIR/*_seek.mp4 ;
do
    NEWDIR=$(echo $i | cut -d"_" -f2)
    # kontrola tvaru datumu a presun
    if [[ $NEWDIR =~ ^20[0-9]{2}-[0-9]{2}-[0-9]{2}$ ]]; then
        /bin/mkdir -p $OUTDIR/$NEWDIR
        /bin/mv $i $OUTDIR/$NEWDIR/
    fi
done

       

Komentáře

[Roger]

Squeeze? Like, seriously? :)

[pavlix]

TV Noe? Seriously?

[ovoce]

Jsem přesně čekal.

[pavlix]

To naprosto chápu.

[AMD Faununu SpecnazAlfa]

Jsem přesně čekal.

No vidíš to, tak ses dočkal . Mezi námi děvčaty - pro mě nemá žádná televize takovou hodnotu, abych si zapráskal disk deseti GB denně, natož ještě jezuitskou propagandou. Mě by zajímalo, kdože to ten kanál financuje, když je to bez reklamy. Duch svatý? To určitě není levná záležitost.

Jinak návod dobrý, možná to někdo použije, já tedy ale rozhodně ne. Tedy až nu jezuitskou plíživou vlezlost. Řekl bych, že ten návod byl napsán hlavně kvůli tomu jezuuitskému kanálu, ale to je jen moje nepotvrzená předtucha

[kotrcka]

ako to myslis "bez reklamy"? ved tam je reklama 24/7 na Jezisa a jeho sluzby.

[pavlix]

+1

You made my day.

[kralyk z abclinuxu]

natož ještě jezuitskou propagandou

Pochybuju, že tv noe má s jezuity cokoli společného.

[AMD Faununu SpecnazAlfa]

že tv noe má s jezuity cokoli společného.

No tak to já taky pochybuju, že za tím vysíláním stojí řád jezuitů . Já jsem to taky nemyslel doslovně. To slovo má i několik přenesených významů, které nejsou řekněme zrovna moc pozitivní. Já vim, že je to v nadpisu, že se jedná o TV Noe. A vím to, jakého zaměření je ta televize, párkrát jsem to omylem viděl. Ale i přesto mě zajímalo, jakých úskoků jezuité používají v praxi :). Tady jde o černoprdelnický kanál, ale vše je to hezky zaobaleno v roušce hezkého linuxového návodu. Takže už kapišto, králíku?

[Miriam]

ano, ti černoprdelníci narozdíl od tebe nejsou hulváti a mají dobré vychování, to jsou jejich "úskoky" používané v praxi - dobrota a slušnost

Náš administrátor shledal tento komentář závadným.

Vulgární

Zobrazit komentář

[Miriam]

ty ve mně vidíš trolla, protože si nedokážeš přiznat, že jsem lepší člověk než ty. Je mi tě líto, jsi morální zakrslík.

[mimi.vx]

jj , tech par stoleti upalovani se jim uz zajedlo ... ted jen ocernuji a prohlasuji za nemocne vsechny co neodpovidaji jejich predstave sveta ...

[Miriam]

ano, církev dříve byla jen o upalování a teď je jen o restitucích - slyšeli jste jedinou svatou pravdu

[mimi.vx]

restituce mi nevadi , ale ohanet se ve spojitosti s cirkvi s nejakou moralkou ... a zvlast u veci jako je Radio proglass a Tv noe ..

[kralyk z abclinuxu]

Takže už kapišto, králíku?

Ono nic není černobílé.

Mně to jejich zaměření naopak moc jasné není - na stránkách vágně deklarují rodinné zaměření s křesťanskými hodnotami, což ale nic moc neřekne, je to hodně široký pojem (mnohem širší než katolicismus). Nekoukám na jejich TV, takže nemůžu soudit, co přesně jsou zač.

Co se týče Jezuitů, ani ti nejsou tak černobílí, jak je líčí Jirásek. U mě osobně mají menší černý puntík než Římskokatolická církev jako taková... Ačkoli ne o moc

[AMD Faununu SpecnazAlfa]

No máš pravdu, že ten záběr maj asi širší. Ale já právě když sem na to čuměl, tak tam seděli na nějakým dýchánku ve studiu nějací ovaroví biskupové a pochvalovali si tam círk. restituce. Takže za tim určitě bude stát nějaký kardinál Richeliu v pozadí :). Jinak co se týče financování, tak na stránkách tvrdí, že stěžejní část se financuje z darů, a menší část z EU. Jestli ovšem nekecaj a neni to naopak :). Ale s těma jezuitama sem to fakt přepísk, to se musim autorovi tutoriálu omluvit, měl sem moc vtipné kaše k večeři :). O n je dvojité véčko debil, ale tentokrát jsem to fakt přestřelil :).

[Miriam]

jasně, rejpni si do véčka, uznal jsi jednu chybu, uznáš i tuhle...

[Pavel Stárek]

...tak tam seděli na nějakým dýchánku ve studiu nějací ovaroví biskupové a pochvalovali si tam círk. restituce.

Čímž sis vlastně odpověděl na otázku, jakpak že se tato stanice financuje. Financujeme si ji všichni, aniž by všichni chtěli

[ovoce]

Mně to jejich zaměření naopak moc jasné není - na stránkách vágně deklarují rodinné zaměření s křesťanskými hodnotami,

Hmm, takhle mě nad tím ani moc přemýšlet nenapadlo. Když se to zakládalo, tak se to explicitně založilo jako křesťanská televize, tj. jako je Proglas křesťanské rádio. Ale je jasné, že ne každý o tom tehdy věděl, tak ho může zarazit, že se to implicitně považuje za jasnou věc... Stačí číst Katolický Týdeník :P

černý puntík

Takhle bych na to zareagoval - něco, co se táhne skrz 2000 let Evropských dějin jako jeden z hlavních hybatelů/kulturních faktorů, a ještě navíc je to náboženství (čímž myslím, že náboženství má velkou sílu a dokáže vedle dobrého v lidech vzbudit i to zlé), to ani nemůže z té historie vyjít bez černého puntíku.

Svoje negativní důsledky měla třeba věda (rozvoj destruktivních schopností lidstva, třeba), industrializace, osvícenské/sekulární proudy (které jsou pozitivně důležité jako vyvažování teistických proudů) a tak. Navíc církev byla často spojena se státní politikou či zájmy konkrétních panovnických rodů a tak podobně. Já bych naopak řekl, že právě vzhledem k té minulosti bychom měli být o to víc vděční za současný stav :)

[2012]

Popravde, cim je horsi nez ostatni programy v TV? Kdyz vyjmu sportovni kanaly(ktery obcas muzou nekoho zajimat), tak se tam fakt neda na nic divat...

[pavlix]

Televizi doma nemám, pouštím ji většinou když jsem někde na hotelu. A jak říkáš, je těžké vybrat nějaký kanál i kdyby jen jako kulisu nebo pohádku na usnutí. Tím pádem se mi Noe na obrazovce zjeví vcelku často a už jsem ji párkrát jen tak pro legraci nechal pár minut zapnutou, ale nic moc.

[2012]

Jsem naopak rad, ze v ty zmeti totalnich nesmyslu je neco co se odlisuje, i kdyz to traba nemusi nekomu sedet. Jsem pro experiment:

Bylo by bylo zajimavy vzit po narozeni deti - idealne dvojcata - kazdyho zavrit do zvlastni mistosti a nechat cucet do dospelosti na braky z nasich televizi, naopak druhymu poustet jen TV noe, pekne az do dospelosti... pak je po zbytek zivota sledovat, co z toho vzejde... Bohudik(ale mozna bohuzel) si nikdo takovej experiment na triko neveme.

Ale mam za to, ze spolecensky min nebezpecny a mozna i pro spolecnost prospesnejsi, bude ten druhy

[tomvec]

Z obou vyrostou zabedněnci, ovšem jeden každý svého druhu.

[pavlix]

Ale mam za to, ze spolecensky min nebezpecny... bude ten druhy

Ale s tím bych i souhlasil. Ten druhý, když uvidí reálný svět, tak zapomene na přikázání a půjde skočit ze skály.

[xkucf03]

Retro Music a Rebel se celkem dají

[Miriam]

lidé potřebují víru, po tom, co s naší republikou havlistická lůza udělala a jak se všichni vyhranili proti komunismu... Neexistuje jiné lepší řešení.

[2012]

a ono to predtim bylo lepsi? jestli jo, tak jmenuj konkretne co teda bylo na systemu predtim lepsiho...

[loki]

Pred tim bylo rozhodne lepsi zrizeni za prvni republiky, kde by vsak bylo treba odbourat urcite socialisticke tendence. Za rakouska take nebylo uplne spatne.

[loki]

Osobne si myslim, ze nejlepsim resenim pro spolecnost je opravdu cisty kapitalismus. Vsemozne alternativy socialismu, ktere muzeme dnes nalezt u nas i v dalsich zemich eu, jsou nefunkcni cestou do pekla pro dluzniky. Vyhraneni proti socialismu a komunismu, coz jsou amoralni zrizeni, je axiomem.

[Miriam]

Souhlasím, socialismus je zlo v nejvyšším kalibru, ale některé pohledy na komunismus odrážejí právě paradoxně naprosto svobodný trh bez regulací a decentralizaci státní moci do rukou lidí. Kapitalismus v dnešní podobě nemůže existovat, neboť bohatí co rozkrádají svět ho nezískali podíl kvůli svému vlastnímu přičinění, ale kvůli socialistickým zlodějnám a podvodům deformujím trh - čest výjimkám. Víra je fajn, když je vírou osoby svobodně zvolenou, stejně tak z ní vycházející solidarita, ne solidarita státem vynucovaná, kdy každému amorálně sebere a pár lidem dá a zbytek rozkradou bohatí.

[loki]

Nevim, jake pohledy na komunismus mate na mysli. Teoreticky komunismus, ktery se snazi o beztridni spolecnost a kolektivni vlastnictvi, povazuji za absurdni myslenky, ktera jde proti duchu prirody a prirozenosti. Lide si nejsou a nebudou rovni a snahy tyto rozdily zamlcovat a mazat je trestuhodna. Komunismus je podle mne jen populistickym cilem a slibem socialistu, ktery jim slouzi (slouzil) k udrzeni u moci.

Kapitalismus v dnešní podobě nemůže existovat

Co je to kapitalismus v dnesni podobe? Pokud mate na mysli tu socialistickou wellfare amoralni nechutnost, ve ktere bohuzel zijeme, tak to opravdu neni zadna podoba kapitalismu.

[Miriam]

Kapitalismus v dnešní podobě = nadvláda korporací + vynucovaná amorální solidárnost + státní regulace + minimum svobodného trhu

[loki]

To ale prece neni zadny kapitalismus

[Miriam]

Proto říkám "kapitalismus v dnešní podobě", jsou lidé, kteří si to myslí a používají označení kapitalismus. Je to podobné jako naše pravicové politické strany TOP 09 a ODS, které nedělají pravicovou politiku. Levicovou politikou to nazvat nelze, protože i levicové ideály uskutečňují špatně (byť i ty ideály levice jsou z principu špatné a amorální). Co dělají? Špatnou špatnou levicovou politiku vydávanou za pravicovou. Dnešní evropský systém jde na ruku korporacím a zájmovým lobby, nedává jedincům kteří potřebují, ale bere všem a příliš. Je nazýván kapitalismem a přitom se nejvíce podobá socialismu, který jsme tu měli před rokem 89.

[xkucf03]

+1

[danc]

Ja jsem staromilec, teprve nedavno jsem upgradoval z Lennyho

[Roger]

Rád žiješ na ostří nože? :)

Nevidím moc důvod zůstávat na oldstable - obzvlášť když je Wheezy venku už tak dlouho a ty si hraješ s multimédii. deb-multimedia.org už je snad nepodporované, ne?

[martin knocik]

daemontools to neznie kresťansky, skončíte v pekle :)

[danc]

+1

[Radek Hladik]

A to, nedej bože, jestli nepoužívá FreeBSD...

[thomas87]

Diky za skvely navod! :)

[Antonym]

9GB denne? Stoji to fakt za to? Vzdyt na min. 9/10 se nikdy divat nebudes a bude se v tom mizerne cokoliv hledat.... Nebylo by lepsi rozparsovat si jejich program a ukladat jen porady, ktere te zajimaji?

btw, asi z tebe nebudou moc nadseni, protoze traffic je, narozdil od tebe, asi neco stoji...

[Miriam]

Dneska je 9GB nic, může třeba po týdnu zálohovat do cloudu s neomezeným limitem dat. Hledání řeší televizní seznam. Podle mě skvělý nápad, začnu podobně nahrávat tu zkurvnou státní televizi, abych měl dost důkazů, až ty zmrdy budu žalovat.

[R]

Ja by som to archivoval do /dev/null, tam sa toho zmesti...

[danc]

9GB denne mne nevadi, nejstarsi nahravky muzu umazavat...

Na TV se skoro nedivam, takze asi zkouknu jeste min nez tu 1/10, ale hleda se v tom podle ulozeneho TV programu docela dobre.

Parsovat program a podle toho ukladat by nebylo spatne, ale dalo by to vic prace naskriptovat a taky dopredu jen podle nazvu nevim, ktery program za to bude stat.

Za posledni tyden mne vlastne zaujal jen porad "Noční univerzita: P. Rastislav Kršák,  SVD - Papua - Nová Guinea (2. část)", ktery by mne podle programu nahravat nenapadlo.

Nad tim, co je stoji traffic jsem neuvazoval, predpokladal bych (mozna mylne), ze to maji v pausalu. No kdyztak jim poslu nejaky prispevek

[xkucf03]

To by chtělo zálohovat na nějaký server (nejlépe ve stejné serverovně, kde jsou oni) a domů si natahat jen ty vybrané pořady.

[Honz]

Vysílají tam cyklokros? Pokud ne, tak nebrat...

[Senior database developer]

Zlodejove kol to jsou.

[LuděkS]

Díky moc, teď v souvislosti s http://festivalunited.cz/ se to hodilo.

[katolik]

Ahoj, nevite jestli se da TV stale grabovat?

Diky Dominik