Dotaz: Transkódující streaming proxy on demand pro audio?

[Petr Tomášek]

Zdravím!

Sháním se po programu, který by uměl/splňoval následující:

1. Funguje jako proxy server pro „webrádia“/„internetová rádia“, tj. pro HTTP(s) streamy (případně další protokoly).
2. Proxy server by měl mít někde uloženy cílové URL (streamů např. veřejných internetových rádií).
3. Proxy server by měl poskytovat stream do vnitřní sítě/vnitřních sítí (HTTP případně HTTPS).
4. Ve chvíli, kdy se připojí klient z vnitřní sítě, otevře spojení na cílový stream (případně) překóduje a předá stream do vnitřní sítě. (Překódování z alespoň: Opus, Flac, Vorbis, ACC(+), může být WMA; překódování minimálně do MP3/320kbit.)
5. Pokud se připojí další klient, distribuuje se již jednou přijatý stream (neotvírá se další identické spojení ven).
6. Ve chvíli, kdy se poslední klient odpojí, uzavře se taky spojení na primární stream (možno po nějakém krátkém čase, nejlépe nastavitelném, např. po 60s).
7. Musí si umět dobře poradit s výpadky v síti, jak upstream (to především), tak v lokální síti.
8. Program je klasickým unixovým daemonem, psaným v nějakém slušném programovacím jazyce (C, C++, Rust, atd. V žádném případě java nebo různé interpretry), musí mít úroveň běžnou u síťových serverů (chroot, zbavení se privilegií, aktivní vývoj, bezpečnostní audity, atd.).
9. Nesmí být systemd-only.
10. Ideálně by mělo být možné, aby konfigurace byla uložna v MySQL/MariaDB.

Znáte něco, co by se tomuto ideálu alespoň blížilo?

Díky!

Odpovědi

[Petr Tomášek]

Ještě doplním: Je to míněno pro linux (Devuan nebo Debian) a předpokládá se svobodná licence nejlépe GPL.

[debian]

Kolko zaplatis za napisanie takeho programu?

[Petr Tomášek]

Nic. V tuhle chvíli se ptám, zda-li něco takového již neexistuje. Pokud ne, byl by druhý krok podívat se, jestli je reálné něco takového sám napsat nebo přiohnout něco již existujícího...

[Lyco]

Já znám z tohohle oboru jenom Wowza Media Server: https://www.wowza.com/solutions/streaming-types/audio-only-streaming a navíc jen letmo, ale měl by myslím splňovat 1, 2, 3, 4, 5, 9

6 a 7 a 9 nevím

8 neplatí: je v Javě (ale dost výkonný, pokud se poladí GC: při testech s videem jsem na 16jádru obsloužil něco jako 800 klientů současně), balíčky byly hrozné když jsem je viděl naposledy (spouštění pod rootem, data v /usr/share, konfigurace nepočítá s tím že by to běželo pod normálním uživatelem i když nemusí). Je to monoilitická vec bez privilege separation a chrootu.

Je to placené - naposledy když jsem to viděl, tak nebylo volně ke stažení ani demo.

[Petr Tomášek]

8 neplatí: je v Javě (ale dost výkonný, pokud se poladí GC: při testech s videem jsem na 16jádru obsloužil něco jako 800 klientů současně), balíčky byly hrozné když jsem je viděl naposledy (spouštění pod rootem, data v /usr/share, konfigurace nepočítá s tím že by to běželo pod normálním uživatelem i když nemusí). Je to monoilitická vec bez privilege separation a chrootu.

Je to placené - naposledy když jsem to viděl, tak nebylo volně ke stažení ani demo.

Bohužel obě věci to naprosto diskvalifikují. Mohl byste neoznačovat předčasně něco za řešení, co řešením není? :-/

[Lyco]

No, v zadání bylo:

Znáte něco, co by se tomuto ideálu alespoň blížilo?

Tak jsem předpokládal, že není vyžadované splnění všech požadavků. Komentář hned nade mnou taky dával jasně najevo, že neplacené řešení bude problém, máš specifické a celkem náročné požadavky.

Každopádně jsem to jako řešení odoznačil, když se nelíbí.

[Petr Tomášek]

Pokud se něco blíží řešení, pak to ještě řešení není.

Díky, že jste to odznačil, alespoň já vnímám příznak "vyřešeno" tak, že se tím dává najevo, že už není co řešit, což v tomto případě rozhodně tak není.

Co se týče neplaceného řešení, tak to je snad v souvislosti s Linuxem samozřejmost...

[dustin]

Co se týče neplaceného řešení, tak to je snad v souvislosti s Linuxem samozřejmost...

To je bonus, a ne samozřejmost...

[jejda]

Se snažíš vyrobit rozhlas po drátě třetího tisíciletí? Myslím že toto moc fungovat nebude. V momentě když stream začneš kešovat tak tento vlastně streamem být přestává, protože už přenos dat neběží v reálném čase. Pokoušíš se ušetřit bandwidth? Nestačilo by třeba jenom nastavit na squidu trochu agresivnější kešování? Jako nahrát to jde, třeba:

wget -nv https://streaming.live365.com/a09856_live365 -O - | ffmpeg -i - -c:a libmp3lame -ab 320k radio-$(date '+%Y%m%d%H%M%S').mp3

nebo pokud bys to chtěl zároveň taky poslouchat

mpv https://streaming.live365.com/a93325_live365 --record-file=nahrávka.mp3

Ale co s tím dál? Když teda pominu že převádět audio z jednoho ztrátovýho formátu na jiný je docela zhovadilost, tak jak bys chtěl tu empétrojku distribuovat mezi klienty? Ti by museli předem vědět že se mají připojovat na tvůj lokální streamovací server a ne do internetu. Násilím je přesměrovávat nemůžeš. Něco sesmolit pro jeden stream by asi šlo, ale předpřipravený robustní řešení univerzální pro všecky rádia bude sotva existovat.

[Jendа]

V momentě když stream začneš kešovat tak tento vlastně streamem být přestává, protože už přenos dat neběží v reálném čase.

Třeba je uživatelům jedno, že to rádio uslyší o 3 sekundy později.

Když teda pominu že převádět audio z jednoho ztrátovýho formátu na jiný je docela zhovadilost

Asi k tomu má důvod, že má nějaká hloupá zařízení, která nic jiného neumí?

[Petr Tomášek]

Tak tak.

[Petr Tomášek]

... jak bys chtěl tu empétrojku distribuovat mezi klienty? Ti by museli předem vědět že se mají připojovat na tvůj lokální streamovací server a ne do internetu. Násilím je přesměrovávat nemůžeš.

Můžu .

Respektive jedná se o hw internetová rádia založená na čipu Silicon Frontier (Konkrétně o "značku" Terris, co se daly/dají koupit u ALDI Süd) a sralo mě, že při každém spuštění internetového streamu to leze na jejich server, a že pokud by tento server odstavili, tak mám smolíka. Z toho důvodu jsem si napsal server vlastní (apache/php/mysql), rádia dal do oddělené VLAN a přes DNS je přesměrovávám k sobě (naštěstí vše jede přes HTTP a ne HTTPS). Samozřejmě jsem si musel poshánět URL streamu stanic, které mě zajímají, ale kromě BBC (která ale nefungovala ani přes ALDI/Silicon Frontier server), mám vše, co mě zajímá. Výhodou je, že si můžu do jisté míry menu uspořádat tak, jak chci.

Akorát mě štve, že podle typu rádia některé umí AAC a jiné ne (a taky žádné z nich neumí Opus nebo FLAC, ale tam má člověk _většinou_ jako alternativu MP3), a proto hledám způsob, jak mít všechny stanice dostupné pro všechna zařízení (konkrétně mám pár stanic, které jsou dnes v AAC, na kterých mě dost záleží).

[jejda]

URL na BBC streamy se dají celkem lehko dohledat. Třeba tu . Ten jejich webový přehrávač stejně moc nefunguje, takže člověk stejně musí použít wget nebo vlc. Ona je to teda spíš výhoda.

[Petr Tomášek]

Dohledat se dají, to jistě.

Až na to, že nefunknční...

[jejda]

To vyhledávání vypíše většinou jenom odkazy na playlisty m3u,pls a tak. Na přehrávání mplayerem nebo vlc to stačí. Pro nahrávání wgetem musíš tu url z playlistu vytáhnout ručně. O kterou stanici se ti přesně jedná? Co jsem to tak namátkou zkoušel tak nefungovala akorát jedna z deseti.

[Petr Tomášek]

Nefungovalo/uje mně žádné BBC. Connection refused. Jak dostat adresu streamu pochopitelně vím, v poslední době jsem takto kopíroval do svého systému cca. 150 různých "webrádií".

[jejda]

Zkus něco z tohoto:

BBC Radio World Service
http://bbcwssc.ic.llnwd.net/stream/bbcwssc_mp1_ws-einws

BBC Radio 1
http://bbcmedia.ic.llnwd.net/stream/bbcmedia_radio1_mf_q

BBC Radio 2
http://bbcmedia.ic.llnwd.net/stream/bbcmedia_radio2_mf_p

BBC Radio 3
http://bbcmedia.ic.llnwd.net/stream/bbcmedia_radio3_mf_p

BBC Radio 4
http://bbcmedia.ic.llnwd.net/stream/bbcmedia_radio4fm_mf_p

BBC Radio4 extra
http://bbcmedia.ic.llnwd.net/stream/bbcmedia_radio4extra_mf_p

BBC Radio 1 Xtra
http://bbcmedia.ic.llnwd.net/stream/bbcmedia_radio1xtra_mf_p

BBC Radio 5 Live
http://bbcmedia.ic.llnwd.net/stream/bbcmedia_radio5live_mf_q

BBC London 94.9 FM
http://bbcmedia.ic.llnwd.net/stream/bbcmedia_lrldn_mf_p

BBC Radio 6 Music
http://bbcmedia.ic.llnwd.net/stream/bbcmedia_6music_mf_p

Trochu si s tím zkouším hrát, streaming aji encoding do mp3 funguje hezky, ale nedaří se mi na to připojit víc jak jeden přehrávač. Toto je ta "proxy" nesměj se

#/bin/sh

url="http://bbcmedia.ic.llnwd.net/stream/bbcmedia_6music_mf_p"

while true; do
    until wget -nv  $url -O - |
    ffmpeg -i - -f mp3 -c:a libmp3lame -ab 128k - |
    nc -l 12345; do
    sleep 1
    done
done

poslouchá se to pak jako

nc localhost 12345 | vlc -

dá se nějak přinutit třeba fifo aby se z toho dalo číst paralelně a nezavírala se když se z ní přestane číst?

[dustin]

ncat ?

[jejda]

Dík moc!

ncat -k

Hned je to použitelnější.

[jejda]

Smyčky while a until jsou tam teď k ničemu když to ten ncat blokuje, tímto se celá "transkódující streaming proxy" smrskla na jeden příkaz:

wget -nv http://bbcmedia.ic.llnwd.net/stream/bbcmedia_6music_mf_p -O - | ffmpeg -i - -f mp3 -c:a libmp3lame -ab 128k - | ncat -k -l 12345

[Petr Tomášek]

Hezký, ale bohužel to není on-demand (nemůžu to jen tak nechat běžet pro několik desítek streamů...)

[Petr Tomášek]

OK, chyba nalezena, llnwd.net "se mi" nějak dostalo na ručně udržovaný seznam domén, které ve své síti blokuji (většinou se jedná o různé šmíráky, atd...)

[NN]

Icacast umi preposilat streamy..

[Petr Tomášek]

Jasně, ale umí to on-demand? Nemůžu si dovolit, aby mi linku zbytečně vytěžovaly streamy, které nikdo neposlouchá...

[NN]

<relays-on-demand>1</relays-on-demand>

[Petr Tomášek]

Aha, díky, podívám se na něj. Po rychlém testu to vypadá, že samotný relay on demand funguje ok, teď ještě přijít na to, jak provést ten transcoding, to bude ještě zajímavý :-o

[Petr Tomášek]

Tak to vypadá, že Icecast jako relay skutečně neumožňuje transcoding.

[NN]

S podporou ezstream by to slo..

[Petr Tomášek]

Moment, já mě za to, že ezstream je standalone, commandline utilitka. Jenže já potřebuju, aby to běželo jako daemon - a hlavně, aby to fungovalo on-demand (v tomto případě totiž icecast nebude fungovat jako relay, jenom jako "mountpoint", a on-demand sosání streamu musí zajistit právě ezstream, což netuším, jestli vůbec jde....).

Je někde nějaké howto, jak to udělat?

[Petr Tomášek]

Tak bohužel, se současným icecastem tohle není možné. Buď je možné vytvořit on-demand relay (bez možnosti překódování), nebo je možné použít externí source (např. ten zmiňovaný ezstream, nebo klidně přímo novější avconv s podporou icecast: protokolu), které sice umí transcoding, jenže tam neexistuje způsob, jak jej spouštět on-demand. Bohužel hooky "on-connect" a "on-disconnect" v sekci "mount" se vztahují k připojení source k icecast serveru a nikoliv k připojení klienta.

[NN]

Sry, je to presne tak..

[Iwk]

Tvheadend by nešiel použiť? Rychle Googlenie ukázalo ze nejak takto by tam mohlo ísť pridať rádio https://tvheadend.org/boards/5/topics/24352

[Petr Tomášek]

TVheadend je sračka, která mi na server/router nesmí.