Dotaz: Jak dostat obraz z USB mikroskopu na obrazovku + do souboru se zvukem z USB mikrofonu?

[Gilhad]

Mám linux Gentoo, fluxbox, USB mikroskop (Dino-lite umí obraz, ale nemá zvuk) a USB mikrofon (Generalplus? snímá celkem dobře, aspoň pro daný účel) (A celkem výkonný počítač)

Chtěl bych dělat (hlavně pro sebe) něco jako instruktážní videa na youtubu ( například tohle video ), ale nevím jak na to (a co ještě pro to případně potřebuju).

Zároveň bych chtěl, aby při natáčení byl na monitoru obraz, co se natáčí, abych vůbec viděl co dělám.

Co mi funguje:

poslat obraz v mikroskopu na obrazovku takto: mplayer tv:// -tv driver=v4l2:width=1920:height=1080:fps=30:outfmt=rgb24:device=/dev/video0

nahrát zvuk z mikrofónu takto: arecord -D "hw:2,0" -f S16_LE some_file.wav

a dál už nevím. (A hlavně nevím, co nevím a jestli o tomhle někdo někde píše pro začátečníky, klidně anglicky)

Poradíte?

---

---

Odpovědi

[jejda]

Mohlo by jít ten obraz se zvukem zachytávat ffmpegem, výstup posílat rourou do souboru a ten přes další rouru hned číst přehrávačem. Ten "náhled" bude asi mít maličko zpoždění, ale to by se snad dalo přežít. Nějak takto:

ffmpeg -f v4l2 -video_size 1920x1080 -i /dev/video0 -f alsa -i hw:2 -f matroska pipe:1 | tee /tmp/nahrávka.mkv | mpv --no-input-terminal /dev/stdin

Kdyby náhodou nebyl zvuk synchronní s obrazem, dá se to upravit volbou -itsoffset pro ffmpeg.

[Jendа]

cheese stačí spustit a zmáčknout čudlík a funguje mi to out-of-the-box (nahrávku to vyrobilo v ~/.gnome2/cheese/media/). Ale nejde nic nastavit, např. parametry komprese videa.

VLC umí současně zobrazovat a nahrávat do souboru, jde to naklikat v dialogu pro otevření souboru/streamu/device, a pak nějak i výsledný string pastnout do cvlc aby člověk nemusel pokaždé naklikávat.

Také se tyhle pipelines dají dělat pomocí gstreameru (gst-launch) ale neumím to, budeš muset zagooglit example.

[Gilhad]

Díky za rady, i když jsem to vyřešil nakonec jinak, tak mě postrčily správným směrem

- ffmpeg sice fungoval, ale ten skluz tam byl něco děsného, tak odhadem 10 sec, což pro interaktivní navádění prostě už nefunguje - každou chvíli totálně mimo záběr

- VLC by znamenalo updatovat celé QT což se mi před zítřejší telekonferou zrovna nechce (a balíky pro staré QT na webu nevidím v té konkrétní verzi)

- cheese by znamenal tahat GNOME a mezitím mě napadlo zkusit ještě jednu starší techniku

recordmydesktop

recordmydesktop --device hw:2,0 --freq 44100 -o ~/recordMyDestop/"${name}"

a ono to zafungovalo, i když je to blbé jak facka na břicho - prostě snímá obrazovku a zvuk z mikrofonu (a po skončení to dlouze konvertuje do name.ogv ) a na obrazovku spustím ten mplayer, takže to má lag asi 0.2 sec a s tím se už dá dobře pracovat :)

[čavo]

Do telekonfery to asi nestihneš, ale ak by si potreboval v budúcnosti vytvárať videá, kde budaš spájať viac zdrojov (video, alebo audio), tak by si mohol uvažovať nad obs-studio.

* media-video/obs-studio
     Available versions:  (~)29.1.3-r1 **9999*l {+alsa browser decklink fdk jack lua nvenc pipewire pulseaudio python qsv qt6 speex +ssl truetype v4l vlc wayland websocket LUA_SINGLE_TARGET="+luajit" PYTHON_SINGLE_TARGET="python3_10 python3_11 python3_12"}
     Homepage:            https://obsproject.com
     Description:         Software for Recording and Streaming Live Video Content

Osobne s ním skúsenosti nemám, ale dosť ľudí si ho pochvaluje.

[Gilhad]

Já zatím zkouknul nějaké video na youtubu o KDEnLive a jak to tam ukazoval, tak to bylo pro blondýny, což mi dává šanci, že to zvládnu nějak taky, udělám v tom pár videí a zjistím, co vlastně chci.

To OBS tam taky zmiňoval, jako lepší, ale složitější systém, tak si ho nechám na později.

Teď v podstatě potřebuju něco natočit a okecat, pak z toho většinu vyházet "já si to tu pospouštím ..." "jak se to vlastně přepíná" "co jsem to chtěl ..." "ehhmmm hmmmm" "kde se to zase vypíná" a tak, nahradit to symbolickými přechody, nacpat tam titulky a sem tam obraz šipky na správné místo a pak to učesaně vyexportovat.

Až mi tohle trochu půjde (dosud jsem nic takového nezkoušel), tak se asi rozvážu a budu chtít víc, ale teď se potřebuju hlavně nezahltit a nezaseknout :)

[jejda]

Si s tím ffmpegem zkouším trochu hrát a zjistil jsem, že když se do té roury s náhledem pošle formát mpegts tak je to zpoždění náhledu tak okolo jedné sekundy odhadem. To už by šlo ne? Zkus toto:

ffmpeg -f v4l2 -framerate 30 -video_size 1920x1080 -i /dev/video0 -f alsa -i hw:2 /tmp/nahrávka.mkv -f mpegts - | mpv -

[Jendа]

To, co vidíš, je zpoždění kodeku. Pro matrosku to jako defaultní kodek vybere libx264, a protože jsi nespecifikoval latenci, tak se použije nějaká jeho defaultní. Ta je velká, protože lidi většinou kódují soubory a je jim jedno jaká je. A větší latence umožňuje lepší kompresi, protože se používá predikce mezisnímků zezadu i zepředu (B-frame) a několik dalších věcí (k x264 neexistuje nebo alespoň neznám použitelnou dokumentaci, ale x265 je skoro stejnej).

Tím že jsi přepnul výstupní kontejner na mpegts, tak se vybral výstupní kodek mpeg2video. Ten je starší a hloupější, takže asi nemá v defaultním nastavení tak velký buffer který skenuje pro predikci.

Teď tě asi napadne vnutit tomu x264 tune zerolatency. Já jsem si ale všiml, že tvoje potrubí ve skutečnosti spouští dva nezávislé kodéry -- do toho souboru na disku to dále cpe H.264, a do mpv trubkou to cpe MPEG2. Takže ffmpeg zakóduje video, pošle ho trubkou do mpv, a to ho zase rozkóduje a zobrazí, což zní jako strašná blbost. Takže co ve skutečnosti potřebuješ je poslat trubkou nějaké raw video. To z hlavy nedám, ale umělo to rgb24 a nějakej yuv.

Ještě jedné věci jsem si všiml, alespoň na mém systému to vyrobilo video s barevným schématem yuv422p - snaží se to zkopírovat barvy z kamery a moje kamera dává zdá se toto. Takové video většina BFU nepřehraje - minimálně na starších Windows a Mac OS X s tím byly problémy, v prohlížečích taky. Proto je potřeba všude cpát -pix_fmt yuv420p, což je nejběžnější a podporovaný formát.

[jejda]

To s těma barvama yuv420p je dobrá připomínka to mi nějak nedocvaklo, dík. On těch formátů ffmpeg umí fakt mraky. Většinu z nich ani neznám, no našel jsem tam jeden bezztrátový yuv4mpegpipe. S ním už je ta odezva přehrávání fakt minimální. Odhadem tak těch 100-200ms.

ffmpeg ...... -pix_fmt yuv420p output.mkv -f yuv4mpegpipe -pix_fmt yuv420p - | mpv -

Bohužel nemám kameru tak to musím testovat způsobem že nahrávám obrazovku, ale v tom by snad nemusel být nějaký zásadní rozdíl.

[Gilhad]

Ono to i s tím stávajícím lagem 0.2 sec je takové dost vláčné, já bych to rád používal jako lupu pro pájení (a nahrál si to), ale když má člověk řídit pohyb rukou se zpožděním signálu, tak je to docela opruz ... gamesáci řeší milisekundy, já s tím bojuju, jako bych chtěl dlouhou tyčí přesně usadit kovadlinu na řetězu ...

[BFU]

gst-launch-1.0 videotestsrc ! tee name=t \

t. ! queue ! autovideosink \

t. ! queue ! videoconvert ! openh264enc ! avimux name=m ! filesink location=/tmp/test.avi \

audiotestsrc ! lamemp3enc ! m.

Staci nahradit videotestsrc za v4l2src a audiotestsrc za pulsesrc nebo alsasrc . S tema testsrc elementama to funguje i bez kamery a mikrofonu, nebot generuji data do te pipeline. Vysledek je /tmp/test.avi kontejner s videem a zvukem, a zaroven video v okne.