Sandboxování ne-bezpečného C/C++ kódu v Pythonu (diskuse)

[limit_false]

Jenom poznámka kvůli úplnosti: FormatInfo je "nejvyšší" třída, obsahuje Duration, vector StreamInfo, které obsahují resolution, pixel aspect, display aspect atd.

[kralyk z abclinuxu]

A proč nepoužít mediainfo nebo libmediainfo? Umí dost věcí, viz ukázka...

General
Complete name                    : /media/share/Freeski Films/Picture This/Picture.This.1080p.x264.mkv
Format                           : Matroska
File size                        : 1.50 GiB
Duration                         : 33mn 42s
Overall bit rate                 : 6 387 Kbps
Encoded date                     : UTC 2009-03-15 13:44:06
Writing application              : mkvmerge v2.5.3 ('Boogie') built on Mar  7 2009 15:00:41
Writing library                  : libebml v0.7.7 + libmatroska v0.8.1

Video
Format                           : AVC
Format/Info                      : Advanced Video Codec
Format profile                   : High@L4.0
Format settings, CABAC           : Yes
Format settings, ReFrames        : 1 frame
Muxing mode                      : Container profile=Unknown@4.0
Codec ID                         : V_MPEG4/ISO/AVC
Duration                         : 33mn 40s
Bit rate                         : 5 742 Kbps
Nominal bit rate                 : 6 000 Kbps
Width                            : 1 920 pixels
Height                           : 1 080 pixels
Display aspect ratio             : 16/9
Frame rate                       : 29.970 fps
Resolution                       : 24 bits
Colorimetry                      : 4:2:0
Scan type                        : Progressive
Bits/(Pixel*Frame)               : 0.097
Title                            : PICTURE.THIS
Writing library                  : x264 core 67 r1127M 8d82fec
Encoding settings                : cabac=1 / ref=1 / deblock=1:0:0 / analyse=0x3:0x133 / me=hex / subme=6 / psy_rd=1.0:0.0 / mixed_ref=0 / me_range=16 / chroma_me=1 / trellis=0 / 8x8dct=1 / cqm=0 / deadzone=21,11 / chroma_qp_offset=-2 / threads=3 / nr=0 / decimate=1 / mbaff=0 / bframes=0 / keyint=300 / keyint_min=30 / scenecut=40 / rc=2pass / bitrate=6000 / ratetol=1.0 / qcomp=0.60 / qpmin=10 / qpmax=51 / qpstep=4 / cplxblur=20.0 / qblur=0.5 / ip_ratio=1.40 / aq=1:1.00
Language                         : English

Audio
Format                           : AC-3
Format/Info                      : Audio Coding 3
Codec ID                         : A_AC3
Duration                         : 33mn 42s
Bit rate mode                    : Constant
Bit rate                         : 384 Kbps
Channel(s)                       : 2 channels
Channel positions                : L R
Sampling rate                    : 48.0 KHz
Language                         : English

Chapters
Language                         : English
1                                : 00:00:00.000 Intro
2                                : 00:04:02.000 Seth Huot
3                                : 00:06:38.000 Andreas Wiig
4                                : 00:07:53.000 Wille Yli Luoma
5                                : 00:10:41.000 Darrell Mathes
6                                : 00:12:47.000 DCP
7                                : 00:13:14.000 Etienne Gilbert
8                                : 00:13:25.000 Hampus Mosesson
9                                : 00:13:50.000 Shaun White Kevin Pearce
10                               : 00:16:09.000 Jussi Oksanen
11                               : 00:18:29.000 Eero Ettala
12                               : 00:22:29.000 Heikki Sorsa
13                               : 00:24:36.000 Aaron Biittner
14                               : 00:29:11.000 Jeremy Jones
15                               : 00:29:39.000 Credits

[limit_false]

Díky moc, MediaInfo jsem neznal. Vyzkoušel jsem to na několika speciálních zmršených případech, proti mojí metodě to má o jedno video lepší úspěšnost (největší problém je s display aspect ratio videa; videa a jejich kontejnery jsou různě zmršeny).

N.B.: i kdybych MediaInfo znal, bych byl opatrnej. Původní kód používal ffmpeg na detekci, jenom někde to nefungovalo úplně správně. Když opravím známé speciální případy a pořád používám ffmpeg/libavformat, vím, že nerozbiju existující správné případy. Nicméně MediaInfo vypadá fakt použitelně. Jenom teď zrovna nevím který z reportovaných display aspectů bych použil Zatím original display aspect vypadá na ten správný.

[limit_false]

Tak jsem zrovna objevil video fajl (ASF), kde ffmpeg hlasi delku 4.9 s, mplayer s asf demuxerem 11 s, mediainfo 8 s. Spravna je 11 sec. Jeste idealne ma v kontejneru nastaveno 1000 fps. Jsem videl ve zdrojacich ffmpegu a/nebo mplayeru specialni hack pro tohle chovani, chutovka.

Podobne neni vubec vyjimkou ze u kontejneru je napsana jina delka videa nez u video streamu. Ach jo.

[kralyk z abclinuxu]

Njn to je problém. Ale jsi si jistý, že i takový případ potřebuješ pokrýt? Hint

[limit_false]

Heh, specialnich pripadu je tak 25%, kazdy necim jiny (rozumej "jinak zmrsen"). Uz to mame celkem vychytany ale prekvapeni se tak brzo nezbavime.

[dark]

A není to celé overkill? Pokud chci použít sdílenou knihovnu, ve které dojde k segfaultu, je to na bugreport a opravu v dané knihovně.

[limit_false]

To sice ano, jenže nejprve chceme třeba vůbec mít v logu nějaké info že to segfaultlo (graceful fault). Taky je pak možné udělat nejaké cleanup akce, to nejde když segfault sestřelí hlavní pythoní proces. Pro představu se daný pythoní skript pouští cronem, rádově na 2-3 tisíc videí týdenně.

Jinak obecně se segfaultům nedá vyhnout, model-checking ffmpegu by nedokázala zaplatit snad ani NASA

[Ondrej 'SanTiago' Zajicek]

> Taky je pak možné udělat nejaké cleanup akce, to nejde když segfault sestřelí hlavní pythoní proces

A nestacilo by tedy v tom Pythonu ten segfault obslouzit? Je to signal jako kazdy jiny.

[limit_false]

Jak jsem psal výše, IMHO je při odchycení SIGSEGV již pozdě. Nemáte žádnou jistotu, že je paměť v nějakém "minimálně" konzistentním stavu, aby bylo možné udělat cleanup. Snad by šlo zavolat mprotect, jenže v pythonu by to bylo dost komplikované, protože správa paměti je "odstíněna" od programátora.

[limit_false]

Prvně bych změnil "ve které dojde k segfaultu" na "ve které může dojít k segfaultu".

Já si rýpnu, ale když tenhle přístup porovnám proti filozofii Erlangu a vývoji v Erlangu, kdy se erlangovské procesy navzájem monitorují, okamžite se restartnou když zahučí a je možné měnit kód za běhu bez restartu služby, it feels a little bit inferior.

[Marek Bernát]

Presne, Erlang je king. Veď je to nakoniec ľudská prirodzenosť: každý robí chyby. Softvér je plný bugov už z princípu a všetci o tom vedia. Napriek tomu sa ale ešte stále všetci tvária, že chyby sú niečo zlé. Dúfam, že v budúcnosti sa viac presadí aj v ostatných jazykoch erlangovský prístup, ktorý s chybami proste počíta.

[Michal Vyskočil]

Dúfam, že v budúcnosti sa viac presadí aj v ostatných jazykoch erlangovský prístup, ktorý s chybami proste počíta.

Nemůžu se zbavit dojmu, že takový přístup se trochu mlátí s vedlejšími efetky, takže napasovat to do nefunkcionálního jazyka může být obtížné.

[limit_false]

Marek měl na mysli spíš erlangovskou robustnost nežli kód bez vedlejších efektů (to je pak lepší/jednodušší rovnou použít Erlang proti simulaci "side-effect-lessness" v nefunkcionálním jazyku). V principu minimalizovat dopad fatální chyby kódu, která způsobí crash nebo buffer overflow. I v C/C++ aplikacích to není výjimka, viz třeba KDE, které restartne plasma-desktop po segfaultu. Buffer/heap overflow se pak dá řešit na úrovni OS (NX bit, ASLR, grsecurity, SELinux, AppArmor, stack-smash protectors, atd.)

Hlavní důvod sandboxování ffmpegu byl, že by v naší aplikaci mohl způsobit race condition, kdy by se video soubor neostranil cleanupem z fronty (protože by se ho aplikace pořád snažila zpracovat, segfaultla, a pak znova).

[denix]

 Miesto POSH a cpickle mozno by sa dalo pouzit 

http://pyro.sourceforge.net/

[limit_false]

Podíval jsem se na PYRO, stejně myslím že by měl podobné problémy jako cPickle, pro Python jsou ty swigem obalené objekty "neprůhledné". Speciálně je asi nebude možné podědit z Pyro.core.ObjBase, swig vyžaduje dědění z vlastní třídy _object.

Jinak výborný projekt pro RPC je ZeroC ICE, integrace s mnoha jazyky (C/C++, Java, Python...). Hrál jsem se s tím jenom chvíli, ale je to fakt paráda.