Bayesiánská statistika

14.4.2014 06:45 | Přečteno: 3885× | Počítače | poslední úprava: 14.4.2014 13:02

Některé programy, které vyvíjíme (Fotomon, Měření) , používají množství různé statistiky. Moje chápání statistiky je spíše klasické, ale existuje ještě jiný pohled na statistiku - Bayesiánská statistika. Rozhodl jsem se jí porozumět a naučit se ji prakticky používat.

Příklady, ze kterých nic nepochopíte

Moje první kroky vedly na Wikipedii:

http://cs.wikipedia.org/wiki/Bayesova_věta

Našel jsem tam přesně to, co jsem čekal: matematický formalismus, pod kterým si nedovedu nic představit (pravděpodobnost, že na Wikipedii najdu to, co hledám, ve formě stravitelné pro průměrného inženýra, už dnes dovedu pomocí bayesiánské statistiky docela dobře odhadnout). Ale je tam odkaz:

http://cs.wikipedia.org/wiki/Bayesovská_statistika

Je tam příklad. Skvělé! Ale kdo tohle psal!? Velmi volně cituji:

Test na nemoc dá kladnou odpověď u 99% nemocných pacientů a u 5% zdravých pacientů. Nemocí trpí jen 0.1% populace. Jaká je pravděpodobnost?

He? WTF? Jaká pravděpodobnost? Co se po mě chce? Pravděpodobnost čeho? No nic, třeba to vyplyne z textu dále:

"Pravděpodobnost choroby je o 19% větší, než u těch, kdo se testu nepodrobili."

No nazdar, máme zde další skupinu: přibyli nám ještě netestovaní. Kam si je mám zařadit? Navíc to je formulováno tak nešťastně, že kdybych nevěděl, jak veliký je to nesmysl, mohl bych usuzovat, že provedení testu nějak ovliní, jestli člověk onemocní, nebo zůstane zdravý.

Jsem ztracen.

Několikrát jsem narazil na příklad s dvěma pytlíky s bílými a černými kuličkami, což mi celou problematiku ještě více zatemnilo. Tuhle míchanici současné a předchozí pravděpodobnosti, střídaní minulosti, přítomnosti a budoucno také nedokázal nikdo dostatečně jasně vysvětlit. Popis primitivní úlohy na tři listy formátu A4 zvyšuje WTF faktor nade všechny meze.

Příklady, které vnášejí světlo do problematiky

Začal jsem hledat v angličtině. Odfiltroval jsem všechny kuličky v pytlíku a nakonec jsem skvělý příklad objevil zde:

http://people.hofstra.edu/Stefan_Waner/RealWorld/tutorialsf3/frames6_6.html

Konečně mi docvaklo. Celý ten Bayesův vzorec je obyčejná trojčlenka. To mi mohli vysvětlit už v prváku na střední a nemusí se z toho dělat zbytečná věda. Jakmile jsem si to namaloval a pochopil, vypadá základ bayesovské statistiky prostince:

Pro praktické použití je třeba ještě pochopit jednu věc: bayesiánský vzorec je často uváděn ve zjednodušené formě a není jasné, jak z něj spočítat například toto:

• Fabrika A vyrábí 50% výrobků a má 2% zmetků.
• Fabrika B vyrábí 30% výrobků a má 3% zmetků.
• Fabrika C vyrábí 20% výrobků a má 5% zmetků.
• Dotaz: Jaká je pravděpodobnost, že zmetek byl vyroben ve fabrice A?

Ve jmenovateli (část zlomku pod čarou) Bayesova vzorce figuruje takzvaná "úplná pravděpodobnost". V příkladu dopujících a nedopujících sportovců je to součet všech pozitivních výsledků, tj. 9,5% + 13,5%. V případě tří fabrik je to:

• Fabrika A: 50% × 2% = 1%
• Fabrika B: 30% × 3% = 0,9%
• Fabrika C: 20% × 5% = 1 %

Sečteme jednotlivá procenta: celkem 2,9% ze všech výrobků na trhu jsou zmetky. Z fabriky A jich pochází: 50% * 2% / 2,9% = 34,4%

(Příklad jsem nalezl v dokumentu, který nyní není dostupný, googlujte "Bayes Krčková").

Možnost použít libovolný počet různých vstupních parametrů (zde fabriky A, B a C) je dobrá zpráva pro praktické použití v programech - dovoluje to snadno dekomponovat problém na několik samostatných částí.

Závěr

Jakmile jsem pochopil princip, došlo mi, že bayesiánská statistika není nic složitého či nepochopitelného. Zkuste si to. Namalujte si třeba dva pytlíky s kuličkami - uvidíte sami.

       

Obrázky

Komentáře

[Michal Kubeček]

Moje chápání statistiky je spíše klasické, ale existuje ještě jiný pohled na statistiku - Bayesiánská statistika.

WtF?

[hajoucha]

no tak buď autor pouze neví, že statistiku lze rozdělit na frekvenční a Bayesovskou a tak místo "frekvenční" mylně píše "klasická", anebo chápe spojení "klasické chápání" v pojetí moderního školství tedy ekvivalentní spojení "žádné chápání".

Jsem zcela přesvědčen, že jde výhradně o ten první případ.

Nicméně, je jasné, že různé pohledy na statistiku nemohou nic změnit na platnosti Bayosova vzorce. Tj. i "frekventisté" platnost Bayosova vzorce samozřejmě uznávají.

[hajoucha]

safra, - opravuji "Bayesova" místo "Bayosova" (špatný prstoklad.. fuj).

[Ondrej 'SanTiago' Zajicek]

Nicméně, je jasné, že různé pohledy na statistiku nemohou nic změnit na platnosti Bayosova vzorce. Tj. i "frekventisté" platnost Bayosova vzorce samozřejmě uznávají.

Presne tak, pokud tomu rozumim, tak rozdil mezi 'frekventistickou' a 'bayesovskou' interpretaci pravdepodobnosti je ciste zalezitost interpretacni, na vzorce a vysledky to nema vliv (podobne jako ruzne interpretace kvantove mechaniky). Proto je treba nemichat 'bayesovskou interpretaci' na jedne strane a bayesuv vzorec ci bayesovskouu inferenci, coz jsou elementarni veci z pravdepodobnosti a statistiky platne a pouzivane nezavisle na interpretaci.

[Ivan]

Ono zalezi na tom odkud zacnete a kam se dostanete. Muzete zacit s Borelovsky meritelnymi mnozinami, teorii miry a dostanete se az k Bayesove vete, kterou pak "musite" dokazat. Anebo zacnete z druhe strany a Bayesovu "vetu" prohlasite za axiom o ktereho se vsechno dale odviji.

Alespon na MFF se jde tim prvnim zpusobem.

[Ondrej 'SanTiago' Zajicek]

To se ale IMHO vyjadrujes spis uz k samotne matematicke teorii, kterou muzeme budouvat z ruznych axiomu, ale to je vcelku jedno, protoze v obou pripadech dostaneme tu samou teorii a pri axiomatickem matematickem pristupu na filosoficke interpretaci v podstate nezalezi.

[Fluttershy, yay!]

Ano. A kdyby si někdo chtěl zaprasit...

[Jirka]

No, na tom, že se frekventistické statistice říká klasická není nic mylného - to je zcela běžné pojmenování.

[=^..^= AmigaPower®]

Příloha:

• paragan.png (109421 bytů)

Úplně normální Uďo, něco podobného jsem dnes podnájemníkovi posílal smskou :P

[Petr Bravenec]

Opravuji: frekvenční.

[Kooala]

Hele, ja na statistiku taky nejsem zadnej expert, ale na prvni pohled je mi jasny, ze by sis to mel prostudovat jeste jednou, protoze to mas uplne blbe. A zda se mi, ze mas i docela problemy se zakladnimi pocty.

Jak ti muze vyjit, ze 50%/2.9%=17%???? Kdyz to clovek napise normalne, 0.5/0.029 tak mu hned vyjde 17.24, coz je jasny, ze je blbost, protoze pravdepodobnost nemuze byt vetsi nez 1. Ani nemluve o tom, ze to ze ti to vyjde 17% je na prvni pohled podezrely, kdyz fabrika A vyrobi pres 1/3 vadnych vyrobku.

Jinak spravne to ma byt 0.01/0.029=0.34. Pokud tomu neveris nebo to porad nechapes, zkus si to predstavit jako ze celkove fabriky vyrobi 1000 vyrobku, z toho A 490 dobrych a 10 smejdu, fabrika B 291 a 9 a C 190 a 10. Potom si normalne spocitas ten pomer 10/(10+9+10).

[Petr Bravenec]

Člověk by si vyliskal. Jasně, že je tam chyba! Opravil jsem to na 50% × 2% / 2,9% = 34,4%.

[Bystroushaak]

Pěkné, děkuji.

[backinabag]

Pro vetsinu lidi (vcetne me) je rozhodne intuitivnejsi bayesovska statistika - ta frekvencni je takova zaludna, koncepty jako konfidencni intervaly nebo p-values nejsou na prvni pohled slozite, ale ve skutecnosti se musi clovek poradne zamyslet, aby tomu opravdu rozumnel.

Statistika se hodne zabyva odhady parametru pravdepodobnostnich rozdeleni - a to lze delat bud bayesovsky nebo frekvencne. Napriklad muzeme chtit odhadnout prumernou vysku populace.

Frekvencni pristup by byl sedet venku na lavicce a merit vysku kolemjdoucich. Jakmile budem mit 10 mereni, tak to zprumerovat a spocitat konfidencni interval. Muze napriklad vyjit 1.8m - 1.9m na hladine spolehlivosti 5%. Interpretuje se to tak, ze skutecna prumerna vyska je pevne dana a to co nam vyslo je nahodna velicina, v tomhle pripade nam s pravdepodobnosti 95% vysel interval, ve kterem ta skutecna vyska lezi. Pokud bychom ten samy experiment provedli 100×, tak se da cekat, ze asi 95× nam vyjde interval, ktery bude obsahovat skutecnou prumernou vysku a 5× interval, ktery bude mimo.

Bayesovsky pristup – prumerna vyska populace je nahodna velicina a my se snazime se odhadnout jeji pravdepodobnostni rozdeleni. Taky sedime na lavicce a merime vysky kolemjdoucich. Ale uplne na zacatku musime predpokladat nejake pravdepodobnostni rozdeleni prumerne vysky populace – prior distribution. Typicky se voli uniformi rozdeleni, v nasem pripade zvolime, ze vyska je v intervalu 0m az 3m, vsude se stejnou pravdepodobnosti.

Jakmile projde prvni kolemjdouci, zmerime vysku a pomoci Bayesova vzorce spocitame posterior distribution. Takze ted mame presnejsi odhad skutecne prumerne vysky. Jakmile projde dalsi kolemjdouci, udelame to same, vezmem aktualni pravdepodobnostni rozdeleni prumerne vysky (posterior d. co nam pred chvili vyslo bereme jako prior d.) a pomoci namerene vysky spocitame posterior distribution. Takze po deseti kolemjdoucich nam nevyjde konfidencni interval, ale pravdepodobnostni rozdeleni nahodne veliciny "prumerna vyska populace".

Bayesovsky pristup dava presnejsi vysledky, ale za cenu vetsich predpokladu a vetsi vypocetni narocnosti, coz je duvod, proc se driv Bayesovska statistika moc nepouzivala.

[Petr Bravenec]

Díky za takové vysvětlení - myslím, že na lepší vysvětlení jsem nikde nenarazil.

[backinabag]

Taky diky, taky jsem mel problem najit neco z ceho se to da pochopit - nekde to je vysvetleny nejakou abstraktni metaforou, takze to je sice pochopitelny pro kazdyho, ale jenom povrchne - a jinde to je zase vysvetleny na vzoreccich, coz se taky chape spatne :)

Myslim ze jedno z tech lepsich vysvetleni je tohle.

K tomu co jsem napsal bych jeste dodal:

Frekvencni chapani pravdepodobnosti = kdyz budu porad dokola hazet minci, jak casto bude padat panna.

Bayesovske chapani pravdepodobnosti = degree of belief - kdyz najdu na ulici minci, subjektivne povazuju za velmi pravdepodobne, ze to je prava a tedy vyvazena mince, takze prior pravdepodobnost, ze to je vyvazena mince zvolim 99%.

V bayesovske statistice se tedy volbou prior pravdepodobnosti explicitne vyjadri subjektivni predpoklady. Ve frekvencni lze neceho podobneho castecne docilit implicitne a netransparentne volbou hladiny spolehlivosti.

[Tomáš]

Zdá se mi, že to tady nějak motáš (ono se mi to až tak nezdá). Neumím si představit, že bych měl počítat Bayesovskou pravděpodobnost a přitom se dokázal vyhnout té "klasické" (např. frekvenční).

Bayesovská statistika je opravdu o tom, co psal autor v článku. Mám kvalitativní veličinu (výsledek testu), který nastává za určitých pravděpodobností (tady je ta klasická pravděpodobnost) při různých vstupech (zobe/nezobe). Z výsledku testu chci odhadnout, jestli opravdu zobe/nezobe.

Nějaké odhadování distribuční funkce je věda a alchymie sama o sobě a nemá unikátní vazbu na jednu nebo druhou statistiku.

[Michal Kubeček]

Ono je to hlavně potřeba chápat ne tak, že by byly nějaké dvě statistiky, ale že statistika (jedna) poskytuje různé metody, které se dají aplikovat při analýze reálného světa. Na něco se víc hodí jedna, na něco jiná. Každý má samozřejmě své preference a návyky ovlivňující jeho výběr, ale ty by ho neměly zaslepovat.

[Petr Bravenec]

Já myslím, že to nemotá. Jedna věc je Bayesův vzorec, druhá věc je celý Bayesův přístup. Právě apriori předpoklady jsou asi příčinou, proč byla bayesiánská statistika tak dlouho mimo jakýkoliv zájem: "Tohle je matematika, sem si nemůžete zadávat čísla, jak vás napadne!" Ve starších učebnicích statistiky nenajdete o Bayesovi ani slovo.

[JS1]

Moc se v tom nevyznam, ale myslim, ze ten hlavni duvod, proc byla Bayesovska statistika mimo zajem, je skutecne vypocetni. Takove ty klasicke testy si muzete udelat v ruce, ale spocitat Bayesovsky posterior neni trivialni, a myslim, ze to casto nedokazeme analyticky u spojitych funkci ani dnes.

Zase na druhou stranu, a ten clanek co tu nekdo postoval se toho dotyka, ten bayesovsky posterior da daleko vic informaci nez klasicky statisticky test (a proto se to blbe pocita - nic neni zadarmo).

Takze se to IMHO pouziva spis tam, kde jsou diskretni rozdeleni, nebo "neco na ten zpusob" - treba u Bayesovskych siti.

[Jirka]

No, tohle není tak úplně pravda. Ve skutečnosti je počítání Bayesovských posteriorů za zjednodušujících předpokladů, které se ve frekventistické statistice používají také, celkem jednoduché, například pokud předpokládáte normalitu měřených veličin atd.

Problémy začínají, pokud používáte různá exotická rozdělení - jako např. bimodální normální rozdělení pro výšku lidí. Ale tam by mělo obyčejné testování hypotéz stejné problémy.

Zásadnější problém z hlediska frekventistů je opravdu ta nutnost skutečně formulovat alternativu(y) a najít pro ně apriorní rozdělení, přičemž výsledek na nich závisí. V klasickém testování hypotéz nic takového není, výsledek testu závisí prakticky pouze na formulaci H0 a hladině významnosti (což tedy nebrání publikování testu zamítajícího H0 jako testu potvrzujícího nějakou H1, ale to je jiná pohádka).

[JS1]

Kdyz si to po sobe ted znovu ctu, tak to vlastne neni az tak nelogicke. I frekvencionisticke (?) testy hypotez vyzaduji a priori predpoklad, totiz hladinu vyznamnosti nebo podobny parametr. Bayesovsky test vyzaduje cely prior, ale zase dostaneme cely posterior a ne jenom malou informaci o nem.

Takze, oba pristupy vyzaduji vklad subjektivni informace, v pomeru k tomu, kolik informace dostaneme nazpatek. Jen u toho klasickeho pristupu to neni tolik na ocich.

[backinabag]

Mě se zase zdá, že to motáš ty, resp. víc než já ;) Bayesovská statistika != Bayesův vzorec.

Rekl bych, ze je jenom jedna statistika, ale ruzne 1) chapani pravdepodobnosti a 2) techniky a metody:

Bayesovske chapani pravdepodobnosti - zalozeno na subjektivnim vyhodnoceni.

Frekvencni chapani pravdepodobnosti - zalozeno na frekvenci vysledku pri opakovani experimentu.

Bayesovska inference - mam priorni rozdeleni pravdepodobnosti, provedu experiment, ziskam posteriorni pravdepodobnost. Pouziva se Bayesuv vzorec.

Frekvencni inference - testovani hypotez, konfidencni intervaly.

[JS1]

Ano, myslim, ze to pises zcela spravne.

[Odin]

Pisete, ze jste inzenyr. Mohu se prosim zeptat, na jake skole jste absolvoval?

[backinabag]

Smim se zeptat na tvoji skolu ;) ?

[odin]

Nemam potrebu se ohanet vzdelanim Ale jiz jsem o tom zde psal, kdo hleda, najde.

[Petr Bravenec]

Neporozuměl jste napsanému textu. Nepíšu nic takového.

[Petr Bravenec]

Člověk napíše článek o bayesiánské statistice, a hned na něj začnou jukat příklady:

Allianz má bič na pojistné podvodníky - hlasový analyzátor