Bayes faktor - Bayes factor

Del af en serie om
Bayesiansk statistik
Teori
Regel for acceptabel afgørelse Bayesiansk effektivitet Bayesisk epistemologi Bayesisk sandsynlighed Sandsynlighedstolkninger Bayes 'sætning Bayes faktor Bayesisk slutning Bayesiansk netværk Forud Posterior Sandsynlighed Bøj tidligere Posterior forudsigende Hyperparameter Hyperprior Ligegyldighedsprincip Princip for maksimal entropi Empirisk Bayes -metode Cromwells regel Bernstein -von Mises sætning Schwarz kriterium Troværdigt interval Maksimalt efterfølgende estimat Radikal sandsynlighed
Teknikker
Bayesisk lineær regression Bayesisk estimator Omtrentlig bayesiansk beregning Markov -kæden Monte Carlo
Matematik portal
v t e

I statistik er brugen af Bayes -faktorer et bayesisk alternativ til klassisk hypotesetest . Bayesiansk model sammenligning er en metode til modelvalg baseret på Bayes faktorer. De modeller, der overvejes, er statistiske modeller . Formålet med Bayes -faktoren er at kvantificere understøttelsen af ​​en model frem for en anden, uanset om disse modeller er korrekte. Den tekniske definition af "support" i forbindelse med Bayesian inferens er beskrevet nedenfor.

Definition

Bayes -faktoren er et sandsynlighedsforhold mellem den marginale sandsynlighed for to konkurrerende hypoteser, normalt et nul og et alternativ.

Den bageste sandsynlighed for en model M givet data D er givet ved Bayes 'sætning : ${\ displaystyle \ Pr (M | D)}$

${\ displaystyle \ Pr (M | D) = {\ frac {\ Pr (D | M) \ Pr (M)} {\ Pr (D)}}.}$

Det centrale dataafhængige udtryk repræsenterer sandsynligheden for, at nogle data produceres under antagelsen af ​​modellen M ; at evaluere det korrekt er nøglen til Bayesiansk model sammenligning. ${\ displaystyle \ Pr (D | M)}$

I betragtning af et modelvalgsproblem, hvor vi skal vælge mellem to modeller på grundlag af observerede data D , vurderes plausibiliteten af ​​de to forskellige modeller M ₁ og M ₂ , parametriseret af modelparametervektorer og , vurderet af Bayes -faktor K givet ved ${\ displaystyle \ theta _ {1}}$${\ displaystyle \ theta _ {2}}$

${\ displaystyle K = {\ frac {\ Pr (D | M_ {1})} {\ Pr (D | M_ {2})}} = {\ frac {\ int \ Pr (\ theta _ {1} | M_ {1}) \ Pr (D | \ theta _ {1}, M_ {1}) \, d \ theta _ {1}} {\ int \ Pr (\ theta _ {2} | M_ {2}) \ Pr (D | \ theta _ {2}, M_ {2}) \, d \ theta _ {2}}} = {\ frac {\ frac {\ Pr (M_ {1} | D) \ Pr (D )} {\ Pr (M_ {1})}} {\ frac {\ Pr (M_ {2} | D) \ Pr (D)} {\ Pr (M_ {2})}}} = {\ frac { \ Pr (M_ {1} | D)} {\ Pr (M_ {2} | D)}} {\ frac {\ Pr (M_ {2})} {\ Pr (M_ {1})}}}}$

Når de to modeller har lige tidligere sandsynlighed, så Bayes -faktoren er lig med forholdet mellem de bageste sandsynligheder for M ₁ og M ₂ . Hvis der i stedet for Bayes-faktorintegralen bruges sandsynligheden svarende til det maksimale sandsynlighedsestimat for parameteren for hver statistisk model, så bliver testen til en klassisk sandsynlighedsforholdstest . I modsætning til en sandsynlighedsforholdstest afhænger denne Bayesianske model sammenligning ikke af et enkelt sæt parametre, da den integreres over alle parametre i hver model (med hensyn til de respektive priors). En fordel ved brugen af ​​Bayes -faktorer er imidlertid, at den automatisk og ganske naturligt indeholder en straf for at inkludere for meget modelstruktur. Det beskytter dermed mod overmontering . For modeller, hvor en eksplicit version af sandsynligheden ikke er tilgængelig eller for dyr at evaluere numerisk, kan omtrentlig Bayesiansk beregning bruges til modelvalg i en bayesisk ramme, med forbehold om, at omtrentlige Bayesiske skøn over Bayes-faktorer ofte er forudindtaget. ${\ displaystyle \ Pr (M_ {1}) = \ Pr (M_ {2})}$

Andre tilgange er:

• at behandle modelsammenligning som et beslutningsproblem , beregne den forventede værdi eller pris for hvert modelvalg;
• for at bruge minimum beskedlængde (MML).

Fortolkning

En værdi på K > 1 betyder, at M ₁ er stærkere understøttet af de pågældende data end M ₂ . Bemærk, at klassisk hypotesetest giver en hypotese (eller model) foretrukken status ('nulhypotesen'), og kun overvejer beviser imod den. Harold Jeffreys gav en skala til fortolkning af K :

Den anden kolonne giver de tilsvarende bevismængder i decihartleys (også kendt som decibans ); bits tilføjes i den tredje kolonne for klarheds skyld. Ifølge IJ Good er en ændring i vægten af ​​beviser for 1 deciban eller 1/3 af en bit (dvs. en ændring i et oddsforhold fra lige til ca. 5: 4) omtrent lige så fint, som mennesker med rimelighed kan opfatte deres grad af tro i en hypotese i daglig brug.

En alternativ tabel, bredt citeret, leveres af Kass og Raftery (1995):

Eksempel

Antag, at vi har en tilfældig variabel, der enten producerer en succes eller en fiasko. Vi vil sammenligne en model M _1, hvor sandsynligheden for succes er q = ½, og en anden model M _2, hvor q er ukendt, og vi tager en forudgående fordeling for q, der er ensartet på [0,1]. Vi tager en prøve på 200 og finder 115 succeser og 85 fejl. Sandsynligheden kan beregnes i henhold til den binomiske fordeling :

${\ displaystyle {{200 \ vælg 115} q^{115} (1-q)^{85}}.}$

Således har vi for M ₁

${\ displaystyle P (X = 115 \ mid M_ {1}) = {200 \ vælg 115} \ venstre ({1 \ over 2} \ højre)^{200} \ ca. 0,006}$

hvorimod vi har for M ₂

${\ displaystyle P (X = 115 \ mid M_ {2}) = \ int _ {0}^{1} {200 \ vælg 115} q^{115} (1-q)^{85} dq = {1 \ over 201} \ ca. 0,005}$

Forholdet er derefter 1,2, hvilket er "næppe værd at nævne", selvom det peger meget let mod M ₁ .

En hyppig hypotesetest af M ₁ (her betragtet som en nulhypotese ) ville have frembragt et meget anderledes resultat. En sådan test siger, at M ₁ bør afvises ved signifikansniveauet på 5%, da sandsynligheden for at få 115 eller flere succeser fra en prøve på 200, hvis q = ½ er 0,02, og som en tosidet test for at få et tal som ekstrem som eller mere ekstrem end 115 er 0,04. Bemærk, at 115 er mere end to standardafvigelser væk fra 100. Selvom en hyppig hypotesetest ville give betydelige resultater på 5% signifikansniveau, anser Bayes -faktoren næppe dette for at være et ekstremt resultat. Bemærk dog, at en ikke-ensartet prior (f.eks. En, der afspejler det faktum, at du forventer, at antallet af succes og fiaskoer er af samme størrelsesorden) kan resultere i en Bayes-faktor, der er mere enig med frekvensisten hypotesetest.

En klassisk sandsynlighedsforholdstest ville have fundet det maksimale sandsynlighedsestimat for q , nemlig ¹¹⁵ ⁄ ₂₀₀ = 0,575, hvorfra

${\ displaystyle \ textstyle P (X = 115 \ mid M_ {2}) = {{200 \ vælg 115} q^{115} (1-q)^{85}} \ ca. 0,06}$

(frem for at beregne et gennemsnit over alle mulige q ). Det giver et sandsynlighedsforhold på 0,1 og peger mod M ₂ .

M ₂ er en mere kompleks model end M _1, fordi den har en gratis parameter, som gør det muligt at modellere dataene tættere. Bayes -faktorers evne til at tage højde for dette er en grund til, at Bayesisk slutning er blevet fremsat som en teoretisk begrundelse for og generalisering af Occams barbermaskine , hvilket reducerer Type I -fejl .

På den anden side tager den moderne metode til relativ sandsynlighed hensyn til antallet af gratis parametre i modellerne, i modsætning til det klassiske sandsynlighedsforhold. Den relative sandsynlighedsmetode kan anvendes som følger. Model M ₁ har 0 parametre, så dens AIC -værdi er 2 · 0 - 2 · ln (0,005956) = 10,2467. Model M ₂ har 1 parameter, så dens AIC -værdi er 2 · 1 - 2 · ln (0,056991) = 7,7297. Derfor er M ₁ omkring exp ((7.7297 - 10.2467)/2) = 0,284 gange så sandsynligt som M _{2 for} at minimere informationstabet. Således M ₂ er lidt foretrækkes, men M ₁ kan ikke udelukkes.

Se også

• Akaike informationskriterium
• Omtrentlig bayesiansk beregning
• Bayesisk informationskriterium
• Afvigelseskriterium
• Lindleys paradoks
• Minimum beskedlængde
• Modelvalg

Statistiske forhold

• Odds -forhold
• Relativ risiko

Referencer

Yderligere læsning

• Bernardo, J .; Smith, AFM (1994). Bayesiansk teori . John Wiley. ISBN 0-471-92416-4.
• Denison, DGT; Holmes, CC; Mallick, BK; Smith, AFM (2002). Bayesianske metoder til ikke -lineær klassificering og regression . John Wiley. ISBN 0-471-49036-9.
• Dienes, Z. (2019). Hvordan ved jeg, hvad min teori forudsiger? Fremskridt inden for metoder og praksis inden for psykologisk videnskab doi : 10.1177/2515245919876960
• Duda, Richard O .; Hart, Peter E .; Stork, David G. (2000). "Afsnit 9.6.5". Mønsterklassificering (2. udgave). Wiley. s. 487–489. ISBN 0-471-05669-3.
• Gelman, A .; Carlin, J .; Stern, H .; Rubin, D. (1995). Bayesiansk dataanalyse . London: Chapman & Hall . ISBN 0-412-03991-5.
• Jaynes, ET (1994), Sandsynlighedsteori: videnskabens logik , kapitel 24.
• Lee, PM (2012). Bayesiansk statistik: en introduktion . Wiley. ISBN 9781118332573.
• Winkler, Robert (2003). Introduktion til Bayesian Inference and Decision (2. udgave). Sandsynlighed. ISBN 0-9647938-4-9.

eksterne links

• BayesFactor - en R -pakke til beregning af Bayes -faktorer i almindelige forskningsdesign
• Bayes faktorberegner - Online lommeregner til informerede Bayes -faktorer
• Bayes Factor Calculators — webbaseret version af meget af BayesFactor-pakken