Vægtning for omvendt varians - Inverse-variance weighting

I statistik er inverse variansvægtning en metode til at samle to eller flere tilfældige variabler for at minimere variansen af det vægtede gennemsnit. Hver tilfældig variabel vægtes i omvendt forhold til dens varians, dvs. proportional med dens præcision .

Givet en sekvens af uafhængige observationer y _i med afvigelser σ _i ² , er det indvendige variansvægtede gennemsnit givet ved

${\ displaystyle {\ hat {y}} = {\ frac {\ sum _ {i} y_ {i} / \ sigma _ {i} ^ {2}} {\ sum _ {i} 1 / \ sigma _ { i} ^ {2}}}.}$

Det omvendte variansvægtede gennemsnit har den mindste varians blandt alle vejede gennemsnit, som kan beregnes som

${\ displaystyle Var ({\ hat {y}}) = {\ frac {1} {\ sum _ {i} 1 / \ sigma _ {i} ^ {2}}}.}$

Hvis målingernes afvigelser er ens, bliver det vægtede gennemsnit af det inverse varians det enkle gennemsnit.

Vægtning af invers varians anvendes typisk i statistisk metaanalyse eller sensorfusion for at kombinere resultaterne fra uafhængige målinger.

Sammenhæng

Antag at en eksperimentator vil måle værdien af ​​en mængde, siger accelerationen på grund af jordens tyngdekraft , hvis sande værdi tilfældigvis er . En omhyggelig eksperimentator foretager flere målinger, som vi betegner med tilfældige variabler . Hvis de alle er støjende, men upartiske, dvs. måleenheden ikke systematisk overvurderer eller undervurderer den sande værdi, og fejlene spredes symmetrisk, så forventningsværdien . Spredningen i målingen er derefter karakteriseret ved variansen af de tilfældige variabler , og hvis målingerne udføres under identiske scenarier, så er alle de samme, som vi skal henvise til ved . Givet målingerne er en typisk estimator for , betegnet som , givet ved det enkle gennemsnit . Bemærk, at dette empiriske gennemsnit også er en tilfældig variabel, hvis forventningsværdi er, men også har en spredning. Hvis de enkelte målinger ikke er korreleret, gives kvadratet af fejlen i estimatet af . Derfor, hvis alle er ens, falder fejlen i estimatet med stigning i som , hvilket gør flere observationer foretrukne. ${\ displaystyle \ mu}$${\ displaystyle n}$ ${\ displaystyle X_ {1}, X_ {2}, ..., X_ {n}}$ ${\ displaystyle E [X_ {i}] = \ mu}$ ${\ displaystyle \ forall i}$${\ displaystyle Var (X_ {i}): = \ sigma _ {i} ^ {2}}$${\ displaystyle \ sigma _ {i}}$${\ displaystyle \ sigma}$${\ displaystyle n}$${\ displaystyle \ mu}$${\ displaystyle {\ hat {\ mu}}}$ ${\ displaystyle {\ overline {X}} = {\ frac {1} {n}} \ sum _ {i} X_ {i}}$${\ displaystyle E [{\ overline {X}}]}$${\ displaystyle \ mu}$${\ displaystyle Var ({\ overline {X}}) = {\ frac {1} {n ^ {2}}} \ sum _ {i} \ sigma _ {i} ^ {2} = \ left ({\ frac {\ sigma} {\ sqrt {n}}} \ højre) ^ {2}}$${\ displaystyle \ sigma _ {i}}$${\ displaystyle n}$${\ displaystyle 1 / {\ sqrt {n}}}$

I stedet for gentagne målinger med et instrument, hvis eksperimentatoren foretager den samme mængde med forskellige instrumenter med varierende kvalitet af målingerne, er der ingen grund til at forvente, at de forskellige er de samme. Nogle instrumenter kunne være mere støjende end andre. I eksemplet med måling af accelerationen på grund af tyngdekraften kunne de forskellige "instrumenter" måle fra et simpelt pendul , fra analyse af en projektilbevægelse osv. Det enkle gennemsnit er ikke længere en optimal estimator, da fejlen i faktisk kan overstige fejlen i mindst støjende måling, hvis forskellige målinger har meget forskellige fejl. I stedet for at kassere de støjende målinger, der øger den endelige fejl, kan eksperimentatoren kombinere alle målingerne med passende vægte for at give mere vægt på de mindst støjende målinger og omvendt. I betragtning af kendskabet til , ville en optimal estimator til måling være et vægtet gennemsnit af målingerne for det specifikke valg af vægte . Estimatorens varians , som for det optimale valg af vægte bliver${\ displaystyle n}$${\ displaystyle n}$${\ displaystyle n}$${\ displaystyle \ sigma _ {i}}$${\ displaystyle g}$${\ displaystyle {\ overline {X}}}$${\ displaystyle \ sigma _ {1} ^ {2}, \ sigma _ {2} ^ {2}, ..., \ sigma _ {n} ^ {2}}$${\ displaystyle \ mu}$${\ displaystyle {\ hat {\ mu}} = {\ frac {\ sum _ {i} w_ {i} X_ {i}} {\ sum _ {i} w_ {i}}}}$${\ displaystyle w_ {i} = 1 / \ sigma _ {i} ^ {2}}$${\ displaystyle Var ({\ hat {\ mu}}) = {\ frac {\ sum _ {i} w_ {i} ^ {2} \ sigma _ {i} ^ {2}} {\ left (\ sum _ {i} w_ {i} \ right) ^ {2}}}}$${\ displaystyle Var ({\ hat {\ mu}} _ {\ text {opt}}) = \ left (\ sum _ {i} \ sigma _ {i} ^ {- 2} \ right) ^ {- 1 }.}$

Bemærk, at siden estimatoren har en spredning, der er mindre end spredningen i enhver individuel måling. Desuden falder spredningen ind med tilføjelse af flere målinger, men de mere støjende målinger kan være. ${\ displaystyle Var ({\ hat {\ mu}} _ {\ text {opt}}) <\ min _ {j} \ sigma _ {j} ^ {2}}$${\ displaystyle {\ hat {\ mu}} _ {\ text {opt}}}$

Afledning

Overvej en generisk vægtet sum , hvor vægtene normaliseres således, at . Hvis alle er uafhængige, variansen af er givet ved ${\ displaystyle Y = \ sum _ {i} w_ {i} X_ {i}}$${\ displaystyle w_ {i}}$${\ displaystyle \ sum _ {i} w_ {i} = 1}$${\ displaystyle X_ {i}}$${\ displaystyle Y}$

${\ displaystyle Var (Y) = \ sum _ {i} w_ {i} ^ {2} \ sigma _ {i} ^ {2}.}$

For optimalitet ønsker vi at minimere, hvad der kan gøres ved at sidestille gradienten med hensyn til vægten til nul, mens vi opretholder begrænsningen . Ved hjælp af en Lagrange-multiplikator til at håndhæve begrænsningen udtrykker vi variansen ${\ displaystyle Var (Y)}$${\ displaystyle Var (Y)}$${\ displaystyle \ sum _ {i} w_ {i} = 1}$ ${\ displaystyle w_ {0}}$

${\ displaystyle Var (Y) = \ sum _ {i} w_ {i} ^ {2} \ sigma _ {i} ^ {2} -w_ {0} (\ sum _ {i} w_ {i} -1 ).}$

For , ${\ displaystyle k> 0}$

${\ displaystyle 0 = {\ frac {\ partial} {\ partial w_ {k}}} Var (Y) = 2w_ {k} \ sigma _ {k} ^ {2} -w_ {0},}$

hvilket indebærer det

${\ displaystyle w_ {k} = {\ frac {w_ {0} / 2} {\ sigma _ {k} ^ {2}}}.}$

Den vigtigste takeaway her er det . Siden , ${\ displaystyle w_ {k} \ propto 1 / \ sigma _ {k} ^ {2}}$${\ displaystyle \ sum _ {i} w_ {i} = 1}$

${\ displaystyle {\ frac {2} {w_ {0}}} = \ sum _ {i} {\ frac {1} {\ sigma _ {i} ^ {2}}}: = {\ frac {1} {\ sigma _ {0} ^ {2}}}.}$

De individuelle normaliserede vægte er

${\ displaystyle w_ {k} = {\ frac {1} {\ sigma _ {k} ^ {2}}} \ left (\ sum _ {i} {\ frac {1} {\ sigma _ {i} ^ {2}}} \ højre) ^ {- 1}.}$

Det er let at se, at denne ekstreme løsning svarer til minimumet fra den anden partielle afledte test ved at bemærke, at variansen er en kvadratisk funktion af vægtene. Således angives estimatorens mindste varians ved

${\ displaystyle Var (Y) = \ sum _ {i} {\ frac {\ sigma _ {0} ^ {4}} {\ sigma _ {i} ^ {4}}} \ sigma _ {i} ^ { 2} = \ sigma _ {0} ^ {4} \ sum _ {i} {\ frac {1} {\ sigma _ {i} ^ {2}}} = \ sigma _ {0} ^ {4} { \ frac {1} {\ sigma _ {0} ^ {2}}} = \ sigma _ {0} ^ {2} = {\ frac {1} {\ sum _ {i} 1 / \ sigma _ {i } ^ {2}}}.}$

Normale fordelinger

For normalt distribuerede tilfældige variabler kan inverse-variansvægtede gennemsnit også udledes som det maksimale sandsynlighedsestimat for den sande værdi. Ud fra et Bayesisk perspektiv er den bageste fordeling for den sande værdi givet normalt distribuerede observationer og en flad prior en normalfordeling med det inverse-variansvægtede gennemsnit som middel og varians.${\ displaystyle y_ {i}}$${\ displaystyle Var (Y)}$

Multivariat sag

For multivariate distributioner fører et ækvivalent argument til en optimal vægtning baseret på kovariansmatricerne i de enkelte estimater : ${\ displaystyle \ Sigma _ {i}}$${\ displaystyle x_ {i}}$

${\ displaystyle {\ hat {x}} = \ left (\ sum _ {i} \ Sigma _ {i} ^ {- 1} \ right) ^ {- 1} \ sum _ {i} \ Sigma _ {i } ^ {- 1} x_ {i}}$

${\ displaystyle Var ({\ hat {x}}) = \ left (\ sum _ {i} \ Sigma _ {i} ^ {- 1} \ right) ^ {- 1}}$

For multivariate distributioner anvendes udtrykket "præcisionsvægtet" gennemsnit mere.

Se også

• Vægtede mindste firkanter

Referencer