Mindste gennemsnitlige kvadratfejl - Minimum mean square error

I statistikker og signalbehandling , et minimum mean square error ( MMSE ) estimator er et skøn, som minimerer middelkvadratfejlen (MSE), som er en fælles mål for estimator kvalitet, af de tilpassede værdier af en afhængig variabel . I den bayesiske indstilling refererer udtrykket MMSE mere specifikt til estimering med kvadratisk tabsfunktion. I sådanne tilfælde er MMSE -estimatoren givet ved posterior middelværdi af parameteren, der skal estimeres. Da det bageste middel er besværligt at beregne, er formen for MMSE -estimatoren normalt begrænset til at være inden for en bestemt klasse af funktioner. Lineære MMSE -estimatorer er et populært valg, da de er lette at bruge, nemme at beregne og meget alsidige. Det har givet anledning til mange populære estimatorer, såsom Wiener -Kolmogorov -filteret og Kalman -filteret .

Motivering

Udtrykket MMSE refererer mere specifikt til estimering i en bayesisk indstilling med kvadratisk omkostningsfunktion. Grundtanken bag den bayesianske tilgang til estimering stammer fra praktiske situationer, hvor vi ofte har nogle forudgående oplysninger om den parameter, der skal estimeres. For eksempel kan vi have forudgående information om det område, som parameteren kan antage; eller vi kan have et gammelt estimat af parameteren, som vi ønsker at ændre, når en ny observation stilles til rådighed; eller statistikken over et faktisk tilfældigt signal, såsom tale. Dette er i modsætning til den ikke-bayesianske tilgang som minimum-varians upartisk estimator (MVUE), hvor absolut intet antages at være kendt om parameteren på forhånd, og som ikke tager højde for sådanne situationer. I den bayesianske tilgang fanges sådanne forudgående oplysninger af parametrenes tidligere sandsynlighedstæthedsfunktion; og baseret direkte på Bayes sætning giver det os mulighed for at foretage bedre posteriore skøn, efterhånden som flere observationer bliver tilgængelige. I modsætning til ikke-bayesisk tilgang, hvor parametre af interesse antages at være deterministiske, men ukendte konstanter, søger den bayesiske estimator at estimere en parameter, der i sig selv er en tilfældig variabel. Desuden kan Bayesiansk estimering også beskæftige sig med situationer, hvor sekvensen af ​​observationer ikke nødvendigvis er uafhængig. Således giver Bayesiansk estimering endnu et alternativ til MVUE. Dette er nyttigt, når MVUE ikke findes eller ikke kan findes.

Definition

Lad være en skjult tilfældig vektorvariabel, og lad være en kendt tilfældig vektorvariabel (måling eller observation), som begge ikke nødvendigvis har samme dimension. En estimator af er en hvilken som helst funktion af målingen . Estimeringsfejlvektoren er givet ved og dens middelværdi i kvadratfejl (MSE) er givet ved spor af fejlkovariansmatrix${\ displaystyle x}$${\ displaystyle n \ gange 1}$${\ displaystyle y}$${\ displaystyle m \ gange 1}$ ${\ displaystyle {\ hat {x}} (y)}$${\ displaystyle x}$${\ displaystyle y}$${\ displaystyle e = {\ hat {x}}-x}$

${\ displaystyle \ operatorname {MSE} = \ operatorname {tr} \ left \ {\ operatorname {E} \ {({\ hat {x}}-x) ({\ hat {x}}-x)^{T } \} \ right \} = \ operatorname {E} \ {({\ hat {x}}-x)^{T} ({\ hat {x}}-x) \},}$

hvor forventningen overtages både og . Når er en skalær variabel, forenkles MSE -udtrykket til . Bemærk, at MSE på tilsvarende måde kan defineres på andre måder, siden ${\ displaystyle \ operatorname {E}}$${\ displaystyle x}$${\ displaystyle y}$${\ displaystyle x}$${\ displaystyle \ operatorname {E} \ left \ {({\ hat {x}}-x)^{2} \ right \}}$

${\ displaystyle \ operatorname {tr} \ left \ {\ operatorname {E} \ {ee^{T} \} \ right \} = \ operatorname {E} \ left \ {\ operatorname {tr} \ {ee^{ T} \} \ right \} = \ operatorname {E} \ {e^{T} e \} = \ sum _ {i = 1}^{n} \ operatorname {E} \ {e_ {i}^{ 2} \}.}$

MMSE -estimatoren defineres derefter som estimatoren, der opnår minimal MSE:

${\ displaystyle {\ hat {x}} _ {\ operatorname {MMSE}} (y) = \ operatorname {argmin} _ {\ hat {x}} \ operatorname {MSE}.}$

Ejendomme

• Når midlerne og afvigelserne er begrænsede, er MMSE -estimatoren entydigt defineret og givet af:

${\ displaystyle {\ hat {x}} _ {\ operatorname {MMSE}} (y) = \ operatorname {E} \ {x \ mid y \}.}$

Med andre ord er MMSE -estimatoren den betingede forventning givet den kendte observerede værdi af målingerne.${\ displaystyle x}$

• MMSE -estimatoren er upartisk (under de forudsætninger, der er nævnt ovenfor):

${\ displaystyle \ operatorname {E} \ {{\ hat {x}} _ {\ operatorname {MMSE}} (y) \} = \ operatorname {E} \ {\ operatorname {E} \ {x \ mid y \ } \} = \ operatornavn {E} \ {x \}.}$

• MMSE -estimatoren er asymptotisk upartisk, og den konvergerer i distributionen til normalfordelingen:

${\ displaystyle {\ sqrt {n}} ({\ hat {x}}-x) {\ xrightarrow {d}} {\ mathcal {N}} \ venstre (0, I^{-1} (x) \ ret),}$

hvor er Fisher oplysninger om . Således er MMSE -estimatoren asymptotisk effektiv .${\ displaystyle I (x)}$${\ displaystyle x}$

• Den orthogonalitetsprincippet : Når er en skalar, en estimator begrænset til at være af bestemt form er en optimal estimator, dvs. hvis og kun hvis${\ displaystyle x}$${\ displaystyle {\ hat {x}} = g (y)}$${\ displaystyle {\ hat {x}} _ {\ operatorname {MMSE}} = g^{*} (y),}$

${\ displaystyle \ operatorname {E} \ {({\ hat {x}} _ {\ operatorname {MMSE}} -x) g (y) \} = 0}$

for alle i lukkede, lineære delrum af målingerne. For tilfældige vektorer, da MSE for estimering af en tilfældig vektor er summen af ​​MSE'erne for koordinaterne, nedbrydes det at finde MMSE -estimatoren for en tilfældig vektor til at finde MMSE -estimatorerne for X -koordinaterne separat: ${\ displaystyle g (y)}$${\ displaystyle {\ mathcal {V}} = \ {g (y) \ mid g: \ mathbb {R} ^{m} \ rightarrow \ mathbb {R}, \ operatorname {E} \ {g (y) ^ {2} \} <+\ infty \}}$

${\ displaystyle \ operatorname {E} \ {(g_ {i}^{*} (y) -x_ {i}) g_ {j} (y) \} = 0,}$

for alle jeg og j . Mere kortfattet skal krydskorrelationen mellem den minimale estimationsfejl og estimatoren være nul, ${\ displaystyle {\ hat {x}} _ {\ operatorname {MMSE}} -x}$${\ displaystyle {\ hat {x}}}$

${\ displaystyle \ operatorname {E} \ {({\ hat {x}} _ {\ operatorname {MMSE}} -x) {\ hat {x}}^{T} \} = 0.}$

• Hvis og er Gaussisk i fællesskab , så er MMSE -estimatoren lineær, dvs. den har form til matrix og konstant . Dette kan vises direkte ved hjælp af Bayes -sætningen. Som en konsekvens heraf er det tilstrækkeligt at finde den lineære MMSE -estimator for at finde MMSE -estimatoren.${\ displaystyle x}$${\ displaystyle y}$${\ displaystyle Wy+b}$${\ displaystyle W}$${\ displaystyle b}$

Lineær MMSE -estimator

I mange tilfælde er det ikke muligt at bestemme det analytiske udtryk for MMSE -estimatoren. To grundlæggende numeriske metoder til at opnå MMSE -estimatet afhænger af enten at finde den betingede forventning eller at finde minimumsværdierne for MSE. Direkte numerisk vurdering af den betingede forventning er beregningsmæssigt dyr, da det ofte kræver multidimensionel integration, der normalt udføres via Monte Carlo -metoder . En anden beregningsmæssig tilgang er direkte at søge minimumsværdierne for MSE ved hjælp af teknikker som f.eks. De stokastiske nedstigningsmetoder  ; men denne metode kræver stadig evaluering af forventning. Selvom disse numeriske metoder har været frugtbare, er et ikke desto mindre muligt et lukket formudtryk for MMSE -estimatoren, hvis vi er villige til at indgå kompromiser. ${\ displaystyle \ operatorname {E} \ {x \ mid y \}}$

En mulighed er at opgive de fulde krav til optimalitet og søge en teknik, der minimerer MSE inden for en bestemt klasse af estimatorer, såsom klassen af ​​lineære estimatorer. Således har vi postulerer, at den betingede forventning om given størrelse er en simpel lineær funktion af , hvor målingen er en tilfældig vektor, er en matrix og er en vektor. Dette kan ses som den første ordre, Taylor tilnærmelse til . Den lineære MMSE -estimator er estimatoren, der opnår minimum MSE blandt alle estimatorer af en sådan form. Det vil sige, at det løser følgende optimeringsproblem: ${\ displaystyle x}$${\ displaystyle y}$${\ displaystyle y}$${\ displaystyle \ operatorname {E} \ {x \ mid y \} = Wy+b}$${\ displaystyle y}$${\ displaystyle W}$${\ displaystyle b}$${\ displaystyle \ operatorname {E} \ {x \ mid y \}}$

${\ displaystyle \ min _ {W, b} \ operatorname {MSE} \ qquad {\ text {st}} \ qquad {\ hat {x}} = Wy+b.}$

En fordel ved en sådan lineær MMSE -estimator er, at det ikke er nødvendigt eksplicit at beregne funktionen posterior sandsynlighedstæthed for . Sådan lineær estimator afhænger kun af de to første øjeblikke af og . Så selvom det kan være bekvemt at antage det og i fællesskab er gaussisk, er det ikke nødvendigt at gøre denne antagelse, så længe den formodede fordeling har veldefinerede første og andet øjeblik. Formen af ​​den lineære estimator afhænger ikke af typen af ​​den formodede underliggende fordeling. ${\ displaystyle x}$${\ displaystyle x}$${\ displaystyle y}$${\ displaystyle x}$${\ displaystyle y}$

Udtrykket for optimal og er givet af: ${\ displaystyle b}$${\ displaystyle W}$

${\ displaystyle b = {\ bar {x}}-W {\ bar {y}},}$

${\ displaystyle W = C_ {XY} C_ {Y}^{-1}.}$

hvor , den er kryds-kovariansmatrix mellem og , den er auto-kovariansmatrix af . ${\ displaystyle {\ bar {x}} = \ operatorname {E} \ {x \}}$${\ displaystyle {\ bar {y}} = \ operatorname {E} \ {y \},}$${\ displaystyle C_ {XY}}$${\ displaystyle x}$${\ displaystyle y}$${\ displaystyle C_ {Y}}$${\ displaystyle y}$

Således er udtrykket for lineær MMSE-estimator, dets middelværdi og dets auto-kovarians givet ved

${\ displaystyle {\ hat {x}} = W (y-{\ bar {y}})+{\ bar {x}},}$

${\ displaystyle \ operatorname {E} \ {{\ hat {x}} \} = {\ bar {x}},}$

${\ displaystyle C _ {\ hat {X}} = C_ {XY} C_ {Y}^{-1} C_ {YX},}$

hvor den er kryds-kovariansmatrix mellem og . ${\ displaystyle C_ {YX}}$${\ displaystyle y}$${\ displaystyle x}$

Endelig er fejlkovariansen og den mindste gennemsnitlige kvadratfejl, der opnås af en sådan estimator

${\ displaystyle C_ {e} = C_ {X} -C _ {\ hat {X}} = C_ {X} -C_ {XY} C_ {Y}^{-1} C_ {YX},}$

${\ displaystyle \ operatorname {LMMSE} = \ operatorname {tr} \ {C_ {e} \}.}$

Univariat tilfælde

For det særlige tilfælde, når begge og er skalarer, forenkler ovenstående forhold til ${\ displaystyle x}$${\ displaystyle y}$

${\ displaystyle {\ hat {x}} = {\ frac {\ sigma _ {XY}} {\ sigma _ {Y}^{2}}} (y-{\ bar {y}})+{\ bar {x}} = \ rho {\ frac {\ sigma _ {X}} {\ sigma _ {Y}}} (y-{\ bar {y}})+{\ bar {x}},}$

${\ displaystyle \ sigma _ {e}^{2} = \ sigma _ {X}^{2}-{\ frac {\ sigma _ {XY}^{2}} {\ sigma _ {Y}^{2 }}} = (1- \ rho ^{2}) \ sigma _ {X} ^{2},}$

hvor er Pearsons korrelationskoefficient mellem og . ${\ displaystyle \ rho}$${\ displaystyle x}$${\ displaystyle y}$

Beregning

Standardmetode som Gauss -eliminering kan bruges til at løse matrixligningen for . En mere numerisk stabil metode tilvejebringes ved hjælp af QR -dekomponeringsmetode . Da matrixen er en symmetrisk positiv bestemt matrix, kan den løses dobbelt så hurtigt med Cholesky -nedbrydningen , mens konjugatgradientmetoden for store sparsomme systemer er mere effektiv. Levinson -rekursion er en hurtig metode, når den også er en Toeplitz -matrix . Dette kan ske, når der er en vid forstand stationær proces. I sådanne stationære tilfælde omtales disse estimatorer også som Wiener – Kolmogorov filtre . ${\ displaystyle W}$${\ displaystyle C_ {Y}}$${\ displaystyle W}$${\ displaystyle C_ {Y}}$${\ displaystyle y}$

Lineær MMSE -estimator til lineær observationsproces

Lad os yderligere modellere den underliggende observationsproces som en lineær proces:, hvor er en kendt matrix og er tilfældig støjvektor med middelværdien og kryds-kovarians . Her vil det nødvendige middelværdi og kovariansmatricerne være ${\ displaystyle y = Ax+z}$${\ displaystyle A}$${\ displaystyle z}$${\ displaystyle \ operatorname {E} \ {z \} = 0}$${\ displaystyle C_ {XZ} = 0}$

${\ displaystyle \ operatorname {E} \ {y \} = A {\ bar {x}},}$

${\ displaystyle C_ {Y} = AC_ {X} A^{T}+C_ {Z},}$

${\ displaystyle C_ {XY} = C_ {X} A^{T}.}$

Således ændres udtrykket for den lineære MMSE -estimatormatrix yderligere til ${\ displaystyle W}$

${\ displaystyle W = C_ {X} A^{T} (AC_ {X} A^{T}+C_ {Z})^{-1}.}$

At sætte alt i udtrykket for , vi får ${\ displaystyle {\ hat {x}}}$

${\ displaystyle {\ hat {x}} = C_ {X} A^{T} (AC_ {X} A^{T}+C_ {Z})^{-1} (yA {\ bar {x}} )+{\ bar {x}}.}$

Endelig er fejlkovariansen

${\ displaystyle C_ {e} = C_ {X} -C _ {\ hat {X}} = C_ {X} -C_ {X} A^{T} (AC_ {X} A^{T}+C_ {Z })^{-1} AC_ {X}.}$

Den signifikante forskel mellem det estimeringsproblem, der er behandlet ovenfor, og dem med mindst kvadrater og Gauss – Markov estimat er, at antallet af observationer m , (dvs. dimensionen af ) ikke behøver at være mindst lige så stort som antallet af ukendte, n , (dvs. dimensionen af ). Estimatet for den lineære observationsproces eksisterer, så længe m -by- m matrixen eksisterer; dette er tilfældet for enhver m, hvis for eksempel er positiv bestemt. Fysisk er årsagen til denne egenskab, at da den nu er en tilfældig variabel, er det muligt at danne et meningsfuldt skøn (nemlig middelværdien) selv uden målinger. Hver ny måling giver simpelthen yderligere oplysninger, som kan ændre vores oprindelige estimat. Et andet træk ved dette estimat er, at der for m < n ikke behøver være nogen målefejl. Således kan vi have det , for så længe det er positivt bestemt, eksisterer estimatet stadig. Endelig kan denne teknik håndtere tilfælde, hvor støjen er korreleret. ${\ displaystyle y}$${\ displaystyle x}$${\ displaystyle (AC_ {X} A^{T}+C_ {Z})^{-1}}$${\displaystyle C_{Z}}$${\ displaystyle x}$${\ displaystyle C_ {Z} = 0}$${\ displaystyle AC_ {X} A^{T}}$

Alternativ form

En alternativ udtryksform kan opnås ved hjælp af matrixidentiteten

${\ displaystyle C_ {X} A^{T} (AC_ {X} A^{T}+C_ {Z})^{-1} = (A^{T} C_ {Z}^{-1} A +C_ {X}^{-1})^{-1} A^{T} C_ {Z}^{-1},}$

som kan etableres ved at efter-multiplicere med og for-multiplicere med at opnå ${\ displaystyle (AC_ {X} A^{T}+C_ {Z})}$${\ displaystyle (A^{T} C_ {Z}^{-1} A+C_ {X}^{-1}),}$

${\ displaystyle W = (A^{T} C_ {Z}^{-1} A+C_ {X}^{-1})^{-1} A^{T} C_ {Z}^{-1 },}$

og

${\ displaystyle C_ {e} = (A^{T} C_ {Z}^{-1} A+C_ {X}^{-1})^{-1}.}$

Da nu kan skrives i form af as , får vi et forenklet udtryk for as ${\ displaystyle W}$${\ displaystyle C_ {e}}$${\ displaystyle W = C_ {e} A^{T} C_ {Z}^{-1}}$${\ displaystyle {\ hat {x}}}$

${\ displaystyle {\ hat {x}} = C_ {e} A^{T} C_ {Z}^{-1} (yA {\ bar {x}})+{\ bar {x}}.}$

I denne form kan ovenstående udtryk let sammenlignes med det vejede mindst kvadratiske og Gauss -Markov estimat . Især når resultatet , svarende til uendelig variation af apriori -informationen , er identisk med det vejede lineære mindst kvadratiske estimat med vægtmatrixen. Desuden, hvis komponenterne i er ukorrelerede og har samme varians, således at hvor er en identitetsmatrix, så er identisk med det almindelige mindst kvadratiske skøn. ${\ displaystyle C_ {X}^{-1} = 0}$${\ displaystyle x}$${\ displaystyle W = (A^{T} C_ {Z}^{-1} A)^{-1} A^{T} C_ {Z}^{-1}}$${\ displaystyle C_ {Z}^{-1}}$${\ displaystyle z}$${\ displaystyle C_ {Z} = \ sigma ^{2} I,}$${\ displaystyle I}$${\ displaystyle W = (A^{T} A)^{-1} A^{T}}$

Sekventiel lineær MMSE -vurdering

I mange applikationer i realtid er observationsdata ikke tilgængelige i en enkelt batch. I stedet foretages observationerne i en rækkefølge. En naiv anvendelse af tidligere formler ville få os til at kassere et gammelt estimat og genberegne et nyt estimat, efterhånden som friske data stilles til rådighed. Men så mister vi alle oplysninger fra den gamle observation. Når observationerne er skalære størrelser, er en mulig måde at undgå en sådan genberegning først at sammenkæde hele observationssekvensen og derefter anvende standardestimeringsformlen som udført i eksempel 2. Men dette kan være meget kedeligt, fordi som antallet af observationer stiger, så vokser størrelsen på de matricer, der skal vendes og multipliceres. Denne metode er også vanskelig at udvide til at omfatte vektorobservationer. En anden tilgang til estimering fra sekventielle observationer er simpelthen at opdatere et gammelt estimat, efterhånden som yderligere data bliver tilgængelige, hvilket fører til finere estimater. Således ønskes en rekursiv metode, hvor de nye målinger kan ændre de gamle estimater. Implicit i disse diskussioner er antagelsen om, at de statistiske egenskaber for ikke ændrer sig med tiden. Med andre ord, er stationær. ${\ displaystyle x}$${\ displaystyle x}$

For sekventiel estimering, hvis vi har et estimat baseret på målinger, der genererer plads , så efter at have modtaget et andet sæt målinger, bør vi fra disse målinger trække den del, der kunne forventes ud fra resultatet af de første målinger, fra. Med andre ord skal opdateringen være baseret på den del af de nye data, der er ortogonal i forhold til de gamle data. ${\ displaystyle {\ hat {x}} _ {1}}$${\ displaystyle Y_ {1}}$

Antag, at der er dannet et optimalt estimat på grundlag af tidligere målinger, og at fejlkovariansmatricen er . For lineære observation behandler det bedste skøn over baseret på tidligere observationer, og dermed gammel skøn , er . Ved at trække fra får vi forudsigelsesfejlen ${\ displaystyle {\ hat {x}} _ {1}}$${\ displaystyle C_ {e_ {1}}}$${\ displaystyle y}$${\ displaystyle {\ hat {x}} _ {1}}$${\ displaystyle {\ hat {y}} = En {\ hat {x}} _ {1}}$${\ displaystyle {\ hat {y}}}$${\ displaystyle y}$

${\ displaystyle {\ tilde {y}} = y-{\ hat {y}} = A (x-{\ hat {x}} _ {1})+z = Ae_ {1}+z}$.

Det nye skøn baseret på yderligere data er nu

${\ displaystyle {\ hat {x}} _ {2} = {\ hat {x}} _ {1}+C_ {X {\ tilde {Y}}} C _ {\ tilde {Y}}^{-1 } {\ tilde {y}},}$

hvor er krydskovariansen mellem og og er den auto-kovarians af${\ displaystyle C_ {X {\ tilde {Y}}}}$${\ displaystyle x}$${\ displaystyle {\ tilde {y}}}$${\ displaystyle C _ {\ tilde {Y}}}$${\ displaystyle {\ tilde {y}}.}$

Ved hjælp af det faktum, at og , kan vi få kovariansmatricerne med hensyn til fejlkovarians som ${\ displaystyle \ operatorname {E} \ {{\ tilde {y}} \} = 0}$${\ displaystyle x = {\ hat {x}} _ {1}+e_ {1}}$

${\ displaystyle C _ {\ tilde {Y}} = AC_ {e_ {1}} A^{T}+C_ {Z},}$

${\ displaystyle C_ {X {\ tilde {Y}}} = \ operatorname {E} \ {({\ hat {x}} _ {1}+e_ {1}-{\ bar {x}}) (Ae_ {1}+z)^{T} \} = C_ {e_ {1}} A^{T}.}$

Når vi sætter alt sammen, har vi det nye skøn som

${\ displaystyle {\ hat {x}} _ {2} = {\ hat {x}} _ {1}+C_ {e_ {1}} A^{T} (AC_ {e_ {1}} A^{ T}+C_ {Z})^{-1} (yA {\ hat {x}} _ {1}),}$

og den nye fejlkovarians som

${\ displaystyle C_ {e_ {2}} = C_ {e_ {1}}-C_ {e_ {1}} A^{T} (AC_ {e_ {1}} A^{T}+C_ {Z}) ^{-1} AC_ {e_ {1}}.}$

Den gentagne brug af de ovennævnte to ligninger, efterhånden som flere observationer bliver tilgængelige, fører til rekursive estimeringsteknikker. Udtrykkene kan skrives mere kompakt som

1. ${\ displaystyle K_ {t+1} = C_ {e_ {t}} A^{T} (AC_ {e_ {t}} A^{T}+C_ {Z})^{-1},}$
2. ${\ displaystyle {\ hat {x}} _ {t+1} = {\ hat {x}} _ {t}+K_ {t+1} (yA {\ hat {x}} _ {t}), }$
3. ${\ displaystyle C_ {e_ {t+1}} = (I-K_ {t+1} A) C_ {e_ {t}}.}$

Matricen omtales ofte som forstærkningsfaktoren. Gentagelsen af ​​disse tre trin, efterhånden som flere data bliver tilgængelige, fører til en iterativ estimeringsalgoritme. Generaliseringen af ​​denne idé til ikke-stationære sager giver anledning til Kalman-filteret . De tre opdateringstrin, der er skitseret ovenfor, udgør faktisk opdateringstrinnet for Kalman -filteret. ${\ displaystyle K}$

Særligt tilfælde: skalære observationer

Som et vigtigt specialtilfælde, kan en nem at bruge rekursive udtryk afledes, når i hvert t den underliggende lineær observationsprocessen th tidsmoment giver en skalar, således at , hvor er n rumfang- 1 kendt søjlevektor hvis værdier kan ændre sig med tiden , er n -by -1 tilfældig kolonnevektor, der skal estimeres, og er skalarstøjsbetegnelse med varians . Efter ( t +1) -te observation giver den direkte brug af ovenstående rekursive ligninger udtrykket for estimatet som: ${\ displaystyle y_ {t} = a_ {t}^{T} x_ {t}+z_ {t}}$${\ displaystyle a_ {t}}$${\ displaystyle x_ {t}}$${\ displaystyle z_ {t}}$${\ displaystyle \ sigma _ {t}^{2}}$${\ displaystyle {\ hat {x}} _ {t+1}}$

${\ displaystyle {\ hat {x}} _ {t+1} = {\ hat {x}} _ {t}+k_ {t+1} (y_ {t+1} -a_ {t+1}^ {T} {\ hat {x}} _ {t})}$

hvor er den nye skalære observation, og forstærkningsfaktoren er n -by -1 kolonnevektor givet af ${\ displaystyle y_ {t+1}}$${\ displaystyle k_ {t+1}}$

${\ displaystyle k_ {t+1} = {\ frac {(C_ {e}) _ {t} a_ {t+1}} {\ sigma _ {t+1}^{2}+a_ {t+1 }^{T} (C_ {e}) _ {t} a_ {t+1}}}.}$

Den er n -by- n fejlkovariansmatrix givet af ${\ displaystyle (C_ {e}) _ {t+1}}$

${\ displaystyle (C_ {e}) _ {t+1} = (I-k_ {t+1} a_ {t+1}^{T}) (C_ {e}) _ {t}.}$

Her kræves ingen matrixinversion. Forstærkningsfaktoren afhænger også af vores tillid til den nye dataprøve målt ved støjvariansen i forhold til tidligere data. De indledende værdier af og anses for at være middelværdien og kovariansen af ​​den forreste sandsynlighedstæthedsfunktion af . ${\ displaystyle k_ {t+1}}$${\ displaystyle {\ hat {x}}}$${\ displaystyle C_ {e}}$${\ displaystyle x}$

Alternative tilgange: Denne vigtige specialtilfælde har også givet anledning til mange andre iterative metoder (eller adaptive filtre ), såsom den mindste middelværdi firkanter filter og rekursiv mindste kvadraters filter , der direkte løser det oprindelige MSE optimeringsproblem anvendelse stokastiske gradient nedkørsler . Men da estimeringsfejlen ikke kan observeres direkte, forsøger disse metoder at minimere den gennemsnitlige kvadrerede forudsigelsesfejl . For eksempel i tilfælde af skalære observationer har vi gradienten Således er opdateringsligningen for det mindst gennemsnitlige kvadratfilter givet ved ${\ displaystyle e}$${\ displaystyle \ mathrm {E} \ {{\ tilde {y}}^{T} {\ tilde {y}} \}}$${\ displaystyle \ nabla _ {\ hat {x}} \ mathrm {E} \ {{\ tilde {y}}^{2} \} =-2 \ mathrm {E} \ {{\ tilde {y}} en\}.}$

${\ displaystyle {\ hat {x}} _ {t+1} = {\ hat {x}} _ {t}+\ eta _ {t} \ mathrm {E} \ {{\ tilde {y}} _ {t} a_ {t} \},}$

hvor er skalarstegstørrelsen, og forventningen tilnærmes af den øjeblikkelige værdi . Som vi kan se, omgår disse metoder behovet for kovariansmatricer. ${\ displaystyle \ eta _ {t}}$${\ displaystyle \ mathrm {E} \ {a_ {t} {\ tilde {y}} _ {t} \} \ approx a_ {t} {\ tilde {y}} _ {t}}$

Eksempler

Eksempel 1

Vi tager et lineært forudsigelsesproblem som eksempel. Lad en lineær kombination af observerede skalare tilfældige variabler og bruges til at estimere en anden fremtidig skalær tilfældig variabel, således at . Hvis de tilfældige variabler er virkelige gaussiske tilfældige variabler med nul middelværdi og dens kovariansmatrix givet af ${\ displaystyle z_ {1}, z_ {2}}$${\ displaystyle z_ {3}}$${\ displaystyle z_ {4}}$${\ displaystyle {\ hat {z}} _ {4} = \ sum _ {i = 1}^{3} w_ {i} z_ {i}}$${\ displaystyle z = [z_ {1}, z_ {2}, z_ {3}, z_ {4}]^{T}}$

${\ displaystyle \ operatorname {cov} (Z) = \ operatorname {E} [zz^{T}] = \ left [{\ begin {array} {cccc} 1 & 2 & 3 & 4 \\ 2 & 5 & 8 & 9 \\ 3 & 8 & 6 & 10 \\ 4 & 9 & 10 & 15 \ end { array}} \ højre],}$

så er vores opgave at finde koefficienterne sådan, at det vil give et optimalt lineært estimat . ${\ displaystyle w_ {i}}$${\ displaystyle {\ hat {z}} _ {4}}$

Med hensyn til den terminologi, der er udviklet i de foregående afsnit, har vi til dette problem observationsvektoren , estimatormatrixen som en rækkevektor og den estimerede variabel som en skalær mængde. Autokorrelationsmatrixen er defineret som ${\ displaystyle y = [z_ {1}, z_ {2}, z_ {3}]^{T}}$${\ displaystyle W = [w_ {1}, w_ {2}, w_ {3}]}$${\ displaystyle x = z_ {4}}$${\ displaystyle C_ {Y}}$

${\ displaystyle C_ {Y} = \ venstre [{\ begin {array} {ccc} E [z_ {1}, z_ {1}] & E [z_ {2}, z_ {1}] & E [z_ {3} , z_ {1}] \\ E [z_ {1}, z_ {2}] & E [z_ {2}, z_ {2}] & E [z_ {3}, z_ {2}] \\ E [z_ { 1}, z_ {3}] & E [z_ {2}, z_ {3}] & E [z_ {3}, z_ {3}] \ end {array}} \ right] = \ left [{\ begin {array } {ccc} 1 & 2 & 3 \\ 2 & 5 & 8 \\ 3 & 8 & 6 \ slut {array}} \ højre].}$

Tværkorrelationsmatricen er defineret som ${\ displaystyle C_ {YX}}$

${\ displaystyle C_ {YX} = \ venstre [{\ begin {array} {c} E [z_ {4}, z_ {1}] \\ E [z_ {4}, z_ {2}] \\ E [ z_ {4}, z_ {3}] \ end {array}} \ right] = \ left [{\ begin {array} {c} 4 \\ 9 \\ 10 \ end {array}} \ right].}$

Vi løser nu ligningen ved at vende og for-multiplicere for at få ${\ displaystyle C_ {Y} W^{T} = C_ {YX}}$${\ displaystyle C_ {Y}}$

${\ displaystyle C_ {Y}^{-1} C_ {YX} = \ venstre [{\ begin {array} {ccc} 4.85 & -1.71 & -0.142 \\-1.71 & 0.428 & 0.2857 \\-0.142 & 0 .2857 & -0.1429 \ end {array}} \ right] \ left [{\ begin {array} {c} 4 \\ 9 \\ 10 \ end {array}} \ right] = \ left [{\ begin {array } {c} 2.57 \\-0.142 \\ 0.5714 \ end {array}} \ right] = W^{T}.}$

Så vi har og som de optimale koefficienter for . Beregning af den mindste gennemsnitlige kvadratfejl giver derefter . Bemærk, at det ikke er nødvendigt at opnå en eksplicit matrix omvendt for at beregne værdien af . Matrixligningen kan løses ved velkendte metoder, såsom Gauss -elimineringsmetode. Et kortere, ikke-numerisk eksempel findes i ortogonalitetsprincippet . ${\ displaystyle w_ {1} = 2,57,}$ ${\ displaystyle w_ {2} =-0.142,}$${\ displaystyle w_ {3} =. 5714}$${\ displaystyle {\ hat {z}} _ {4}}$${\ displaystyle \ left \ Vert e \ right \ Vert _ {\ min}^{2} = \ operatorname {E} [z_ {4} z_ {4}]-WC_ {YX} = 15-WC_ {YX} = .2857}$${\ displaystyle C_ {Y}}$${\ displaystyle W}$

Eksempel 2

Overvej en vektor dannet ved at tage observationer af en fast, men ukendt skalarparameter forstyrret af hvid gaussisk støj. Vi kan beskrive processen ved en lineær ligning , hvor . Afhængig af kontekst vil det være klart, om den repræsenterer en skalar eller en vektor. Antag, at vi ved, at det er det område, inden for hvilken værdien af kommer til at falde i. Vi kan modellere vores usikkerhed om ved en forudgående ensartet fordeling over et interval , og dermed vil have variation af . Lad støjvektoren blive normalfordelt som hvor er en identitetsmatrix. Også og er uafhængige og . Det er let at se det ${\ displaystyle y}$${\ displaystyle N}$${\ displaystyle x}$${\ displaystyle y = 1x+z}$${\ displaystyle 1 = [1,1, \ ldots, 1]^{T}}$${\ displaystyle 1}$${\ displaystyle [-x_ {0}, x_ {0}]}$${\ displaystyle x}$${\ displaystyle x}$${\ displaystyle [-x_ {0}, x_ {0}]}$${\ displaystyle x}$${\ displaystyle \ sigma _ {X}^{2} = x_ {0}^{2}/3.}$${\ displaystyle z}$${\ displaystyle N (0, \ sigma _ {Z}^{2} I)}$${\ displaystyle I}$${\ displaystyle x}$${\ displaystyle z}$${\ displaystyle C_ {XZ} = 0}$

${\ displaystyle {\ begin {align} & \ operatorname {E} \ {y \} = 0, \\ & C_ {Y} = \ operatorname {E} \ {åå^{T} \} = \ sigma _ {X }^{2} 11^{T}+\ sigma _ {Z}^{2} I, \\ & C_ {XY} = \ operatorname {E} \ {xy^{T} \} = \ sigma _ {X }^{2} 1^{T}. \ End {justeret}}}$

Således er den lineære MMSE -estimator givet af

${\ displaystyle {\ begin {align} {\ hat {x}} & = C_ {XY} C_ {Y}^{-1} y \\ & = \ sigma _ {X}^{2} 1^{T } (\ sigma _ {X}^{2} 11^{T}+\ sigma _ {Z}^{2} I)^{-1} y. \ end {align}}}$

Vi kan forenkle udtrykket ved at bruge den alternative form til as ${\ displaystyle W}$

${\ displaystyle {\ begin {align} {\ hat {x}} & = \ left (1^{T} {\ frac {1} {\ sigma _ {Z}^{2}}} I1+{\ frac { 1} {\ sigma _ {X}^{2}}} \ right)^{-1} 1^{T} {\ frac {1} {\ sigma _ {Z}^{2}}} Iy \\ & = {\ frac {1} {\ sigma _ {Z}^{2}}} \ venstre ({\ frac {N} {\ sigma _ {Z}^{2}}}+{\ frac {1} {\ sigma _ {X}^{2}}} \ right)^{-1} 1^{T} y \\ & = {\ frac {\ sigma _ {X}^{2}} {\ sigma _ {X}^{2}+\ sigma _ {Z}^{2}/N}} {\ bar {y}}, \ end {align}}}$

hvor har vi${\ displaystyle y = [y_ {1}, y_ {2}, \ ldots, y_ {N}]^{T}}$${\ displaystyle {\ bar {y}} = {\ frac {1^{T} y} {N}} = {\ frac {\ sum _ {i = 1}^{N} y_ {i}} {N }}.}$

På samme måde er estimatorens varians

${\ displaystyle \ sigma _ {\ hat {X}}^{2} = C_ {XY} C_ {Y}^{-1} C_ {YX} = {\ Big (} {\ frac {\ sigma _ {X }^{2}} {\ sigma _ {X}^{2}+\ sigma _ {Z}^{2}/N}} {\ Big)} \ sigma _ {X}^{2}.}$

Således er MMSE for denne lineære estimator

${\ displaystyle \ operatorname {LMMSE} = \ sigma _ {X}^{2}-\ sigma _ {\ hat {X}}^{2} = {\ Big (} {\ frac {\ sigma _ {Z} ^{2}} {\ sigma _ {X}^{2}+\ sigma _ {Z}^{2}/N}} {\ Big)} {\ frac {\ sigma _ {X}^{2} } {N}}.}$

For meget store ser vi, at MMSE -estimatoren for en skalar med ensartet forudgående fordeling kan tilnærmes med det aritmetiske gennemsnit af alle de observerede data ${\ displaystyle N}$

${\ displaystyle {\ hat {x}} = {\ frac {1} {N}} \ sum _ {i = 1}^{N} y_ {i},}$

mens variansen vil være upåvirket af data, og LMMSE for estimatet vil have en tendens til nul. ${\ displaystyle \ sigma _ {\ hat {X}}^{2} = \ sigma _ {X}^{2},}$

Estimatoren er imidlertid suboptimal, da den er begrænset til at være lineær. Havde den tilfældige variabel også været Gaussisk, så ville estimatoren have været optimal. Bemærk, at estimatorens form vil forblive uændret, uanset apriori -fordelingen af , så længe middelværdien og variansen for disse fordelinger er den samme. ${\ displaystyle x}$${\ displaystyle x}$

Eksempel 3

Overvej en variation af ovenstående eksempel: To kandidater stiller op til et valg. Lad den brøkdel af stemmer, som en kandidat vil modtage på en valgdag være Således vil brøkdelen af ​​stemmer, den anden kandidat vil modtage være Vi tager som en tilfældig variabel med en ensartet forudgående fordeling over, så dets middelværdi er og varians er et par stykker uger før valget blev der foretaget to uafhængige meningsmålinger af to forskellige meningsmålinger. Den første meningsmåling afslørede, at kandidaten sandsynligvis vil få en brøkdel af stemmerne. Da der altid er en eller anden fejl på grund af endelig prøveudtagning og den særlige metode til afstemning, den første pollster erklærer, at deres skøn har en fejl med nul middelværdi og varians På samme måde erklærer den anden pollster sit skøn for at være med en fejl med nul middelværdi og varians Bemærk, at bortset fra middelværdien og variansen af ​​fejlen er fejlfordelingen uspecificeret. Hvordan skal de to meningsmålinger kombineres for at opnå stemmeforeningen for den givne kandidat? ${\ displaystyle x \ i [0,1].}$${\ displaystyle 1-x.}$${\ displaystyle x}$${\ displaystyle [0,1]}$${\ displaystyle {\ bar {x}} = 1/2}$${\ displaystyle \ sigma _ {X}^{2} = 1/12.}$${\ displaystyle y_ {1}}$${\ displaystyle z_ {1}}$${\ displaystyle \ sigma _ {Z_ {1}}^{2}.}$${\ displaystyle y_ {2}}$${\ displaystyle z_ {2}}$${\ displaystyle \ sigma _ {Z_ {2}}^{2}.}$

Som med tidligere eksempel har vi

${\ displaystyle {\ begin {align} y_ {1} & = x+z_ {1} \\ y_ {2} & = x+z_ {2}. \ end {align}}}$

Her er både . Således kan vi opnå LMMSE -estimatet som den lineære kombination af og som ${\ displaystyle \ operatorname {E} \ {y_ {1} \} = \ operatorname {E} \ {y_ {2} \} = {\ bar {x}} = 1/2}$${\ displaystyle y_ {1}}$${\ displaystyle y_ {2}}$

${\ displaystyle {\ hat {x}} = w_ {1} (y_ {1}-{\ bar {x}})+w_ {2} (y_ {2}-{\ bar {x}})+{ \ bar {x}},}$

hvor vægtene er givet af

${\ displaystyle {\ begin {align} w_ {1} & = {\ frac {1/\ sigma _ {Z_ {1}}^{2}} {1/\ sigma _ {Z_ {1}}^{2 }+1/\ sigma _ {Z_ {2}}^{2}+1/\ sigma _ {X}^{2}}}, \\ w_ {2} & = {\ frac {1/\ sigma _ {Z_ {2}}^{2}} {1/\ sigma _ {Z_ {1}}^{2}+1/\ sigma _ {Z_ {2}}^{2}+1/\ sigma _ { X}^{2}}}. \ End {align}}}$

Her, da nævneren sigt er konstant, tillægges meningsmåling med lavere fejl højere vægt for at forudsige valgresultatet. Endelig er variansen af ​​forudsigelsen givet ved

${\ displaystyle \ sigma _ {\ hat {X}}^{2} = {\ frac {1/\ sigma _ {Z_ {1}}^{2}+1/\ sigma _ {Z_ {2}}^ {2}} {1/\ sigma _ {Z_ {1}}^{2}+1/\ sigma _ {Z_ {2}}^{2}+1/\ sigma _ {X}^{2}} } \ sigma _ {X}^{2},}$

hvilket gør mindre end${\ displaystyle \ sigma _ {\ hat {X}}^{2}}$${\ displaystyle \ sigma _ {X}^{2}.}$

Generelt, hvis vi har pollsters, hvor vægten for i -pollster er givet ved${\ displaystyle N}$${\ displaystyle {\ hat {x}} = \ sum _ {i = 1}^{N} w_ {i} (y_ {i}-{\ bar {x}})+{\ bar {x}}, }$${\ displaystyle w_ {i} = {\ frac {1/\ sigma _ {Z_ {i}}^{2}} {\ sum _ {i = 1}^{N} 1/\ sigma _ {Z_ {i }}^{2}+1/\ sigma _ {X}^{2}}}.}$

Eksempel 4

Antag, at en musiker spiller et instrument, og at lyden modtages af to mikrofoner, som hver især er placeret to forskellige steder. Lad dæmpning af lyd på grund af afstand ved hver mikrofon være og , som formodes at være kendte konstanter. Lad på samme måde støj ved hver mikrofon være og , hver med nul middelværdi og afvigelser og hhv. Lad betegne lyden produceret af musikeren, som er en tilfældig variabel med nul middelværdi og varians Hvordan skal den indspillede musik fra disse to mikrofoner kombineres, efter at de er blevet synkroniseret med hinanden? ${\ displaystyle a_ {1}}$${\ displaystyle a_ {2}}$${\ displaystyle z_ {1}}$${\ displaystyle z_ {2}}$${\ displaystyle \ sigma _ {Z_ {1}}^{2}}$${\ displaystyle \ sigma _ {Z_ {2}}^{2}}$${\ displaystyle x}$${\ displaystyle \ sigma _ {X}^{2}.}$

Vi kan modellere lyden modtaget af hver mikrofon som

${\ displaystyle {\ begin {align} y_ {1} & = a_ {1} x+z_ {1} \\ y_ {2} & = a_ {2} x+z_ {2}. \ end {align}} }$

Her er både . Således kan vi kombinere de to lyde som ${\ displaystyle \ operatorname {E} \ {y_ {1} \} = \ operatorname {E} \ {y_ {2} \} = 0}$

${\ displaystyle y = w_ {1} y_ {1}+w_ {2} y_ {2}}$

hvor i -vægten er angivet som

${\ displaystyle w_ {i} = {\ frac {a_ {i}/\ sigma _ {Z_ {i}}^{2}} {\ sum _ {i} a_ {i}^{2}/\ sigma _ {Z_ {i}}^{2}+1/\ sigma _ {X}^{2}}}.}$

Se også

• Bayesisk estimator
• Gennemsnitlig kvadratfejl
• Mindste firkanter
• Minimum-varians upartisk estimator (MVUE)
• Ortogonalitetsprincip
• Wiener filter
• Kalman filter
• Lineær forudsigelse
• Nul tvingende equalizer

Noter

Yderligere læsning