Generaliseret filtrering - Generalized filtering

Generaliseret filtrering er et generisk Bayesisk filtreringsskema for ikke-lineære statsrumsmodeller. Det er baseret på et variabelt princip om mindste handling formuleret i generelle koordinater. Bemærk, at begrebet "generaliserede koordinater" som anvendt her adskiller sig fra begrebet generaliserede koordinater af bevægelse, som det anvendes i (multikropps) dynamisk systemanalyse. Generaliseret filtrering tilvejebringer bageste tætheder over skjulte tilstande (og parametre), der genererer observerede data ved hjælp af en generaliseret gradientnedstigning på variationerfri energi under Laplace-antagelsen . I modsætning til klassisk (f.eks. Kalman-Bucy eller partikelfiltrering ) undgår generaliseret filtrering markoviske antagelser om tilfældige udsving. Desuden fungerer det online og assimilerer data for at tilnærme den bageste tæthed over ukendte mængder uden behov for et bagudgående pass. Særlige tilfælde inkluderer variationfiltrering , maksimering af dynamisk forventning og generaliseret forudsigelig kodning .

Definition

Definition : Generaliseret filtrering hviler på tuplen : ${\ displaystyle (\ Omega, U, X, S, p, q)}$

• Et prøveområde, hvorfra tilfældige udsving trækkes${\ displaystyle \ Omega}$${\ displaystyle \ omega \ in \ Omega}$
• Kontroltilstande - der fungerer som eksterne årsager, input eller tvangsbetingelser${\ displaystyle U \ in \ mathbb {R}}$
• Skjulte tilstande - der forårsager sensoriske tilstande og afhænger af kontroltilstande${\ displaystyle X: X \ gange U \ times \ Omega \ til \ mathbb {R}}$
• Sensortilstande - en sandsynlig kortlægning fra skjulte og kontroltilstande${\ displaystyle S: X \ gange U \ times \ Omega \ til \ mathbb {R}}$
• Generativ tæthed - over sensoriske, skjulte og kontroltilstande under en generativ model${\ displaystyle p ({\ tilde {s}}, {\ tilde {x}}, {\ tilde {u}} \ mid m)}$${\ displaystyle m}$
• Variationstæthed - over skjulte og kontroltilstande med gennemsnit${\ displaystyle q ({\ tilde {x}}, {\ tilde {u}} \ mid {\ tilde {\ mu}})}$${\ displaystyle {\ tilde {\ mu}} \ in \ mathbb {R}}$

Her ~ betegner en variabel i generelle bevægelseskoordinater: ${\ displaystyle {\ tilde {u}} = [u, u ', u' ', \ ldots] ^ {T}}$

Generaliseret filtrering

Målet er at tilnærme den bageste tæthed over skjulte og kontroltilstande, givet sensortilstande og en generativ model - og estimere (path integral of) modelbevis for at sammenligne forskellige modeller. Dette involverer generelt en uigennemtrængelig marginalisering over skjulte tilstande, så modelbeviser (eller marginal sandsynlighed) erstattes med en variabel fri energi bundet. Givet følgende definitioner: ${\ displaystyle p ({\ tilde {s}} (t) \ vert m)}$

${\ displaystyle {\ tilde {\ mu}} (t) = {\ underset {\ tilde {\ mu}} {\ operatorname {arg \, min}}} \ {F ({\ tilde {s}} (t ), {\ tilde {\ mu}}) \}}$

${\ displaystyle G ({\ tilde {s}}, {\ tilde {x}}, {\ tilde {u}}) = - \ ln p ({\ tilde {s}}, {\ tilde {x}} , {\ tilde {u}} \ vert m)}$

Betegn Shannon-entropien af densiteten ved . Vi kan derefter skrive den variationelle frie energi på to måder: ${\ displaystyle q}$${\ displaystyle H [q] = E_ {q} [- \ log (q)]}$

${\ displaystyle F ({\ tilde {s}}, {\ tilde {\ mu}}) = E_ {q} [G ({\ tilde {s}}, {\ tilde {x}}, {\ tilde { u}})] - H [q ({\ tilde {x}}, {\ tilde {u}} \ vert {\ tilde {\ mu}})] = - \ ln p ({\ tilde {s}} \ vert m) + D_ {KL} [q ({\ tilde {x}}, {\ tilde {u}} \ vert {\ tilde {\ mu}}) \ vert \ vert p ({\ tilde {x} }, {\ tilde {u}} \ vert {\ tilde {s}}, m)]}$

Den anden ligestilling viser, at minimering af variationsfri energi (i) minimerer Kullback-Leibler-divergensen mellem den variationelle og ægte posterior densitet og (ii) gengiver den variationelle frie energi (en bundet tilnærmelse til) det negative logbevis (fordi divergensen aldrig være mindre end nul). Under antagelsen fra Laplace er variationstætheden gaussisk, og den præcision, der minimerer fri energi, er . Dette betyder, at fri energi kan udtrykkes i form af det variationelle gennemsnit (udeladelse af konstanter): ${\ displaystyle q ({\ tilde {x}}, {\ tilde {u}} \ mid {\ tilde {\ mu}}) = {\ mathcal {N}} ({\ tilde {\ mu}}, C )}$${\ displaystyle C ^ {- 1} = \ Pi = \ partial _ {{\ tilde {\ mu}} {\ tilde {\ mu}}} G ({\ tilde {\ mu}})}$

${\ displaystyle F = G ({\ tilde {\ mu}}) + \ textstyle {1 \ over 2} \ ln \ vert \ partial _ {{\ tilde {\ mu}} {\ tilde {\ mu}}} G ({\ tilde {\ mu}}) \ vert}$

De variationelle midler, der minimerer (stiintegral) af fri energi, kan nu gendannes ved at løse det generaliserede filter:

${\ displaystyle {\ dot {\ tilde {\ mu}}} = D {\ tilde {\ mu}} - \ partial _ {\ tilde {\ mu}} F ({\ tilde {s}}, {\ tilde {\ mu}})}$

hvor er en blokmatrixderivatoperatør af identificerende matricer således, at${\ displaystyle D}$${\ displaystyle D {\ tilde {u}} = [u ', u' ', \ ldots] ^ {T}}$

Variationsgrundlag

Generaliseret filtrering er baseret på følgende lemma: Den selvkonsistente løsning til at tilfredsstille det variationelle princip for stationær handling , hvor handling er stienintegret for den variationelle frie energi${\ displaystyle {\ dot {\ tilde {\ mu}}} = D {\ tilde {\ mu}} - \ partial _ {\ tilde {\ mu}} F (s, {\ tilde {\ mu}}) }$

${\ displaystyle S = \ int dt \, F ({\ tilde {s}} (t), {\ tilde {\ mu}} (t))}$

Bevis : selvkonsistens kræver, at bevægelsen af ​​middelværdien er middelværdien af ​​bevægelsen og (ved det grundlæggende lemma for variationskalkulation )

${\ displaystyle {\ dot {\ tilde {\ mu}}} = D {\ tilde {\ mu}} \ Leftrightarrow \ partial _ {\ tilde {\ mu}} F ({\ tilde {s}}, {\ tilde {\ mu}}) = 0 \ Venstre-retpil \ delta _ {\ tilde {\ mu}} S = 0}$

Enkelt sagt ændrer små forstyrrelser på middelets sti ikke variationerfri energi, og den har den mindste virkning af alle mulige (lokale) stier.

Bemærkninger : Heuristisk udfører generaliseret filtrering en gradientnedstigning på variationerfri energi i en bevægende referenceramme:, hvor selve rammen minimerer variationerfri energi. For et beslægtet eksempel i statistisk fysik, se Kerr og Graham, der bruger ensembledynamik i generelle koordinater til at give en generaliseret fase-rumversion af Langevin og tilhørende Fokker-Planck-ligninger. ${\ displaystyle {\ dot {\ tilde {\ mu}}} - D {\ tilde {\ mu}} = - \ partial _ {\ tilde {\ mu}} F (s, {\ tilde {\ mu}} )}$

I praksis bruger generaliseret filtrering lokal linearisering over intervaller for at gendanne diskrete opdateringer ${\ displaystyle \ Delta t}$

${\ displaystyle {\ begin {align} \ Delta {\ tilde {\ mu}} & = (\ exp (\ Delta t \ cdot J) -I) J ^ {- 1} {\ dot {\ tilde {\ mu }}} \\ J & = \ partial _ {\ tilde {\ mu}} {\ dot {\ tilde {\ mu}}} = D- \ partial _ {{\ tilde {\ mu}} {\ tilde {\ mu}}} F ({\ tilde {s}}, {\ tilde {\ mu}}) \ end {justeret}}}$

Dette opdaterer midlerne til skjulte variabler ved hvert interval (normalt intervallet mellem observationer).

Generative (state-space) modeller i generelle koordinater

Normalt er den generative tæthed eller model specificeret som en ikke-lineær input-state-output-model med kontinuerlige ikke-lineære funktioner:

${\ displaystyle {\ begin {align} s & = g (x, u) + \ omega _ {s} \\ {\ dot {x}} & = f (x, u) + \ omega _ {x} \ end {align}}}$

Den tilsvarende generaliserede model (under lokale lineære antagelser) opnår fra kædereglen

${\ displaystyle {\ begin {align} {\ tilde {s}} & = {\ tilde {g}} ({\ tilde {x}}, {\ tilde {u}}) + {\ tilde {\ omega} } _ {s} \\\\ s & = g (x, u) + \ omega _ {s} \\ s '& = \ partial _ {x} g \ cdot x' + \ partial _ {u} g \ cdot u '+ \ omega' _ {s} \\ s '' & = \ partial _ {x} g \ cdot x '' + \ partial _ {u} g \ cdot u '' + \ omega '' _ { s} \\ & \ vdots \\\ slutning {justeret}} \ qquad {\ begynder {justeret} {\ dot {\ tilde {x}}} & = {\ tilde {f}} ({\ tilde {x} }, {\ tilde {u}}) + {\ tilde {\ omega}} _ {x} \\\\ {\ dot {x}} & = f (x, u) + \ omega _ {x} \ \ {\ dot {x}} '& = \ partial _ {x} f \ cdot x' + \ partial _ {u} f \ cdot u '+ \ omega' _ {x} \\ {\ dot {x} } '' & = \ partial _ {x} f \ cdot x '' + \ partial _ {u} f \ cdot u '' + \ omega '' _ {x} \\ & \ vdots \ end {aligned}} }$

Gaussiske antagelser om tilfældige udsving foreskriver derefter sandsynligheden og den empiriske prior for bevægelsen af ​​skjulte stater ${\ displaystyle \ omega}$

${\ displaystyle {\ begin {align} p \ left ({\ tilde {s}}, {\ tilde {x}}, {\ tilde {u}} \ vert m \ right) & = p \ left ({\ tilde {s}} \ vert {\ tilde {x}}, {\ tilde {u}}, m \ right) p \ left ({D {\ tilde {x}} \ vert x, {\ tilde {u} }, m} \ højre) p (x \ vert m) p ({\ tilde {u}} \ vert m) \\ p \ left ({\ tilde {s}} \ vert {\ tilde {x}}, {\ tilde {u}}, m \ right) & = {\ mathcal {N}} ({\ tilde {g}} ({\ tilde {x}}, {\ tilde {u}}), {\ tilde {\ Sigma}} ({\ tilde {x}}, {\ tilde {u}}) _ {s}) \\ p \ left ({D {\ tilde {x}} \ vert x, {\ tilde { u}}, m} \ right) & = {\ mathcal {N}} ({\ tilde {f}} ({\ tilde {x}}, {\ tilde {u}}), {\ tilde {\ Sigma }} ({\ tilde {x}}, {\ tilde {u}}) _ {x}) \\\ slut {justeret}}}$

Kovarianterne faktoriseres til en kovarians blandt variabler og korrelationer mellem generaliserede udsving, der koder for deres autokorrelation : ${\ displaystyle {\ tilde {\ Sigma}} = V \ otimes \ Sigma}$${\ displaystyle V}$

${\ displaystyle V = {\ begin {bmatrix} 1 & 0 & {\ ddot {\ rho}} (0) & \ cdots \\ 0 & - {\ ddot {\ rho}} (0) & 0 \ & \ \ \ {\ ddot {\ rho}} (0) \ & 0 \ & {\ ddot {\ ddot {\ rho}}} (0) \ & \ \\\ vdots \ & \ & \ & \ ddots \ \\\ end {bmatrix} }}$

Her vurderes det andet derivat af autokorrelationsfunktionen til nul. Dette er et allestedsnærværende mål for ruhed i teorien om stokastiske processer . Afgørende er, at præcisionen (invers varians) af højordensderivater falder til nul ret hurtigt, hvilket betyder, at det kun er nødvendigt at modellere relativt lav ordens generaliseret bevægelse (normalt mellem to og otte) for en given eller parametreret autokorrelationsfunktion. ${\ displaystyle {\ ddot {\ rho}} (0)}$

Særlige tilfælde

Filtrering af diskrete tidsserier

Når tidsserier observeres som en diskret rækkefølge af observationer, behandles den implicitte prøveudtagning som en del af den generative proces, hvor (ved hjælp af Taylors sætning ) ${\ displaystyle N}$

${\ displaystyle [s_ {1}, \ dots, s_ {N}] ^ {T} = (E \ otimes I) \ cdot {\ tilde {s}} (t): \ qquad E_ {ij} = {\ frac {(it) ^ {(j-1)}} {(j-1)!}}}$

I princippet kunne hele sekvensen bruges til at estimere skjulte variabler på hvert tidspunkt. Præcisionen af ​​prøver i fortiden og fremtiden falder dog hurtigt og kan ignoreres. Dette giver ordningen mulighed for at assimilere data online ved hjælp af lokale observationer omkring hvert tidspunkt (typisk mellem to og otte).

Generelle filtrerings- og modelparametre

For alle langsomt varierende modelparametre for ligningerne af bevægelse eller præcision tager generaliseret filtrering følgende form (hvor svarer til parametrets variationelle gennemsnit) ${\ displaystyle f (x, u, \ theta)}$${\ displaystyle {\ tilde {\ Pi}} (x, u, \ theta)}$${\ displaystyle \ mu}$

${\ displaystyle {\ begin {align} {\ dot {\ mu}} & = \ mu '\\ {\ dot {\ mu'}} & = - \ partial _ {\ mu} F ({\ tilde {s }}, \ mu) - \ kappa \ mu '\ end {justeret}}}$

Her minimerer løsningen variabel fri energi, når bevægelsen af ​​middelværdien er lille. Dette kan ses ved at bemærke . Det er ligetil at vise, at denne løsning svarer til en klassisk Newton-opdatering . ${\ displaystyle {\ dot {\ tilde {\ mu}}} = 0}$${\ displaystyle {\ dot {\ mu}} = {\ dot {\ mu}} '= 0 \ Rightarrow \ partial _ {\ mu} F = 0 \ Rightarrow \ delta _ {\ mu} S = 0}$

Forholdet til Bayesian-filtrering og forudsigelig kodning

Generaliseret filtrering og Kalman-filtrering

Klassisk filtrering under antagelser fra Markovian eller Wiener svarer til at antage, at nøjagtigheden af ​​bevægelsen af ​​tilfældige udsving er nul. I dette begrænsende tilfælde skal man kun overveje staterne og deres første afledte . Dette betyder, at generaliseret filtrering har form af et Kalman-Bucy-filter med forudsigelses- og korrektionsbetingelser: ${\ displaystyle {\ tilde {\ mu}} = (\ mu, {\ mu} ')}$

${\ displaystyle {\ begin {align} {\ dot {\ mu}} & = \ mu '- \ partial _ {\ mu} F (s, {\ tilde {\ mu}}) \\ {\ dot {\ mu '}} & = - \ partial _ {\ mu'} F (s, {\ tilde {\ mu}}) \ end {aligned}}}$

Udskiftning af denne første ordens filtrering i den diskrete opdateringsplan ovenfor giver svaret til (udvidet) Kalman-filtrering.

Generaliseret filtrering og partikelfiltrering

Partikelfiltrering er et stikprøvebaseret skema, der lindrer antagelser om formen for den variationelle eller omtrentlige bageste tæthed. Den tilsvarende generaliserede filtreringsplan kaldes variationsfiltrering . I variationsfiltrering diffunderer et ensemble af partikler over det frie energilandskab i en referenceramme, der bevæger sig med ensemblets forventede (generaliserede) bevægelse. Dette giver en relativt enkel ordning, der undgår gaussiske (unimodale) antagelser. I modsætning til partikelfiltrering kræver det ikke forslagstætheder - eller eliminering eller oprettelse af partikler.

Generaliseret filtrering og variation Bayes

Variations Bayes hviler på en gennemsnitlig feltopdeling af variationstætheden:

${\ displaystyle q ({\ tilde {x}}, {\ tilde {u}}, \ theta \ dots \ vert {\ tilde {\ mu}}, \ mu) = q ({\ tilde {x}}, {\ tilde {u}} \ vert {\ tilde {\ mu}}) q (\ theta \ vert \ mu) \ dots}$

Denne partition inducerer en variation af opdateringer eller trin for hver marginal tæthed - der løses normalt analytisk ved hjælp af konjugatprioriteter. I generaliseret filtrering fører dette til dynamisk forventningsmaksimering . der omfatter et D-trin, der optimerer tilstrækkelig statistik over ukendte tilstande, et E-trin til parametre og et M-trin til præcisioner.

Generaliseret filtrering og forudsigelig kodning

Generel filtrering bruges normalt til at invertere hierarkiske modeller af følgende form

${\ displaystyle {\ begin {align} {\ tilde {s}} & = {\ tilde {g}} ^ {1} ({\ tilde {x}} ^ {1}, {\ tilde {u}} ^ {(1)}) + {\ tilde {\ omega}} _ {s} ^ {(1)} \\ {\ dot {\ tilde {x}}} ^ {(1)} & = {\ tilde { f}} ^ {(1)} ({\ tilde {x}} ^ {(1)}, {\ tilde {u}} ^ {(1)}) + {\ tilde {\ omega}} _ {x } ^ {(1)} \\\ vdots \\ {\ tilde {u}} ^ {(i-1)} & = {\ tilde {g}} ^ {(i)} ({\ tilde {x} } ^ {(i)}, {\ tilde {u}} ^ {(i)}) + {\ tilde {\ omega}} _ {u} ^ {(i)} \\ {\ dot {\ tilde { x}}} ^ {(i)} & = {\ tilde {f}} ^ {(i)} ({\ tilde {x}} ^ {(i)}, {\ tilde {u}} ^ {( i)}) + {\ tilde {\ omega}} _ {x} ^ {(i)} \\\ vdots \ end {aligned}}}$

Den efterfølgende generaliserede gradientnedstigning på fri energi kan derefter udtrykkes kompakt i form af forudsigelsesfejl, hvor (udeladelse af ordrer med høj ordre):

${\ displaystyle {\ begin {align} {\ dot {\ tilde {\ mu}}} _ {u} ^ {(i)} & = D {\ tilde {\ mu}} ^ {(u, i)} - \ partial _ {u} {\ tilde {\ varepsilon}} ^ {(i)} \ cdot \ Pi ^ {(i)} {\ tilde {\ varepsilon}} ^ {(i)} - \ Pi ^ { (i + 1)} {\ tilde {\ varepsilon}} _ {u} ^ {(i + 1)} \\ {\ dot {\ tilde {\ mu}}} _ {x} ^ {(i)} & = D {\ tilde {\ mu}} ^ {(x, i)} - \ partial _ {x} {\ tilde {\ varepsilon}} ^ {(i)} \ cdot \ Pi ^ {(i)} {\ tilde {\ varepsilon}} ^ {(i)} \\\\ {\ tilde {\ varepsilon}} _ {u} ^ {(i)} & = {\ tilde {\ mu}} _ {u} ^ {(i-1)} - {\ tilde {g}} ^ {(i)} \\ {\ tilde {\ varepsilon}} _ {x} ^ {(i)} & = D {\ tilde {\ mu}} _ {x} ^ {(i)} - {\ tilde {f}} ^ {(i)} \ end {align}}}$

Her er præcisionen af ​​tilfældige udsving på i- niveau. Dette er kendt som generaliseret prædiktiv kodning [11] med lineær forudsigelig kodning som et specielt tilfælde. ${\ displaystyle \ Pi ^ {(i)}}$

Ansøgninger

Generel filtrering er primært blevet anvendt på biologiske tidsserier - især funktionel magnetisk resonansbilleddannelse og elektrofysiologiske data. Dette er normalt i sammenhæng med dynamisk kausal modellering for at drage slutninger om de underliggende arkitekturer af (neuronale) systemer, der genererer data. Det bruges også til at simulere slutning med hensyn til generaliseret (hierarkisk) forudsigelig kodning i hjernen.

Se også

• Dynamisk Bayesisk netværk
• Kalman filter
• Lineær forudsigelig kodning
• Optimal kontrol
• Partikelfilter
• Rekursiv Bayesisk estimering
• Systemidentifikation
• Variationelle bayesiske metoder

Referencer

eksterne links

• softwaredemonstrationer og applikationer er tilgængelige som akademisk freeware (som Matlab-kode) i DEM-værktøjskassen i SPM
• papirindsamling af tekniske papirer og applikationspapirer