Wiener filter - Wiener filter

I signalbehandling er Wiener-filteret et filter, der bruges til at producere et skøn over en ønsket eller mål tilfældig proces ved lineær tids-invariant ( LTI ) filtrering af en observeret støjende proces under forudsætning af kendt stationært signal og støjspektre og additiv støj. Wiener-filteret minimerer den gennemsnitlige kvadratfejl mellem den estimerede tilfældige proces og den ønskede proces.

Beskrivelse

Målet med Wiener-filteret er at beregne et statistisk skøn over et ukendt signal ved hjælp af et relateret signal som en indgang og filtrering af det kendte signal for at producere estimatet som et output. For eksempel kan det kendte signal bestå af et ukendt signal af interesse, der er blevet ødelagt af additiv støj . Wiener-filteret kan bruges til at filtrere støj fra det ødelagte signal for at give et skøn over det underliggende signal af interesse. Wiener-filteret er baseret på en statistisk tilgang, og en mere statistisk redegørelse for teorien gives i estimatorartiklen om minimum middelkvadratfejl (MMSE) .

Typiske deterministiske filtre er designet til et ønsket frekvensrespons . Imidlertid tager designet af Wiener-filteret en anden tilgang. Man antages at have kendskab til det originale signal og støjens spektrale egenskaber, og man søger det lineære tids-invariante filter, hvis output ville komme så tæt på det originale signal som muligt. Wiener-filtre er kendetegnet ved følgende:

1. Antagelse: signal og (additiv) støj er stationære lineære stokastiske processer med kendte spektrale karakteristika eller kendt autokorrelation og krydskorrelation
2. Krav: filteret skal være fysisk realiserbart / årsagssammenhængende (dette krav kan droppes, hvilket resulterer i en ikke-kausal løsning)
3. Ydelseskriterium: minimum middelkvadratfejl (MMSE)

Dette filter anvendes ofte i dekonvolutionsprocessen ; for denne applikation, se Wiener deconvolution .

Wiener filterløsninger

Lad være et ukendt signal, som skal estimeres ud fra et målesignal . Wiener-filterproblemet har løsninger til tre mulige tilfælde: en, hvor et ikke-kausalt filter er acceptabelt (kræver en uendelig mængde af både tidligere og fremtidige data), det tilfælde, hvor et kausalt filter ønskes (ved hjælp af en uendelig mængde tidligere data), og det finite impulse response (FIR) tilfælde, hvor kun inputdata bruges (dvs. at resultatet eller output ikke føres tilbage til filteret som i IIR-tilfælde). Den første sag er enkel at løse, men er ikke egnet til realtidsapplikationer. Wieners vigtigste bedrift var at løse sagen, hvor kausalitetskravet er gældende; Norman Levinson gav FIR-løsningen i et tillæg til Wieners bog. ${\ displaystyle s (t)}$${\ displaystyle x (t)}$

Ikke-kausal løsning

${\ displaystyle G (s) = {\ frac {S_ {x, s} (s)} {S_ {x} (s)}} e ^ {\ alpha s},}$

hvor er spektraltætheder . Forudsat at det er optimalt, reduceres den mindste middelkvadratiske fejlligning til ${\ displaystyle S}$${\ displaystyle g (t)}$

${\ displaystyle E (e ^ {2}) = R_ {s} (0) - \ int _ {- \ infty} ^ {\ infty} g (\ tau) R_ {x, s} (\ tau + \ alpha ) \, d \ tau,}$

og løsningen er den omvendte tosidede Laplace-transformation af . ${\ displaystyle g (t)}$${\ displaystyle G (s)}$

Årsagsløsning

${\ displaystyle G (s) = {\ frac {H (s)} {S_ {x} ^ {+} (s)}},}$

hvor

• ${\ displaystyle H (s)}$ består af den kausale del af (det vil sige den del af denne fraktion, der har en positiv tidsopløsning under den omvendte Laplace-transformation) ${\ displaystyle {\ frac {S_ {x, s} (s)} {S_ {x} ^ {-} (s)}} e ^ {\ alpha s}}$
• ${\ displaystyle S_ {x} ^ {+} (s)}$ er årsagskomponenten til (dvs. den inverse Laplace-transformation af er ikke nul kun for ) ${\ displaystyle S_ {x} (s)}$${\ displaystyle S_ {x} ^ {+} (s)}$${\ displaystyle t \ geq 0}$
• ${\ displaystyle S_ {x} ^ {-} (s)}$ er den antikausale komponent af (dvs. den inverse Laplace-transformation af er ikke nul kun for ) ${\ displaystyle S_ {x} (s)}$${\ displaystyle S_ {x} ^ {-} (s)}$${\ displaystyle t <0}$

Denne generelle formel er kompliceret og fortjener en mere detaljeret forklaring. For at nedskrive løsningen i et specifikt tilfælde skal man følge disse trin: ${\ displaystyle G (s)}$

1. Start med spektret i rationel form og faktor det i kausale og antikausale komponenter: hvor indeholder alle nuller og poler i venstre halvplan (LHP) og indeholder nuller og poler i højre halvplan (RHP). Dette kaldes Wiener-Hopf-faktorisering . ${\ displaystyle S_ {x} (s)}$${\ displaystyle S_ {x} (s) = S_ {x} ^ {+} (s) S_ {x} ^ {-} (s)}$${\ displaystyle S ^ {+}}$${\ displaystyle S ^ {-}}$
2. Opdel med og skriv resultatet ud som en delvis fraktionsudvidelse . ${\ displaystyle S_ {x, s} (s) e ^ {\ alpha s}}$${\ displaystyle S_ {x} ^ {-} (s)}$
3. Vælg kun de termer i denne udvidelse, der har poler i LHP. Ring til disse vilkår . ${\ displaystyle H (s)}$
4. Opdel med . Resultatet er den ønskede filteroverførselsfunktion . ${\ displaystyle H (s)}$${\ displaystyle S_ {x} ^ {+} (s)}$${\ displaystyle G (s)}$

Endelig impulsrespons Wiener-filter til diskrete serier

Blokdiagramvisning af FIR Wiener-filter til diskrete serier. Et indgangssignal w [ n ] er viklet sammen med Wiener-filteret g [ n ], og resultatet sammenlignes med et referencesignal s [ n ] for at opnå filtreringsfejl e [ n ].

Det kausale finite impulse response (FIR) Wiener-filter, i stedet for at bruge en given datamatrix X og outputvektor Y, finder optimale tapvægte ved hjælp af statistikken for input- og output-signalerne. Det udfylder inputmatrixen X med estimater af den automatiske korrelation af indgangssignalet (T) og udfylder outputvektoren Y med estimater af krydskorrelationen mellem output- og indgangssignalerne (V).

For at udlede koefficienterne for Wiener-filteret skal man overveje signalet w [ n ] der tilføres til et Wiener-filter af rækkefølge (antal tidligere tap) N og med koefficienter . Outputtet fra filteret betegnes x [ n ], hvilket er givet ved udtrykket ${\ displaystyle \ {a_ {0}, \ cdots, a_ {N} \}}$

${\ displaystyle x [n] = \ sum _ {i = 0} ^ {N} a_ {i} w [ni].}$

Den resterende fejl betegnes e [ n ] og defineres som e [ n ] = x [ n ] -  s [ n ] (se det tilsvarende blokdiagram). Wiener-filteret er designet til at minimere den gennemsnitlige kvadratfejl ( MMSE- kriterier), som kan præciseres som følger:

${\ displaystyle a_ {i} = \ arg \ min E \ left [e ^ {2} [n] \ right],}$

hvor betegner forventningsoperatøren. I det generelle tilfælde kan koefficienterne være komplekse og kan afledes for det tilfælde, hvor w [ n ] og s [ n ] også er komplekse. Med et komplekst signal er matrixen, der skal løses, en Hermitian Toeplitz-matrix snarere end symmetrisk Toeplitz-matrix . For nemheds skyld betragter det følgende kun det tilfælde, hvor alle disse mængder er reelle. Den gennemsnitlige kvadratfejl (MSE) kan omskrives som: ${\ displaystyle E [\ cdot]}$${\ displaystyle a_ {i}}$

${\ displaystyle {\ begin {align} E \ left [e ^ {2} [n] \ right] & = E \ left [(x [n] -s [n]) ^ {2} \ right] \\ & = E \ venstre [x ^ {2} [n] \ højre] + E \ venstre [s ^ {2} [n] \ højre] -2E [x [n] s [n]] \\ & = E \ venstre [\ venstre (\ sum _ {i = 0} ^ {N} a_ {i} w [ni] \ højre) ^ {2} \ højre] + E \ venstre [s ^ {2} [n] \ højre] -2E \ venstre [\ sum _ {i = 0} ^ {N} a_ {i} w [ni] s [n] \ højre] \ ende {justeret}}}$

For at finde den vektor, der minimerer udtrykket ovenfor, skal du beregne dets afledte i forhold til hver ${\ displaystyle [a_ {0}, \, \ ldots, \, a_ {N}]}$${\ displaystyle a_ {i}}$

${\ displaystyle {\ begin {align} {\ frac {\ partial} {\ partial a_ {i}}} E \ left [e ^ {2} [n] \ right] & = {\ frac {\ partial} { \ delvis a_ {i}}} \ venstre \ {E \ venstre [\ venstre (\ sum _ {i = 0} ^ {N} a_ {i} w [ni] \ højre) ^ {2} \ højre] + E \ venstre [s ^ {2} [n] \ højre] -2E \ venstre [\ sum _ {i = 0} ^ {N} a_ {i} w [ni] s [n] \ højre] \ højre \ } \\ & = 2E \ venstre [\ venstre (\ sum _ {j = 0} ^ {N} a_ {j} w [nj] \ højre) w [ni] \ højre] -2E [w [ni] s [n]] \\ & = 2 \ left (\ sum _ {j = 0} ^ {N} E [w [nj] w [ni]] a_ {j} \ right) -2E [w [ni] s [n]] \ end {align}}}$

Antages det, at w [ n ] og s [ n ] er hver stationære og fællesskab stationære, sekvenserne og som henholdsvis autokorrelation af w [ n ] og krydskorrelationen mellem w [ n ] og s [ n ] kan defineres som følger: ${\ displaystyle R_ {w} [m]}$${\ displaystyle R_ {ws} [m]}$

${\ displaystyle {\ begin {align} R_ {w} [m] & = E \ {w [n] w [n + m] \} \\ R_ {ws} [m] & = E \ {w [n ] s [n + m] \} \ end {justeret}}}$

Derivatet af MSE kan derfor omskrives som:

${\ displaystyle {\ frac {\ partial} {\ partial a_ {i}}} E \ left [e ^ {2} [n] \ right] = 2 \ left (\ sum _ {j = 0} ^ {N } R_ {w} [ji] a_ {j} \ højre) -2R_ {ws} [i] \ qquad i = 0, \ cdots, N.}$

Bemærk , at autokorrelationen i virkeligheden er symmetrisk: ${\ displaystyle w [n]}$

$${\ displaystyle R_ {w} [ji] = R_ {w} [ij]}$$

${\ displaystyle \ sum _ {j = 0} ^ {N} R_ {w} [ji] a_ {j} = R_ {ws} [i] \ qquad i = 0, \ cdots, N.}$

som kan omskrives (ved hjælp af ovenstående symmetriske egenskab) i matrixform

${\ displaystyle \ underbrace {\ begin {bmatrix} R_ {w} [0] & R_ {w} [1] & \ cdots & R_ {w} [N] \\ R_ {w} [1] & R_ {w} [0 ] & \ cdots & R_ {w} [N-1] \\\ vdots & \ vdots & \ ddots & \ vdots \\ R_ {w} [N] & R_ {w} [N-1] & \ cdots & R_ {w } [0] \ end {bmatrix}} _ {\ mathbf {T}} \ underbrace {\ begin {bmatrix} a_ {0} \\ a_ {1} \\\ vdots \\ a_ {N} \ end {bmatrix }} _ {\ mathbf {a}} = \ underbrace {\ begin {bmatrix} R_ {ws} [0] \\ R_ {ws} [1] \\\ vdots \\ R_ {ws} [N] \ end {bmatrix}} _ {\ mathbf {v}}}$

Disse ligninger er kendt som Wiener-Hopf-ligningerne . Matrixen T, der vises i ligningen, er en symmetrisk Toeplitz-matrix . Under passende betingelser er disse matricer kendt for at være positive bestemte og derfor ikke-entydige, hvilket giver en unik løsning til bestemmelse af Wiener-filterkoefficientvektoren . Der findes desuden en effektiv algoritme til at løse sådanne Wiener-Hopf-ligninger kendt som Levinson-Durbin- algoritmen, så en eksplicit inversion af T er ikke påkrævet. ${\ displaystyle R}$${\ displaystyle \ mathbf {a} = \ mathbf {T} ^ {- 1} \ mathbf {v}}$

I nogle artikler er krydskorrelationsfunktionen defineret på den modsatte måde:

$${\ displaystyle R_ {sw} [m] = E \ {w [n] s [n + m] \}}$$

${\ displaystyle \ mathbf {v}}$

${\ displaystyle R_ {sw} [0] \ ldots R_ {sw} [N]}$

Uanset hvilken notation der bruges, skal du bemærke, at det i virkeligheden : ${\ displaystyle w [n], s [n]}$

$${\ displaystyle R_ {sw} [k] = R_ {ws} [- k]}$$

Forholdet til filteret med mindst kvadrater

Realiseringen af ​​det kausale Wiener-filter ligner meget løsningen på det mindste kvadraters estimat undtagen i signalbehandlingsdomænet. Den mindste kvadraters løsning til inputmatrix og outputvektor er ${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {y}}$

${\ displaystyle {\ boldsymbol {\ hat {\ beta}}} = (\ mathbf {X} ^ {\ mathbf {T}} \ mathbf {X}) ^ {- 1} \ mathbf {X} ^ {\ mathbf {T}} {\ boldsymbol {y}}.}$

FIR Wiener-filteret er relateret til filteret med mindst gennemsnitlige kvadrater , men minimering af sidstnævnte fejlkriterium er ikke afhængig af krydskorrelationer eller autokorrelationer. Dens løsning konvergerer til Wiener-filteropløsningen.

Komplekse signaler

For komplekse signaler udføres afledningen af ​​det komplekse Wiener-filter ved at minimere = . Dette involverer beregning af delvise derivater med hensyn til både den reelle og imaginære del af og krav om, at de begge skal være nul. ${\ displaystyle E \ left [| e [n] | ^ {2} \ right]}$${\ displaystyle E \ left [e [n] e ^ {*} [n] \ right]}$${\ displaystyle a_ {i}}$

De resulterende Wiener-Hopf ligninger er:

${\ displaystyle \ sum _ {j = 0} ^ {N} R_ {w} [ji] a_ {j} ^ {*} = R_ {ws} [i] \ qquad i = 0, \ cdots, N.}$

som kan omskrives i matrixform:

${\ displaystyle \ underbrace {\ begin {bmatrix} R_ {w} [0] & R_ {w} ^ {*} [1] & \ cdots & R_ {w} ^ {*} [N-1] & R_ {w} ^ {*} [N] \\ R_ {w} [1] & R_ {w} [0] & \ cdots & R_ {w} ^ {*} [N-2] & R_ {w} ^ {*} [N-1 ] \\\ vdots & \ vdots & \ ddots & \ vdots & \ vdots \\ R_ {w} [N-1] & R_ {w} [N-2] & \ cdots & R_ {w} [0] & R_ {w } ^ {*} [1] \\ R_ {w} [N] & R_ {w} [N-1] & \ cdots & R_ {w} [1] & R_ {w} [0] \ end {bmatrix}} _ {\ mathbf {T}} \ underbrace {\ begin {bmatrix} a_ {0} ^ {*} \\ a_ {1} ^ {*} \\\ vdots \\ a_ {N-1} ^ {*} \ \ a_ {N} ^ {*} \ end {bmatrix}} _ {\ mathbf {a ^ {*}}} = \ underbrace {\ begin {bmatrix} R_ {ws} [0] \\ R_ {ws} [ 1] \\\ vdots \\ R_ {ws} [N-1] \\ R_ {ws} [N] \ end {bmatrix}} _ {\ mathbf {v}}}$

Bemærk her, at:

$${\ displaystyle {\ begin {align} R_ {w} [- k] & = R_ {w} ^ {*} [k] \\ R_ {sw} [k] & = R_ {ws} ^ {*} [ -k] \ end {align}}}$$

Wiener-koefficientvektoren beregnes derefter som:

$${\ displaystyle \ mathbf {a} = {(\ mathbf {T} ^ {- 1} \ mathbf {v})} ^ {*}}$$

Ansøgninger

Wiener-filteret har en række applikationer inden for signalbehandling, billedbehandling, kontrolsystemer og digital kommunikation. Disse applikationer falder generelt ind i en af ​​fire hovedkategorier:

• Systemidentifikation
• Deconvolution
• Støjreduktion
• Signalregistrering

For eksempel kan Wiener-filteret bruges i billedbehandling til at fjerne støj fra et billede. For eksempel bruger Mathematica-funktionen: WienerFilter[image,2] til det første billede til højre producerer det filtrerede billede under det.

Støjende billede af astronaut.

Støjende billede af astronaut efter Wiener-filter anvendt.

Det bruges ofte til at benægte lydsignaler, især tale, som en forprocessor før talegenkendelse .

Historie

Filtret blev foreslået af Norbert Wiener i 1940'erne og udgivet i 1949. Det diskrete tidsækvivalent til Wieners arbejde blev afledt uafhængigt af Andrey Kolmogorov og udgivet i 1941. Derfor kaldes teorien ofte Wiener – Kolmogorov- filtreringsteorien ( jf. Kriging ). Wiener-filteret var det første statistisk designede filter, der blev foreslået og efterfølgende gav anledning til mange andre inklusive Kalman-filteret .

Se også

• Norbert Wiener
• Eberhard Hopf
• Wiener deconvolution
• mindst betyder kvadratfilter
• ligheder mellem Wiener og LMS
• lineær forudsigelse
• MMSE estimator
• Kalman filter
• generaliseret Wiener-filter
• matchet filter
• Informationsfeltteori

Referencer

• Thomas Kailath , Ali H. Sayed og Babak Hassibi , Lineær skøn, Prentice-Hall, NJ, 2000, ISBN   978-0-13-022464-4 .
• Wiener N: Interpolering, ekstrapolering og udjævning af stationære tidsserier ', Rapport om tjenesterne 19, forskningsprojekt DIC-6037 MIT, februar 1942
• Kolmogorov AN: 'Stationære sekvenser i Hilbert-rummet', (på russisk) Bull. Moskva Univ. 1941 bind 2 nr. 6 1-40. Engelsk oversættelse i Kailath T. (red.) Lineær mindste kvadraters estimering Dowden, Hutchinson & Ross 1977

eksterne links

• Mathematica WienerFilter funktion