Optimal kontrol - Optimal control

Optimal kontrolteori er en gren af matematisk optimering, der handler om at finde en kontrol til et dynamisk system over en periode, så en objektiv funktion optimeres. Det har mange applikationer inden for videnskab, teknik og driftsforskning. For eksempel kan det dynamiske system være et rumfartøj med kontroller, der svarer til raketpropeller, og målet kan være at nå månen med et minimalt brændstofforbrug. Eller det dynamiske system kan være en nations økonomi med det formål at minimere arbejdsløsheden ; kontrollen i dette tilfælde kan være finans- og pengepolitik . Et dynamisk system kan også indføres for at integrere operationsforskningsproblemer inden for rammerne af optimal kontrolteori.

Optimal kontrol er en udvidelse af beregningen af variationer og er en matematisk optimeringsmetode til at udlede kontrolpolitikker . Metoden skyldes i høj grad Lev Pontryagins og Richard Bellmans arbejde i 1950'erne, efter bidrag til beregning af variationer af Edward J. McShane . Optimal kontrol kan ses som en kontrolstrategi inden for kontrolteori .

Generel metode

Optimal kontrol omhandler problemet med at finde en kontrollov for et givet system, således at et bestemt optimitetskriterium opnås. Et kontrolproblem omfatter en omkostningsfunktion, der er en funktion af tilstands- og kontrolvariabler. En optimal kontrol er et sæt differentialligninger, der beskriver stierne for kontrolvariablerne, der minimerer omkostningsfunktionen. Den optimale kontrol kan udledes ved hjælp af Pontryagins maksimale princip (en nødvendig betingelse, også kendt som Pontryagins minimumsprincip eller blot Pontryagins princip), eller ved at løse Hamilton – Jacobi – Bellman -ligningen (en tilstrækkelig betingelse ).

Vi begynder med et enkelt eksempel. Overvej en bil, der kører i en lige linje på en kuperet vej. Spørgsmålet er, hvordan føreren skal trykke på speederpedalen for at minimere den samlede rejsetid? I dette eksempel refererer udtrykket kontrollov specifikt til den måde, hvorpå føreren trykker på speederen og skifter gear. Det Systemet består af både bilen og vejen, og optimalitet kriterium er minimering af den samlede rejsetid. Kontrolproblemer omfatter normalt accessoriske begrænsninger . For eksempel kan mængden af tilgængeligt brændstof være begrænset, speederpedalen kan ikke skubbes gennem gulvet i bilen, hastighedsbegrænsninger osv.

En korrekt omkostningsfunktion vil være et matematisk udtryk, der giver rejsetiden som en funktion af systemets hastighed, geometriske overvejelser og indledende forhold . Begrænsninger kan ofte udskiftes med omkostningsfunktionen.

Et andet relateret optimalt kontrolproblem kan være at finde vejen til at køre bilen for at minimere brændstofforbruget, da den skal gennemføre et givent forløb på en tid, der ikke overstiger et vist beløb. Endnu et andet relateret kontrolproblem kan være at minimere de samlede monetære omkostninger ved færdiggørelse af turen i betragtning af antagne pengepriser for tid og brændstof.

En mere abstrakt ramme går som følger. Minimer funktionen til kontinuerlig tid

{\ displaystyle J [{\ textbf {x}} (\ cdot), {\ textbf {u}} (\ cdot), t_ {0}, t_ {f}]: = E \, [\, {\ textbf {x}} (t_ {0}), t_ {0}, {\ textbf {x}} (t_ {f}), t_ {f} \,]+\ int \ limit _ {t_ {0}}^ {t_ {f}} F \, [\, {\ textbf {x}} (t), {\ textbf {u}} (t), t \,] \, \ operatorname {d} t}

underlagt de første ordens dynamiske begrænsninger ( tilstandsligningen )

{\ displaystyle {\ dot {\ textbf {x}}} (t) = {\ textbf {f}} \, [\, {\ textbf {x}} (t), {\ textbf {u}} (t ), t \,],}

de algebraiske vejbegrænsninger

{\ displaystyle {\ textbf {h}} \, [\, {\ textbf {x}} (t), {\ textbf {u}} (t), t \,] \ leq {\ textbf {0}} ,}

og slutpunktsbetingelserne

{\ displaystyle {\ textbf {e}} \, [\, {\ textbf {x}} (t_ {0}), t_ {0}, {\ textbf {x}} (t_ {f}), t_ { f} \,] = 0}

hvor er staten , er kontrollen , er den uafhængige variabel (generelt set tid), er den indledende tid og er terminaltiden. Vilkårene og kaldes henholdsvis slutpunktsomkostningerne og driftsomkostningerne . I beregningen af variationer og omtales som henholdsvis Mayer -udtrykket og Lagrangian . Det bemærkes endvidere, at vejbegrænsningerne generelt er ulighedsbegrænsninger og derfor muligvis ikke er aktive (dvs. lig med nul) ved den optimale løsning. Det bemærkes også, at det optimale kontrolproblem som anført ovenfor kan have flere løsninger (dvs. at løsningen muligvis ikke er unik). Således er det oftest sådan, at enhver løsning på det optimale kontrolproblem minimeres lokalt . ${\ displaystyle {\ textbf {x}} (t)}$ ${\ displaystyle {\ textbf {u}} (t)}$ ${\ displaystyle t}$ ${\ displaystyle t_ {0}}$ ${\ displaystyle t_ {f}}$ ${\ displaystyle E}$ ${\ displaystyle F}$ ${\ displaystyle E}$ ${\ displaystyle F}$ ${\ displaystyle [{\ textbf {x}}^{*} (t), {\ textbf {u}}^{*} (t), t_ {0}^{*}, t_ {f}^{* }]}}$

Lineær kvadratisk kontrol

Et særligt tilfælde af det generelle ikke -lineære optimale kontrolproblem givet i det foregående afsnit er det lineære kvadratiske (LQ) optimale kontrolproblem . LQ -problemet er angivet som følger. Minimer den kvadratiske omkostningsfunktion i kontinuerlig tid

{\ displaystyle J = {\ tfrac {1} {2}} \ mathbf {x} ^{\ mathsf {T}} (t_ {f}) \ mathbf {S} _ {f} \ mathbf {x} (t_ {f})+{\ tfrac {1} {2}} \ int _ {t_ {0}} \ limit ^{t_ {f}} [\, \ mathbf {x} ^{\ mathsf {T}} ( t) \ mathbf {Q} (t) \ mathbf {x} (t)+\ mathbf {u} ^{\ mathsf {T}} (t) \ mathbf {R} (t) \ mathbf {u} (t ) \,] \, \ operatornavn {d} t}

Underlagt de lineære førsteordens dynamiske begrænsninger

{\ displaystyle {\ dot {\ mathbf {x}}} (t) = \ mathbf {A} (t) \ mathbf {x} (t)+\ mathbf {B} (t) \ mathbf {u} (t ),}

og den oprindelige tilstand

{\ displaystyle \ mathbf {x} (t_ {0}) = \ mathbf {x} _ {0}}

En særlig form for LQ problem, som opstår i mange kontrolsystem problemer er, at den lineære kvadratiske reguleringsindretning (LQR) hvor alle matricerne (dvs. , , , og ) er konstant , den oprindelige tid er arbitrært sat til nul, og terminaltiden tages i grænsen (denne sidste antagelse er det, der kaldes uendelig horisont ). LQR -problemet er angivet som følger. Minimer den uendelige horisont kvadratisk kontinuerlig omkostnings funktionel ${\ displaystyle \ mathbf {A}}$ ${\ displaystyle \ mathbf {B}}$ ${\ displaystyle \ mathbf {Q}}$ ${\ displaystyle \ mathbf {R}}$ ${\ displaystyle t_ {f} \ rightarrow \ infty}$

{\ displaystyle J = {\ tfrac {1} {2}} \ int \ limit _ {0} ^{\ infty} [\, \ mathbf {x} ^{\ mathsf {T}} (t) \ mathbf { Q} \ mathbf {x} (t)+\ mathbf {u} ^{\ mathsf {T}} (t) \ mathbf {R} \ mathbf {u} (t) \,] \, \ operatorname {d} t}

Med forbehold for de lineære tid-invariante førsteordens dynamiske begrænsninger

{\ displaystyle {\ dot {\ mathbf {x}}} (t) = \ mathbf {A} \ mathbf {x} (t)+\ mathbf {B} \ mathbf {u} (t),}

og den oprindelige tilstand

{\ displaystyle \ mathbf {x} (t_ {0}) = \ mathbf {x} _ {0}}

I det endelige horisont-tilfælde er matricerne begrænset i det og er henholdsvis positive halv-bestemte og positive bestemte. I uendelig-horisont tilfælde, men de matricer og er ikke kun positiv-semidefinite og positiv-bestemt, henholdsvis, men er også konstant . Disse yderligere begrænsninger på og i uendelig horisont-sagen håndhæves for at sikre, at omkostningsfunktionen forbliver positiv. For at sikre, at omkostningsfunktionen er begrænset , pålægges den yderligere begrænsning, at parret er kontrollerbart . Bemærk, at LQ- eller LQR -omkostningsfunktionen fysisk kan betragtes som et forsøg på at minimere kontrolenergien (målt som en kvadratisk form). ${\ displaystyle \ mathbf {Q}}$ ${\ displaystyle \ mathbf {R}}$ ${\ displaystyle \ mathbf {Q}}$ ${\ displaystyle \ mathbf {R}}$ ${\ displaystyle \ mathbf {Q}}$ ${\ displaystyle \ mathbf {R}}$ ${\ displaystyle (\ mathbf {A}, \ mathbf {B})}$

Det uendelige horisontproblem (dvs. LQR) kan virke overdrevent restriktivt og i det væsentlige ubrugeligt, fordi det antager, at operatøren driver systemet til nul-tilstand og dermed driver systemets output til nul. Dette er virkelig korrekt. Problemet med at køre outputtet til et ønsket nul -niveau kan imidlertid løses, efter at den ene output er nul. Faktisk kan det bevises, at dette sekundære LQR -problem kan løses på en meget ligetil måde. Det er blevet vist i klassisk optimal kontrolteori, at LQ (eller LQR) optimal kontrol har feedbackformularen

{\ displaystyle \ mathbf {u} (t) =-\ mathbf {K} (t) \ mathbf {x} (t)}

hvor er en korrekt dimensioneret matrix, givet som ${\ displaystyle \ mathbf {K} (t)}$

{\ displaystyle \ mathbf {K} (t) = \ mathbf {R} ^{-1} \ mathbf {B} ^{\ mathsf {T}} \ mathbf {S} (t),}

og er løsningen på differential Riccati -ligningen . Den differentielle Riccati -ligning er givet som ${\ displaystyle \ mathbf {S} (t)}$

{\ displaystyle {\ dot {\ mathbf {S}}} (t) = -\ mathbf {S} (t) \ mathbf {A} -\ mathbf {A} ^{\ mathsf {T}} \ mathbf {S } (t)+\ mathbf {S} (t) \ mathbf {B} \ mathbf {R} ^{-1} \ mathbf {B} ^{\ mathsf {T}} \ mathbf {S} (t)- \ mathbf {Q}}

For det endelige horisont LQ -problem er Riccati -ligningen integreret bagud i tiden ved hjælp af terminalgrænsebetingelsen

{\ displaystyle \ mathbf {S} (t_ {f}) = \ mathbf {S} _ {f}}

For det uendelige horisont LQR -problem erstattes differential Riccati -ligningen med den algebraiske Riccati -ligning (ARE) givet som

{\ displaystyle \ mathbf {0} = -\ mathbf {S} \ mathbf {A} -\ mathbf {A} ^{\ mathsf {T}} \ mathbf {S} +\ mathbf {S} \ mathbf {B} \ mathbf {R} ^{ -1} \ mathbf {B} ^{\ mathsf {T}} \ mathbf {S} -\ mathbf {Q}}

Forståelse for, at ARE skyldes uendelig horisont problem, matricerne , , , og alle er konstant . Det bemærkes, at der generelt er flere løsninger til den algebraiske Riccati-ligning, og den positive bestemte (eller positive halv-bestemte) løsning er den, der bruges til at beregne feedbackforstærkningen. LQ (LQR) problemet blev elegant løst af Rudolf Kálmán . ${\ displaystyle \ mathbf {A}}$ ${\ displaystyle \ mathbf {B}}$ ${\ displaystyle \ mathbf {Q}}$ ${\ displaystyle \ mathbf {R}}$

Numeriske metoder til optimal kontrol

Optimale kontrolproblemer er generelt ikke-lineære og har derfor generelt ikke analytiske løsninger (f.eks. Ligesom det lineære-kvadratiske optimale kontrolproblem). Som et resultat er det nødvendigt at anvende numeriske metoder til at løse optimale kontrolproblemer. I de første år med optimal kontrol ( ca. 1950'erne til 1980'erne) var den foretrukne metode til løsning af optimale kontrolproblemer indirekte metoder . I en indirekte metode anvendes beregningen af variationer for at opnå de første ordens optimalitetsbetingelser. Disse betingelser resulterer i et topunkts (eller, i tilfælde af et komplekst problem, et flerpunkts) grænseværdiproblem . Dette grænseværdiproblem har faktisk en særlig struktur, fordi det stammer fra at tage derivatet af en Hamiltonian . Det resulterende dynamiske system er således et hamiltonsystem af formen

{\ displaystyle {\ begin {array} {lcl} {\ dot {\ textbf {x}}} & = & \ delvis H/\ delvis {\ boldsymbol {\ lambda}} \\ {\ dot {\ boldsymbol {\ lambda}}} & = &-\ delvis H/\ delvis {\ textbf {x}} \ end {array}}}

hvor

{\ displaystyle H = F+{\ boldsymbol {\ lambda}}^{\ mathsf {T}} {\ textbf {f}}-{\ boldsymbol {\ mu}}^{\ mathsf {T}} {\ textbf { h}}}

er den udvidede Hamiltonian og i en indirekte metode er grænseværdiproblemet løst (ved hjælp af de passende grænse- eller transversalitetsbetingelser ). Skønheden ved at bruge en indirekte metode er, at tilstanden og adjoint (dvs. ) løses for, og den resulterende løsning let verificeres til at være en ekstrem bane. Ulempen ved indirekte metoder er, at grænseværdi-problemet ofte er ekstremt vanskeligt at løse (især for problemer, der spænder over store tidsintervaller eller problemer med indvendige punktbegrænsninger). Et velkendt softwareprogram, der implementerer indirekte metoder, er BNDSCO. ${\ displaystyle {\ boldsymbol {\ lambda}}}$

Den tilgang, der er steget til fremtrædende i numerisk optimal kontrol siden 1980'erne, er den af såkaldte direkte metoder . I en direkte metode tilnærmes tilstanden eller kontrollen eller begge dele ved hjælp af en passende funktionstilnærmelse (f.eks. Polynomtilnærmelse eller stykkevis konstant parameterisering). Samtidig tilnærmes omkostningsfunktionen som en omkostningsfunktion . Derefter behandles koefficienterne for funktionstilnærmelser som optimeringsvariabler, og problemet "transskriberes" til et ikke -lineært optimeringsproblem i formen:

Minimer

{\ displaystyle F (\ mathbf {z}) \,}

underlagt de algebraiske begrænsninger

{\ displaystyle {\ begin {array} {lcl} \ mathbf {g} (\ mathbf {z}) & = & \ mathbf {0} \\\ mathbf {h} (\ mathbf {z}) & \ leq & \ mathbf {0} \ end {array}}}

Afhængigt af den anvendte type direkte metode kan størrelsen af det ikke -lineære optimeringsproblem være ganske lille (f.eks. Som ved en direkte optagelses- eller kvasilinarisationsmetode), moderat (f.eks. Pseudospektral optimal kontrol ) eller kan være ganske stor (f.eks. En direkte samlokationsmetode ). I sidstnævnte tilfælde (dvs. en kollokationsmetode) kan det ikke -lineære optimeringsproblem være bogstaveligt talt tusinder til titusinder af variabler og begrænsninger. I betragtning af størrelsen på mange NLP'er, der stammer fra en direkte metode, kan det virke noget kontraintuitivt, at løsning af det ikke-lineære optimeringsproblem er lettere end at løse grænseværdi-problemet. Det er imidlertid det faktum, at NLP er lettere at løse end grænseværdi-problemet. Årsagen til den relative lette beregning, især ved en direkte kollokationsmetode, er, at NLP er sparsom, og der findes mange velkendte softwareprogrammer (f.eks. SNOPT ) for at løse store sparsomme NLP'er. Som et resultat heraf er rækkevidden af problemer, der kan løses via direkte metoder (især direkte kollokationsmetoder, der er meget populære i disse dage) betydeligt større end den række af problemer, der kan løses via indirekte metoder. Faktisk er direkte metoder blevet så populære i disse dage, at mange mennesker har skrevet udførlige softwareprogrammer, der anvender disse metoder. Især mange af disse programmer inkluderer DIRCOL , SOCS, OTIS, GESOP/ ASTOS , DITAN. og PyGMO/PyKEP. I de senere år, på grund af fremkomsten af MATLAB programmeringssprog, er optimal styringssoftware i MATLAB blevet mere almindelig. Eksempler på akademisk udviklede MATLAB -softwareværktøjer, der implementerer direkte metoder, omfatter RIOTS , DIDO , DIRECT , FALCON.m og GPOPS, mens et eksempel på et industriudviklet MATLAB -værktøj er PROPT . Disse softwareværktøjer har betydeligt øget mulighederne for mennesker til at udforske komplekse optimale kontrolproblemer både for akademisk forskning og industrielle problemer. Endelig bemærkes det, at generelle MATLAB-optimeringsmiljøer som TOMLAB har gjort kodning af komplekse optimale kontrolproblemer betydeligt lettere end tidligere var muligt på sprog som C og FORTRAN .

Diskret tid optimal kontrol

Eksemplerne hidtil har vist kontinuerlige tidssystemer og kontrolløsninger. Faktisk, da optimale styringsløsninger nu ofte implementeres digitalt , er nutidens kontrolteori nu primært optaget af diskrete tidssystemer og løsninger. Theory of Consistent Approximations giver betingelser, hvorunder løsninger på en række stadig mere præcise diskretiserede optimale kontrolproblemer konvergerer til løsningen af det originale problem med kontinuerlig tid. Ikke alle diskretiseringsmetoder har denne egenskab, selv tilsyneladende indlysende. For eksempel kan brug af en rutine med variabel trinstørrelse til at integrere problemets dynamiske ligninger generere en gradient, der ikke konvergerer til nul (eller peger i den rigtige retning), når løsningen nærmer sig. Den direkte metode RIOTS er baseret på Theory of Consistent Approximation.

Eksempler

En fælles løsningstrategi i mange optimale kontrolproblemer er at løse for kostnaden (undertiden kaldet skyggeprisen ) . Costaten opsummerer i et tal marginalværdien af at udvide eller kontrahere statens variabel næste tur. Den marginale værdi er ikke kun de gevinster, der tilkommer det næste sving, men er forbundet med programmets varighed. Det er rart, når det kan løses analytisk, men normalt er det mest, man kan gøre, at beskrive det tilstrækkeligt godt til, at intuitionen kan forstå løsningens karakter, og en ligningsløser kan løse numerisk for værdierne. ${\ displaystyle \ lambda (t)}$ ${\ displaystyle \ lambda (t)}$

Efter at have opnået , kan turn-t optimale værdi for kontrollen normalt løses som en differentialligning, der er betinget af viden om . Igen er det sjældent, især i problemer med kontinuerlig tid, at man eksplicit opnår værdien af kontrollen eller staten. Normalt er strategien at løse for tærskler og regioner, der kendetegner den optimale kontrol og bruge en numerisk solver til at isolere de faktiske valgværdier i tide. ${\ displaystyle \ lambda (t)}$ ${\ displaystyle \ lambda (t)}$

Endelig tid

Overvej problemet med en mineejer, der skal beslutte med hvilken hastighed man vil udvinde malm fra deres mine. De ejer rettigheder til malmen fra dato til dato . På nuværende tidspunkt er der malm i jorden, og den tidsafhængige mængde malm, der er tilbage i jorden, falder med den hastighed , som mineejeren udvinder den. Mineejeren udvinder malm til kostpris (omkostningerne ved udvinding stiger med kvadratet af ekstraktionshastigheden og inversen af mængden af malm tilbage) og sælger malm til en konstant pris . Enhver malm, der efterlades i jorden på det tidspunkt, kan ikke sælges og har ingen værdi (der er ingen "skrotværdi"). Ejeren vælger ekstraktionshastigheden, der varierer med tiden for at maksimere overskuddet i ejerperioden uden diskontering. ${\ displaystyle 0}$ ${\ displaystyle T}$ ${\ displaystyle 0}$ ${\ displaystyle x_ {0}}$ ${\ displaystyle x (t)}$ ${\ displaystyle u (t)}$ ${\ displaystyle u (t)^{2}/x (t)}$ ${\ displaystyle p}$ ${\ displaystyle T}$ ${\ displaystyle u (t)}$

1. Diskret-tid version

Lederen maksimerer overskuddet : ${\ displaystyle \ Pi}$

{\ displaystyle \ Pi = \ sum \ limit _ {t = 0}^{T-1} \ venstre [pu_ {t}-{\ frac {u_ {t}^{2}} {x_ {t}}} \ret]}

underlagt evolutionens lov for statsvariablen ${\ displaystyle x_ {t}}$

{\ displaystyle x_ {t+1} -x_ {t} =-u_ {t} \!}

Form hamiltleren og differentier:

{\ displaystyle H = pu_ {t}-{\ frac {u_ {t}^{2}} {x_ {t}}}-\ lambda _ {t+1} u_ {t}}

{\ displaystyle {\ frac {\ delvis H} {\ delvis u_ {t}}} = p- \ lambda _ {t+1} -2 {\ frac {u_ {t}} {x_ {t}}} = 0}

{\ displaystyle \ lambda _ {t+1}-\ lambda _ {t} =-{\ frac {\ delvis H} {\ delvis x_ {t}}} =-\ venstre ({\ frac {u_ {t} } {x_ {t}}} \ højre)^{2}}

Da mineejeren ikke værdsætter den malm, der er tilbage til tiden , ${\ displaystyle T}$

{\ displaystyle \ lambda _ {T} = 0 \!}

Ved hjælp af ovenstående ligninger er det let at løse for og -serierne ${\ displaystyle x_ {t}}$ ${\ displaystyle \ lambda _ {t}}$

{\ displaystyle \ lambda _ {t} = \ lambda _ {t+1}+{\ frac {(p- \ lambda _ {t+1})^{2}} {4}}}

{\ displaystyle x_ {t+1} = x_ {t} {\ frac {2-p+\ lambda _ {t+1}} {2}}}

og ved hjælp af de indledende og turn-T betingelser kan serien løses eksplicit og give . ${\ displaystyle x_ {t}}$ ${\ displaystyle u_ {t}}$

2. Kontinuerlig version

Lederen maksimerer overskuddet : ${\ displaystyle \ Pi}$

{\ displaystyle \ Pi = \ int \ limit _ {0}^{T} \ left [pu (t)-{\ frac {u (t)^{2}} {x (t)}} \ right] dt }

hvor tilstandsvariablen udvikler sig som følger: ${\ displaystyle x (t)}$

{\ displaystyle {\ dot {x}} (t) =-u (t)}

Form hamiltleren og differentier:

{\ displaystyle H = pu (t)-{\ frac {u (t)^{2}} {x (t)}}-\ lambda (t) u (t)}

{\ displaystyle {\ frac {\ delvis H} {\ delvis u}} = p- \ lambda (t) -2 {\ frac {u (t)} {x (t)}} = 0}

{\ displaystyle {\ dot {\ lambda}} (t) =-{\ frac {\ delvis H} {\ delvis x}} =-\ venstre ({\ frac {u (t)} {x (t)} } \ højre)^{2}}

Da mineejeren ikke værdsætter den malm, der er tilbage til tiden , ${\ displaystyle T}$

{\ displaystyle \ lambda (T) = 0}

Ved hjælp af ovenstående ligninger er det let at løse for de differentialligninger, der styrer og ${\ displaystyle u (t)}$ ${\ displaystyle \ lambda (t)}$