Das Pontrjaginsche Maximumprinzip fu ¨ r nichtlineare Steuerungsprobleme mit unendlichem Zeithorizont unter Zustandsbeschr¨ ankungen

arXiv:1508.02340v2 [math.OC] 11 Nov 2015

Nico Tauchnitz

Vorwort Die Aufgaben der Optimalen Steuerung mit unendlichem Zeithorizont besitzen im Vergleich zu den klassischen Steuerungsproblemen ihren eigenen Charakter, da durch das unbeschr¨ankte Zeitintervall die Aufgabenstellung eine Singularit¨ at beinhaltet. Die L¨osungsmethoden, die f¨ ur die klassischen Aufgaben entwickelt wurden, k¨ onnen f¨ ur die Situation des unendlichen Horizontes nicht einfach u ¨bernommen werden. Mit der vorliegenden Arbeit pr¨ asentiere ich Ergebnisse, die die Verfahren von Dubovitskii & Milyutin und Ioffe & Tichomirov an die Probleme der Optimalen Steuerung mit unendlichem Zeithorizont anpassen. Begonnen habe ich mit der Bearbeitung dieser Klasse von Steuerungsproblemen im Jahr 2010. Das erste “echte” Resultat konnte ich erst 2014 erzielen, n¨amlich das Pontrjaginsche Maximumprinzip f¨ ur die Grundaufgabe. Die allgemeine Beweisstrategie, die ich daf¨ ur entwickelt habe, baut im Kern auf den Ergebnissen von Ioffe & Tichomirov auf. Das wesentliche Problem stellt dabei die Anwendung des Satzes von Ljusternik zum Nachweis der Existenz zul¨assiger Richtungen bei nichtlinearen Aufgaben u ¨ber dem unbeschr¨ankten Zeitintervall dar. Noch im gleichen Jahr konnte ich das Pontrjaginsche Maximumprinzip f¨ ur Aufgaben mit Zustandsbeschr¨ankungen zeigen. Die erzielten Resultate weisen eine enge Verwandtschaft zu den Ergebnissen f¨ ur die klassischen Steuerungsprobleme auf. Insbesondere f¨ ur zustandsbeschr¨ankte Aufgaben waren die Analogien so nicht zu erwarten. Die Methoden, die ich in dieser Arbeit vorstelle, geh¨oren f¨ ur Steuerungsprobleme ¨ mit unendlichem Zeithorizont nicht zum Standard. Deswegen habe ich die wichtigsten Uberlegungen und Argumente anhand von Beispielen motiviert. August 2015

Optimale Steuerung mit unendlichem Zeithorizont

Inhaltsverzeichnis 3

Inhaltsverzeichnis Liste der wichtigsten Bezeichnungen

5

1. Einleitung

7

2. Das 2.1. 2.2. 2.3.

Steuerungsproblem mit unendlichem Zeithorizont Formulierung der Aufgabe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Gewichts- und Verteilungsfunktionen . . . . . . . . . . . . . . . . . . . . . . . . . . Verschiedene Methoden und Optimalit¨atsbegriffe . . . . . . . . . . . . . . . . . . .

3. Die 3.1. 3.2. 3.3.

Grundaufgabe ¨ uber unendlichem Zeithorizont Die Aufgabenstellung und das Maximumprinzip . . . . . Beispiele und Bezug zu bekannten Resultaten . . . . . . Beweis des Maximumprinzips . . . . . . . . . . . . . . . 3.3.1. Definition und Er¨ orterung der Extremalaufgabe . 3.3.2. Das Lagrangesche Prinzip . . . . . . . . . . . . . 3.3.3. Beweisschluss . . . . . . . . . . . . . . . . . . . . 3.4. Zur Normalform des Maximumprinzips . . . . . . . . . . 3.5. Hinreichende Optimalit¨ atsbedingungen vom Arrow-Typ

11 11 12 14

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

19 19 21 23 23 27 31 32 35

4. Das Maximumprinzip f¨ ur die Aufgabe mit Zustandsbeschr¨ ankungen 4.1. Die Aufgabenstellung und das Maximumprinzip . . . . . . . . . . 4.2. Beweis des Maximumprinzips . . . . . . . . . . . . . . . . . . . . 4.2.1. Eigenschaften der Zustandsbeschr¨ankungen . . . . . . . . 4.2.2. Das Lagrangesche Prinzip . . . . . . . . . . . . . . . . . . 4.2.3. Beweisschluss . . . . . . . . . . . . . . . . . . . . . . . . . 4.3. Hinreichende Optimalit¨ atsbedingungen vom Arrow-Typ . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

41 41 46 46 49 51 52

5. Aufgaben mit Verteilungsfunktionen vom Weibull-Typ 5.1. Weibull-Verteilung und Dichtefunktionen . . . . . 5.2. Die Aufgabenstellung und das Maximumprinzip . . 5.3. Beweis des Maximumprinzips . . . . . . . . . . . . 5.3.1. Eigenschaften der Extremalaufgabe . . . . . 5.3.2. Das Lagrangesche Prinzip . . . . . . . . . . 5.3.3. Beweisschluss . . . . . . . . . . . . . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

57 57 59 61 61 63 65

. . . . . .

. . . . . .

. . . . . .

. . . . . . . .

. . . . . .

. . . . . . . .

. . . . . .

. . . . . . . .

. . . . . .

. . . . . . . .

. . . . . .

. . . . . .

A. Borelsche Maße und Rieszscher Darstellungssatz

67

B. Gewichtete Lebesgue- und Sobolev-R¨ aume

69

C. Elemente der Konvexen Analysis

71

Literatur

73

Optimale Steuerung mit unendlichem Zeithorizont

Symbolverzeichnis 5

Liste der wichtigsten Bezeichnungen unendlicher Zeithorizont [0, ∞)

R+

–

ω

–

Verteilungsfunktion, zumeist ω(t) = e−̺t mit ̺ > 0

Vγ

–

gleichm¨ aßige Umgebung einer Zustandstrajektorie

XLip

–

Menge von Trajektorien mit gewissen Eigenschaften auf Vγ

ALip

–

Menge von Steuerungsprozessen, deren Trajektorien zu XLip geh¨oren

Aadm

–

Menge der zul¨ assigen Steuerungsprozesse


I x(·)

–

Indexmenge der aktiven Zustandsbeschr¨ankungen der Funktion x(·)


x(·)

–

C(R+ , Rn )

–


Menge der zul¨ assigen Steuerungsprozesse bzgl. der Indexmenge I x(·)

Raum der stetigen Vektorfunktionen u ¨ber R+

C0 (R+ , Rn )

Aadm

–

Raum der stetigen Vektorfunktionen, die im Unendlichen verschwinden

n

–

klassischer Lebesgue-Raum

n

Lp (R+ , R ; ν)

–

gewichteter Lebesgue-Raum

Wp1 (R+ , Rn )

–

klassischer Sobolev-Rraum

Wp1 (R+ , Rn ; ν)

–

gewichteter Sobolev-raum

k·k

–

Euklidische Norm

k · k∞

–

Supremumsnorm

k · kLp

–

klassische Lp −Norm

k · kLp (ν)

–

gewichtete Lp −Norm

k · kp

–

k · kp,ν

–

gewichtete Wp1 −Norm

f (x; z)

–

Richtungsableitung der Funktion f im Punkt x in Richtung z

∂f (x)

–

Subdifferential der Funktion f im Punkt x

∂x f (x, y)

–

Subdifferential der Abbildung x → f (x, y)

conv C

–

konvexe H¨ ulle der Menge C

–

Voraussetzungen an die Aufgabe

–

Eigenschaften der Verteilungs- und Gewichtsfunktionen

H

–

Pontrjagin-Funktion

H

–

Hamilton-Funktion

L

–

Lagrange-Funktion

Lp (R+ , R )

(A0 ),... (E1 ),...,

(E∗1 ),...

klassische Wp1 −Norm

Optimale Steuerung mit unendlichem Zeithorizont

Einleitung 7

1. Einleitung Aufgaben der Optimalen Steuerung mit unendlichem Zeithorizont kommen in den verschiedensten ¨ Bereichen zur Anwendung, insbesondere in der Okonomischen Wachstumstheorie. Der erste mathematische Beitrag zu einem Problem mit unbeschr¨ankten Zeitintervall besteht in einer Aufgabe der Variationsrechnung, in der folgende Frage behandelt wird: The first problem I propose to taclile is this: how much of its ” income should a nation save?“ (Ramsey [36]) ¨ Im Rahmen der Okonomischen Wachstumstheorie werden z. B. die Interaktionen sich u ¨berschneidender Generationen oder die Determinanten des wirtschaftlichen Wachstums, insbesondere unter sich ¨andernden Umweltbedingungen wie globaler Erw¨armung oder ersch¨opfenden nat¨ urlichen Ressourcen, untersucht. Aufgrund der Langlebigkeit der wirtschafts- und sozialpolitischen Entscheidungen muss dabei die Frage nach einem geeigneten Planungszeitraum aufgeworfen werden: Jeder endliche Zeithorizont stellt die Forderung nach einer ad¨aquaten wirtschaftlichen Ausgangslage f¨ ur die nachfolgenden Generationen. Um die Beachtung aller nachfolgenden Generationen zu gew¨ahrleisten, wird der Zeitrahmen in Form des unendlichen Zeithorizontes idealisiert. The infinite horizon is an idealization of the fundamental point ” that the consequences of investment are very long-lifed; any short horizon requires some methods of evaluating end-of-period capital stocks, and the only proper evaluation is their value in use in the subsequent future.“ (Arrow & Kurz [1]) Die Untersuchung von Optimalsteuerungsaufgaben basiert vorallem auf notwendigen und hinreichenden Optimalit¨ atsbedingungen. Dabei kommt dem Pontrjaginschen Maximumprinzip (Pontrjagin et. al. [35]), das eine Zusammenstellung gekoppelter Optimalit¨atsbedingungen darstellt, die zentrale Rolle zu. Diese bekannten Kriterien f¨ ur Aufgaben mit endlichem Zeithorizont bestehen aus der Existenz nichttrivialer Multiplikatoren, mit denen die adjungierte Gleichung, die Transversalit¨atsbedingungen und die Maximumbedingung erf¨ ullt sind. Die Entwicklung der Theorie der Optimalen Steuerung mit unendlichem Zeithorizont stellt eine neue Herausforderung dar: Bekannte Methoden k¨onnen nicht unmittelbar an das unbeschr¨ankte Intervall angepasst werden. Zum Nachweis eines Maximumprinzips f¨ ur Aufgaben u ¨ber unendlichem Zeithorizont hat sich vorrangig die Methode der Finiten-Horizont-Approximation etabliert. Dabei ist hervorzuheben, dass in economic models it [the concept of the infinite horizon] makes ” sense only provided what happens in the very distant future has almost no influence on the optimal solution for the period in which one is interested. [...] without imposing restrictions on the functions involved, we cannot expect that finite horizon transversality conditions carry over to the infinite horizon case.“ (Seierstad & Sydsæter [39]) Dieser ¨okonomisch motivierte Sachverhalt bedeutet aus unserer Sicht, dass in der Methode der Finiten-Horizont-Approximation der Grenz¨ ubergang zum unbeschr¨ankten Intervall auf geeigneten mathematischen Voraussetzungen beruhen muss. Ohne einem sicheren theoretischen Fundament f¨ uhrt die Finite-Horizont-Approximation zu “pathologischen” L¨osungsverhalten, die in der Literatur durch zahlreiche Beispiele belegt sind (vgl. Halkin [22]).

8 Einleitung

Optimale Steuerung mit unendlichem Zeithorizont

Im Kontrast zur Finiten-Horizont-Approximation behandeln wir das Optimalsteuerungsproblem mit unendlichem Zeithorizont mit den Beweisideen nach Pontrjagin et. al. [35], Dubovitskii & Milyutin [15] und Ioffe & Tichomirov [24], sowie nach Pickenhain [33]: Wir folgen dem Vorschlag in [33] und fassen das Steuerungsproblem als eine Aufgabe in gewichteten Sobolev-R¨aumen auf und zeigen die G¨ ultigkeit des Lagrangeschen Prinzips. F¨ ur das Optimalsteuerungsproblem ergibt sich damit zun¨achst die Existenz der Adjungierten. Dar¨ uber hinaus zeigt sich unmittelbar, dass die Adjungierte den “nat¨ urlichen” Transversalit¨atsbedingungen im Unendlichen gen¨ ugt. Im Gegensatz zu [33] betrachten wir zum Nachweis des Lagrangeschen Prinzips keine lokalen Variationen der Steuerungen, sondern entwickeln die Konstruktion verallgemeinerter Nadelvariationen nach [24] f¨ ur den unbeschr¨ankten Horizont. Ein wesentliches Merkmal zur Behandlung von Optimalsteuerungsproblemen mit unendlichem Zeithorizont ist der Optimalit¨ atsbegriff. Im Unterschied zu den h¨aufig verwendeten Begriffen der “globalen Optimalit¨ at” oder der “overtaking Optimalit¨at” untersuchen wir die Aufgabe im klassischen Sinne, d. h. auf “starke lokale Optimalit¨ at”. Die allgemeine Beweisstrategie nach [24] zeichnet sich durch folgende Charakteristiken aus: (1) Das Pontrjaginsche Maximumprinzip folgt aus der G¨ ultigkeit des Lagrangeschen Prinzips f¨ ur das zugeh¨ orige Extremalproblem in Funktionenr¨aumen. (2) Das Extremalprinzip f¨ ur die abstrakte Aufgabe ergibt sich durch die Anwendung des Trennungssatzes f¨ ur konvexe Mengen (eine Konsequenz aus dem Satz von Hahn-Banach). (3) Zur Anwendung des Trennungssatzes f¨ ur konvexe Mengen werden zul¨assige Richtung auf der Grundlage von verallgemeinerten mehrfachen Nadelvariationen konstruiert. (4) Dar¨ uber hinaus sind die Bedingungen des Satzes von Ljusternik, ein Satz u ¨ber implizite Funktionen, zu pr¨ ufen. Dieser bildet in dieser Arbeit die Grundlage f¨ ur den Nachweis der Existenz zul¨ assiger Richtungen in der Extremalaufgabe in Funktionenr¨aumen. Bei der Anpassung der Beweisstrategie in [24] entstehen durch den unendlichen Zeithorizont verschiedene Herausforderungen. Die signifikantesten sind: (a) Die Konstruktion der Nadelvariationen in [24] konzentriert sich auf Probleme mit endlichem Zeithorizont. Eine Anpassung an das unbeschr¨ankte Intervall ist erforderlich. (b) Der Satz von Ljusternik ist im allgemeinen in der Topologie der gewichteten Sobolev-R¨aume nicht g¨ ultig (vgl. Abschnitt 3.3.1). Aus diesem Grund betrachten wir zum Nachweis des Lagrangeschen Prinzips die Extremalaufgabe im Raum der im Unendlichen verschwindenden stetigen Funktionen. (c) Aufgrund des Wechsels zwischen der Topologie im Sobolev-Raum und der Topologie im Raum stetiger Funktionen, muss der Zusammenhang zwischen einer L¨osung des Optimalsteuerungsproblems und einer L¨ osung der Extremalaufgabe gegeben sein. (d) Die Betrachtung der stetigen Funktionale auf dem Raum der im Unendlichen verschwindenden stetigen Funktionen und die Berechnung des Subdifferentials der Supremumsfunktion u ¨ber diesem Funktionenraum.

Optimale Steuerung mit unendlichem Zeithorizont

Einleitung 9

¨ Wir geben abschließend einen Uberblick u ¨ber den Aufbau der Arbeit und u ¨ber die wichtigsten Resultate, die wir pr¨ asentieren werden. Im Abschnitt 2 geben wir eine grundlegende Einf¨ uhrung zu den Steuerungsproblemen mit unendlichem Zeithorizont, die wir im Rahmen der Arbeit ausf¨ uhrlich diskutieren werden. Besonderes Augenmerk liegt in diesem Abschnitt auf – der Motivation der gewichteten Sobolev-R¨aume, – der Er¨ orterung der Verteilungs- und Gewichtsfunktionen. Im Abschnitt 3 untersuchen wir eine Grundaufgabe u ¨ber dem unendlichen Zeithorizont. Auf der Basis von mehrfachen Nadelvariationen u ¨ber dem unbeschr¨ankten Zeitintervall (diese fanden im Rahmen der Optimalen Steuerung mit unendlichem Zeithorizont bisher keine Beachtung) entwickeln wir eine Strategie zum Beweis des Maximumprinzips. Zu den Ergebnissen z¨ahlen: – das Pontrjaginsche Maximumprinzip f¨ ur die Grundaufgabe, – die “nat¨ urlichen” Transversalit¨ atsbedingungen und die Bedingung von Michel, – hinreichende Bedingungen vom Arrow-Typ, – eine Bedingung f¨ ur die Normalform des Pontrjaginschen Maximumprinzips. Im Abschnitt 4 f¨ ugen wir der Beweismethode des dritten Abschnitts die Betrachtungen u ¨ber die Zustandsbeschr¨ ankungen hinzu. Dies erfordert die Elemente der Konvexen Analaysis einzubeziehen und erhalten als Resultate – das Pontrjaginsche Maximumprinzip f¨ ur Aufgaben mit Zustandsbeschr¨ankungen, – das Subdifferential der Supremumsfunktion u ¨ber dem Raum der im Unendlichen verschwindenden stetigen Funktionen, – die “nat¨ urlichen” Transversalit¨ atsbedingungen und die Bedingung von Michel, – hinreichende Bedingungen vom Arrow-Typ. Zum Abschluss geben wir im Abschnitt 5 Verallgemeinerungen an, in deren Rahmen wir das Pontrjaginsche Maximumprinzip f¨ ur Aufgaben mit Weibull-Verteilungen im Zielfunktional beweisen. Unter der Vielzahl an wertvollen Beitr¨ agen sehen wir als das wichtigste Ergebnis der vorliegenden Arbeit das Pontrjaginsche Maximumprinzip f¨ ur Aufgaben mit Zustandsbeschr¨ankungen an, das eine enge Verwandtschaft zu dem Pontrjaginschen Maximumprinzip f¨ ur Aufgaben mit endlichem Horizont aufweist.

Optimale Steuerung mit unendlichem Zeithorizont

Das Steuerungsproblem 11

2. Das Steuerungsproblem mit unendlichem Zeithorizont 2.1. Formulierung der Aufgabe Das zu behandelnde Problem der Optimalen Steuerung mit unendlichem Zeithorizont besteht in der Minimierung des Zielfunktionals J in Integralform: Z ∞

J x(·), u(·) = ω(t)f t, x(t), u(t) dt. 0

Dabei sei in der Aufgabe ω(·) stets eine Dichtefunktion aus dem Raum L1 (R+ , R+ ). Ferner, da wir die Aufgabe f¨ ur absolutstetige Zust¨ ande (auf jeder Z kompakten Teilmenge von [0, ∞) = R+ ) und f¨ ur meßbare Steuerungen betrachten, bezeichnet

dt das Lebesgue-Integral.

Die Dynamik des Zustandes wird durch das Differentialgleichungssystem
x(t) ˙ = ϕ t, x(t), u(t)

mit Anfangsbedingung x(0) = x0 beschrieben. Wir nennen die Trajektorie x(·) eine L¨osung des dynamischen Systems, falls x(·) auf R+ definiert ist und auf jedem endlichen Intervall die Dynamik mit Steuerung u(·) ∈ L∞ (R+ , U ) im Sinne von Carath´eodory (vgl. [19]) l¨ost. Zustandsbeschr¨ ankungen bezeichnen punktweise Beschr¨ankungen der Art
ur alle t ∈ R+ , j = 1, ..., l. gj t, x(t) ≤ 0 f¨

Ferner stellt die Inklusion u(t) ∈ U ⊆ Rm , U 6= ∅, Steuerrestriktionen dar.

Zusammenfassend betrachten wir Optimalsteuerungsprobleme, die wie folgt formuliert sind: Z ∞

J x(·), u(·) = ω(t)f t, x(t), u(t) dt → inf, (2.1) 0
x(t) ˙ = ϕ t, x(t), u(t) , x(0) = x0 , (2.2) u(t) ∈ U ⊆ Rm , U 6= ∅,
ur alle t ∈ R+ , gj t, x(t) ≤ 0 f¨

j = 1, ..., l.

(2.3) (2.4)

Der Begriff einer L¨ osung des Systems (2.2) f¨ uhrt auf die Frage nach einem geeigneten Funktionenraum, da nicht jede Trajektorie, die einem System der Form (2.2) gen¨ ugt, im klassischen Sinne absolutstetig ist. Wir verdeutlichen dies anhand von zwei grundlegenden Wachstumsmodellen: Beispiel 2.1. Wir betrachten das Problem einer “optimalen” Fischfangpolitik ([18]): Z ∞
e−̺t x(t) − c u(t) dt → sup, 0

 x(t)  − u(t)x(t), x(t) ˙ = rx(t) 1 − K

x(0) = x0 > 0,

K (r − ̺). 2r Die “optimale” Politik wird ab einem gewissen Zeitpunkt τ ≥ 0 durch die Gleichgewichtsl¨osung u(t) ∈ [0, umax],

0 < ̺ < r < umax ,

c
0,

u(t) ∈ [0, 1],

̺, γ, δ > 0.

Ab einem gewissen Zeitpunkt τ ≥ 0 liefert die Gleichgewichtsl¨osung x=

γ2 , 4(̺ + δ)2

u=

δ 2(̺ + δ)

die “optimale” Politik. Die zugeh¨ orige Zustandstraktorie x∗ (·) geh¨ort wiederum keinem der klassischen Sobolev-R¨ aume Wp1 (R+ , R), 1 ≤ p < ∞, an.  Dem Vorschlag in [33] folgend verstehen wir als zul¨assige Trajektorien diejenigen Funktionen, die einem gewichteten Sobolev-Raum Wp1 (R+ , Rn ; ν) mit geeignetem Gewicht ν angeh¨oren. Zun¨achst legen wir uns wie in [33] auf p = 2 fest.

2.2. Gewichts- und Verteilungsfunktionen Anhand der Beispiele 2.1 und 2.2 wurde verdeutlicht, dass die klassischen Sobolev-R¨aume keinen geeigneten Rahmen f¨ ur Aufgaben mit unendlichem Zeithorizont bilden. Als Ausweg dient uns der gewichtete Sobolev-Raum W21 (R+ , Rn ; ν), der im Anhang B eingef¨ uhrt wird. Eine Besonderheit bei der Wahl der gewichteten R¨aume stellt die Funktion ν(·) dar. Diese sei stets positiv und stetig. Ist sie zus¨ atzlich u ¨ber R+ integrierbar, dann heißt sei eine Dichte(funktion). In dem Fall, dass ν(·) eine Dichte ist, geh¨ oren die optimalen Trajektorien in den Beispielen 2.1 und 2.2 dem gewichteten Sobolev-Raum W21 (R+ , Rn ; ν) an. In dieser Arbeit sei das Gewicht ν(·) vorrangig eine Exponentialfunktion t → e−at mit a > 0. Um die Betrachtungen allgemein aufzustellen, fassen wir die Eigenschaften dieser Funktionen zusammen, auf die wir in den Beweisen zur¨ uckgreifen: (E1 ) Stetigkeit und Positivit¨ at: Es sei ν(t) stetig und ν(t) > 0 f¨ ur alle t ∈ R+ . (E2 ) Monotonie: Es sei ν(·) monoton fallend. (E3 ) Absolute Stetigkeit: Es gilt ν(·) ∈ W11 (R+ , R). (E4 ) ν-beschr¨ ankte Ableitung: Es gibt eine positive Konstante K mit |ν(t)| ˙ ≤ Kν(t)

f¨ ur alle t ∈ R+ .

(E5 ) Schnelles Fallen im Unendlichen: F¨ ur ν(·) gilt sup t∈R+

Z

0

t

ν(t)ν −1 (s) ds < ∞.

Optimale Steuerung mit unendlichem Zeithorizont

Das Steuerungsproblem 13

Bemerkung 2.3. Auf diese Eigenschaften werden wir ¨ofter zur¨ uckgreifen, z. B.: – Da ν(·) positiv und stetig auf R+ ist, gilt folgende Implikation: f (t)ν(t) = 0 auf R+ und f (·) stetig

⇒

f (t) = 0 auf R+ .

Diese Eigenschaft fließt in die Definition des Operators F und weiterhin im Beweis der Existenz zul¨ assiger Richtungen im Nachweis des Lagrangeschen Prinzips ein. – Da ν(·) positiv und monoton fallend ist, gilt Z t Z t ν(t) dt ≤ ν(s) ds 0

0

f¨ ur alle t ∈ R+ .

Diese Eigenschaft verwenden wir im Beweis von Lemma 3.12. – Wegen (E3 ) folgt mit der Cauchy-Schwarzschen Ungleichung kν(·)x(·)kL1 ≤ Ckx(·)kL2 (ν) , Z ∞ 2 Z ∞ Z ∞ kx(t)kν(t) dt ≤ ν(t) dt · kx(t)k2 ν(t) dt 0

0

0

n

f¨ ur alle x(·) ∈ L2 (R+ , R ; ν). Diese Ungleichung ist steter Begleiter in den Beweisen.

– Die Eigenschaft (E4 ) verwenden wir im Beweis von Lemma B.2, welches die wesentlichen Grundlagen zum Nachweis der “nat¨ urlichen” Transversalit¨atsbedingungen liefert. – Aufgrund (E5 ) erhalten wir im Beweis von Lemma 3.11, dass der Operator F in den Raum der im Unendlichen verschwindenden stetigen Funktionen abbildet.  Die Aufgabe (2.1)–(2.4) enth¨ alt im Integranden des Zielfunktionals J die Verteilungsfunktion ω(·). Zur Motivation von Verteilungen im Integranden wird in der Arbeit [3] im Beispiel 1.1 die Funktion ω(t) = e−̺t anhand eines Steuerungsproblems erzeugt, in dem die L¨ange T des endlichen Zeithorizontes [0, T ] unbekannt ist und als Poisson-verteilte Zufallsgr¨oße u ¨ber R+ angenommen wird. Die Beispiele in dieser Arbeit beziehen sich auf Verteilungen ω(t) = e−̺t . Wir heben jetzt die grundlegenden Eigenschaften der Verteilung ω(·) hervor, die wir ben¨otigen werden: (E6 ) Nichtnegativit¨ at und Integrierbarkeit: F¨ ur die Verteilungsfunktion gilt ω(·) ∈ L1 (R+ , R+ ). (E7 ) Dominanz: An die Gewichtsfunktion ν(·) muss zus¨atzlich zu den Eigenschaften (E1 )–(E5 ) eine Einschr¨ ankung getroffen werden, die sich auf die Verteilung ω(·) bezieht: ν −1 (·) ∈ L1 (R+ , R; ω 2 ). Bemerkung 2.4. Beim Nachweis der Wohldefiniertheit des Zielfunktionals J verwenden wir die Cauchy-Schwarzsche Ungleichung und erhalten nach (E7 ) Z ∞ 1/2 Z ∞ kx(t)kω(t) dt ≤ kx(·)k2,ν ν −1 (t)ω 2 (t) dt 0

f¨ ur alle x(·) ∈ W21 (R+ , Rn ; ν).

0

 −̺t

Bemerkung 2.5. Vorrangig werden wir in dieser Arbeit die Verteilungsfunktion ω(t) = e und die Dichte ν(t) = e−at verwenden. Dann sind f¨ ur den gewichteten Sobolev-Raum W21 (R+ , Rn ; ν) die Eigenschaften (E1 )–(E7 ) genau dann erf¨ ullt, falls 0 < a < 2̺ gelten. 

14 Das Steuerungsproblem

Optimale Steuerung mit unendlichem Zeithorizont

2.3. Verschiedene Methoden und Optimalit¨ atsbegriffe Zur Behandlung von Steuerungsproblemen mit unendlichem Zeithorizont findet man in der Literatur verschiedene Methoden und eine weitaus gr¨oßere Anzahl an Optimalit¨atsbegriffen. Zieht man z. B. die Voraussetzungen in [2, 3, 4, 5, 6] und die Voraussetzungen (A0 )–(A2 ), (S) des n¨achsten Abschnitts zum Vergleich heran, so lassen sich Unterschiede nur in einer gr¨ undlichen Analyse offenlegen (vgl. Abschnitt 3.2). In der Aufgabe (2.1)–(2.4) bezeichne Aadm die Menge aller zul¨assigen Steuerungsprozesse, d. h. die
Menge aller x(·), u(·) , die der Dynamik (2.2), den Steuerbeschr¨ankungen (2.3) und den Zustandsbeschr¨ankungen (2.4) gen¨ ugen, und f¨ ur die das Zielfunktional (2.1) endlich ist. Zur Gegen¨ uberstellung von verschiedenen Optimalit¨ atsbegriffen betrachten wir globale Optimalit¨atskriterien.
(a) Der Steuerungsprozess x∗ (·), u∗ (·) ∈ Aadm heißt global optimal (GO), falls

J x∗ (·), u∗ (·) ≤ J x(·), u(·)
f¨ ur alle x(·), u(·) ∈ Aadm gilt.
(b) Der Steuerungsprozess x∗ (·), u∗ (·) ∈ Aadm heißt streng global optimal (SGO), falls

J x∗ (·), u∗ (·) < J x(·), u(·)
f¨ ur alle x(·), u(·) ∈ Aadm mit x(·) 6= x∗ (·) gilt.

Bemerkung 2.6. In der Definition eines strengen globalen Optimums gehen wir stillschweigend davon aus, dass verschiedene zul¨ assige Steuerungen zu verschiedenen L¨osungen der Dynamik (2.2) oder zu verschiedenen Werten f¨ ur das Zielfunktional (2.1) f¨ uhren.  Zur Untersuchung des Steuerungsproblems mit unendlichem Zeithorizont wird in den meisten Ans¨atzen der Aufgabe (2.1)–(2.4) ein Problem u ¨ber einem endlichen Zeitintervall [0, T ] zugeordnet und der Grenz¨ ubergang T → ∞ betrachtet (Finite-Horizont-Approximation). Das zur Aufgabe (2.1)–(2.4) geh¨ orende Problem mit endlichem Zeithorizont lautet
x(·), u(·) =

Z

T


ω(t)f t, x(t), u(t) dt → inf, 0
x(t) ˙ = ϕ t, x(t), u(t) , x(0) = x0 , u(t) ∈ U ⊆ Rm , U 6= ∅,
gj t, x(t) ≤ 0 f¨ ur alle t ∈ [0, T ], j = 1, ..., l. JT

(2.5) (2.6) (2.7) (2.8)

¨ Wegen dem Ubergang zu einer Aufgabe u ¨ber endlichem Zeithorizont und der anschließenden Betrachtung des Grenzwertes T → ∞ werden die Optimalit¨atsbegriffe angepasst. Zur Aufgabe (2.5)–(2.8) definieren wir den Defekt ∆(T ),

∆(T ) = JT x(·), u(·) − JT x∗ (·), u∗ (·) .
(c) Der Steuerungsprozess x∗ (·), u∗ (·) ∈ Aadm heißt overtaking optimal (OT), falls es zu jedem
x(·), u(·) ∈ Aadm eine Zahl T0 gibt mit

∆(T ) = JT x(·), u(·) − JT x∗ (·), u∗ (·) ≥ 0 f¨ ur alle T ≥ T0 (von Weizs¨ acker [41], 1965).

Optimale Steuerung mit unendlichem Zeithorizont

Das Steuerungsproblem 15


(d) Das Paar x∗ (·), u∗ (·) ∈ Aadm heißt catching up optimal (CU), falls lim inf ∆(T ) ≥ 0 T →∞


f¨ ur jedes x(·), u(·) ∈ Aadm gilt (Gale [20], 1967).
(e) Der Steuerungsprozess x∗ (·), u∗ (·) ∈ Aadm heißt sporadically catching up optimal (SCU), falls lim sup ∆(T ) ≥ 0 T →∞


f¨ ur jedes x(·), u(·) ∈ Aadm gilt (Halkin [22], 1974).

Durch die Betrachtung auf der Menge Aadm haben wir in den Definitionen bereits eingef¨ ugt, dass f¨ ur einen zul¨ assigen Steuerungsprozess das Zielfunktional endlich ist. In diversen Arbeiten zu Steuerungsproblemen mit unendlichem Zeithorizont, z. B. in [4, 5, 6], darf das Integral in (2.1) divergieren. Konvergiert das Zielfunktional f¨ ur jeden zul¨assigen Steuerungsprozess, so sind die Optimalit¨atsbegriffe (CU), (SCU) und (GO) ¨aquivalent, denn es gilt lim inf ∆(T ) = lim sup ∆(T ) = lim ∆(T ) ≥ 0. T →∞

T →∞

T →∞

Zur Einordnung der Optimalit¨ atsbegriffe (SGO) und (OT) f¨ uhren wir folgendes Beispiel an: Beispiel 2.7. Wir betrachten die Aufgabe Z ∞ e−̺t [−u(t)x(t)e̺t ] dt → inf, x(t) ˙ = −u(t)x(t),

x(0) = 1,

0

u(t) ∈ [0, 1],

̺ > 0.

Offenbar ist jede zul¨ assige Trajektorie x(·) monoton fallend und wegen 1 ≥ x(t) > 0 beschr¨ankt, und besitzt deswegen einen Grenzwert f¨ ur t → ∞. Damit gilt Z ∞
e−̺t [−u(t)x(t)e̺t ] dt = lim x(t) − 1 ≥ −1. J x(·), u(·) = t→∞

0


Daher ist jeder Steuerungsprozess x(·), u(·) ∈ Aadm mit x(t) → 0 global optimal. Dabei gilt: Z ∞ u(t) dt = ∞. lim x(t) = 0 ⇔ t→∞

0


In diesem Beispiel erhalten wir, dass jeder Steuerungsprozess x(·), u(·) ∈ A
adm mit x(t) → 0 f¨ ur t → ∞ optimal im Sinne von (GO), (CU) und (SCU) ist. Wegen JT x(·), u(·) = x(T ) − 1 ist unter diesen Steuerungsprozessen nur derjenige optimal im Sinne von (OT), f¨ ur den u(t) ≡ 1 auf R+ ist. Eine (SGO)-L¨ osung existiert nicht.  Dieses Beispiel zeigt, dass unter der Annahme eines endlichen Zielfunktionals zu den bereits ¨ erw¨ahnten Aquivalenzen folgende weitere Relationen zwischen den verschiedenen Optimalit¨atsbegriffen bestehen: (SGO) =⇒ (OT) =⇒ (CU) ⇐⇒ (SCU) ⇐⇒ (GO) Ist demnach die globale Optimalstelle eindeutig, so fallen bei endlichem Zielfunktional die aufgef¨ uhrten Optimalit¨ atsbegriffe zusammen.

16 Das Steuerungsproblem

Optimale Steuerung mit unendlichem Zeithorizont

Die Betrachtungen dieses Abschnitts ordnen die Begriffe der globalen Optimalit¨at in den Kontext g¨angiger Optimalit¨ atsbegriffe, die bei der Finite-Horizont-Approximation angewendet werden, 
ein. Unbehandelt bleibt dabei allerdings die wesentliche Frage, wann eine Familie xT∗ (·), uT∗ (·) T ∈R+ von optimalen Steuerungsprozessen, die sich in der Finite-Horizont-Approximation ergibt, gegen ein globales Optimum konvergiert. Zur Verdeutlichung betrachteten wir das folgende Beispiel: Beispiel 2.8. Wir betrachten die Aufgabe
JT x(·), u(·) =

Z

T 0


1 − u(t) x(t) dt → sup,

F¨ ur jedes feste T > 1 liefert der Steuerungsprozess ( et , t ∈ [0, T − 1), x∗ (t) = eT −1 , t ∈ [T − 1, T ],

x(t) ˙ = u(t)x(t),

u∗ (t) =

(

x(0) = 1,

u(t) ∈ [0, 1].

1, t ∈ [0, T − 1), 0, t ∈ [T − 1, T ],

das Maximum. Betrachten wir den Grenz¨ ubergang T → ∞, dann konvergiert die Familie  Tglobale
x∗ (·), uT∗ (·) T ∈R+ punktweise gegen den Steuerungsprozess x∗ (t) = et ,

u∗ (t) = 1,

t ∈ R+ .

Dieses Paar liefert f¨ ur die Aufgabe mit unendlichem Zeithorizont das globale Minimum.



Fordern wir die Konvergenz des Zielfunktionalwertes, so lassen sich Beziehungen zwischen 
der Finite-Horizont-Approximation und der globalen Optimalit¨at herstellen. Sei xT∗ (·), uT∗ (·) T ∈R+ eine Familie von globalen Minimalstellen der Aufgabe (2.5)–(2.8), die folgende Hypothese erf¨ ullt:
(H) Es existiert ein zul¨ assiger Steuerungsprozess x∗ (·), u∗ (·) der Aufgabe (2.1)–(2.4) mit

lim JT xT∗ (·), uT∗ (·) = J x∗ (·), u∗ (·) ,

T →∞


J x∗ (·), u∗ (·) < ∞.


In der Hypothese (H) werden keine Konvergenzeigenschaften an die Familie xT∗ (·), uT∗ (·) T ∈R+ gefordert. Wesentlicher Punkt in der Hypothese (H) ist die Existenz des zul¨assigen Steuerungs
prozess x∗ (·), u∗ (·) . Dieser Nachweis die eigentliche Herausforderung darstellt. 
Lemma 2.9. Es sei xT∗ (·), uT∗ (·) T ∈R eine Familie von globalen Minimalstellen der Aufgabe +
(2.5)–(2.8), f¨ ur die die Hypothese (H) erf¨ ullt ist. Dann ist x∗ (·), u∗ (·) eine globales Minimum der Aufgabe (2.1)–(2.4).
Beweis Sei x(·), u(·) zul¨ assig in der Aufgabe (2.1)–(2.4); insbesondere ist dann das Zielfunktional in (2.1) endlich. Dann l¨ asst sich zu jedem ε >
0 eine Zahl T ′ >
0 derart angeben, dass die Einschr¨ankungen der Zielfunktionale J x∗ (·), u∗ (·) und J x(·), u(·) auf das Intervall [T, ∞) vom Betrag oder gleich ε f¨ ur alle T
≥ T ′ ausfallen. Ferner kann die Zahl T ′ so gew¨ahlt werden, kleiner
T T ur alle T ≥ T ′ gilt. dass JT x∗ (·), u∗ (·) − J x∗ (·), u∗ (·) ≤ ε f¨ Mit den suggestiven Bezeichnung, dass JT bzw. J die Integration des Zielfunktionals u ¨ber [0, T ] bzw. u onnen wir die Differenz ¨ber R+ bezeichnen, k¨

J x(·), u(·) − J x∗ (·), u∗ (·)

Optimale Steuerung mit unendlichem Zeithorizont

Das Steuerungsproblem 17

in die Form h

i h

i J x(·), u(·) − JT x(·), u(·) + JT x(·), u(·) − JT xT∗ (·), uT∗ (·) h

i + JT xT∗ (·), uT∗ (·) − J x∗ (·), u∗ (·)

bringen. Aufgrund der Wahl von T ′ fallen der erste und dritte Summand
gr¨oßer oder gleich −ε f¨ ur alle T ≥ T ′ aus. Der zweite Ausdruck ist nichtnegativ, da xT∗ (·), uT∗ (·) ein globales Minimum u ¨ber [0, T ] darstellt. Daher folgt

J x(·), u(·) − J x∗ (·), u∗ (·) ≥ −2ε.

Da ε > 0 beliebig ist, folgt damit die Behauptung.



In [3] sind Voraussetzungen angegeben, unter denen die Hypothese (H) in der Aufgabe (2.1)–(2.3) erf¨ ullt ist. Dar¨ uber hinaus wird insbesondere gezeigt, dass die Finite-Horizont-Approximation eine Familie von globalen Minimalstellen liefert, die auf jedem endlichen Intervall gleichm¨aßig gegen das globale Minimum der Aufgabe (2.1)–(2.3) konvergiert ([3], Theorem 2.1). Wir verfolgen die Finite-Horzont-Approximation in dieser Arbeit nicht weiter, sondern richten in den folgenden Abschnitten unser Augenmerk auf den Beweis notwendiger Optimalit¨atsbedingungen f¨ ur die Aufgabe (2.1)–(2.4).

Optimale Steuerung mit unendlichem Zeithorizont

Die Grundaufgabe 19

3. Die Grundaufgabe ¨ uber unendlichem Zeithorizont 3.1. Die Aufgabenstellung und das Maximumprinzip In diesem Abschnitt formulieren wir das Pontrjaginsche Maximumprinzip f¨ ur die Grundaufgabe, Z ∞

ω(t)f t, x(t), u(t) dt → inf, (3.1) J x(·), u(·) = 0
x(t) ˙ = ϕ t, x(t), u(t) , x(0) = x0 , (3.2) u(t) ∈ U ⊆ Rm , U 6= ∅. (3.3) Die Grundaufgabe (3.1)–(3.3) betrachten wir bzgl. Trajektorien x(·) ∈ W21 (R+ , Rn ; ν). F¨ ur die Verteilungsfunktion ω(·) und die Gewichtsfunktion ν(·) gilt dabei stets: (A0 ) Dichte- und Verteilungsfunktion ν(·) bzw. ω(·) gen¨ ugen den Eigenschaften (E1 )–(E7 ). Bemerkung 3.1. Die Eigenschaften (E1 )–(E7 ) begr¨ undeten sich durch die Wahl von ω(t) = e−̺t und ν(t) = e−at als die Verteilungs- bzw. Dichtefunktion. Wir halten jedoch nicht an diesen Funktionen fest, sondern begr¨ unden unsere Argumente allgemein auf der Basis von (E1 )–(E7 ).  Es sei x(·) ∈ W21 (R+ , Rn ; ν) und γ > 0. Dann definieren wir die Menge Vγ wie folgt: Vγ = {(t, x) ∈ R+ × Rn | kx − x(t)k ≤ γ}. Die weiteren Voraussetzungen (A1 ),(A2 ) klassifizieren die Elemente der Menge XLip . Zu XLip ur die es eine Zahl γ > 0 derart gibt, dass auf der geh¨oren diejenigen x(·) ∈ W21 (R+ , Rn ; ν), f¨ Umgebung Vγ gelten: (A1 ) Die Abbildungen f (t, x, u), ϕ(t, x, u) und deren partielle Ableitungen fx (t, x, u), ϕx (t, x, u) sind meßbar in t und f¨ ur jedes feste t ∈ R+ auf Vγ × U stetig in (x, u). (A2 ) Zu jedem u(·) ∈ L∞ (R+ , U ) gibt es eine Zahl C0 > 0, die von der Umgebung Vγ und u(·) abh¨angig sein kann, mit





f (t, x, u(t)), ϕ(t, x, u(t)) ≤ C0 (1 + kxk), fx (t, x, u(t)), ϕx (t, x, u(t)) ≤ C0 auf Vγ f¨ ur fast alle t ∈ R+ .


Mit ALip bezeichnen wir die Menge aller x(·), u(·) ∈ W21 (R+ , Rn ; ν) × L∞ (R+ , U ), f¨ ur die die Trajektorie x(·) der Menge XLip angeh¨ ort. Bemerkung 3.2. Wir heben an dieser Stelle hervor, dass in den Voraussetzungen (A1 ),(A2 ) die Konstante C0 , aber nicht die Umgebung Vγ von der Steuerung u(·) abh¨angig sein d¨ urfen. 
Das Paar
x(·), u(·) ∈ W21 (R+ , Rn ; ν) × L∞ (R+ , U ) heißt zul¨assig in der Aufgabe (3.1)–(3.3), falls x(·), u(·) dem Systems (3.2) gen¨ ugt und das Lebesgue-Integral in (3.1)
endlich ist. Die Menge Aadm bezeichnet die Menge der zul¨ assigen Steuerungsprozesse x(·), u(·) .
Ein zul¨assiger Steuerungsprozess x∗ (·), u∗ (·) ist eine starke lokale Minimalstelle der Grundaufgabe (3.1)–(3.3), falls eine Zahl ε > 0 derart existiert, dass die Ungleichung

J x(·), u(·) ≥ J x∗ (·), u∗ (·)
f¨ ur alle x(·), u(·) ∈ Aadm mit der Eigenschaft kx(·) − x∗ (·)k∞ ≤ ε gilt.

20 Die Grundaufgabe

Optimale Steuerung mit unendlichem Zeithorizont

Im Weiteren bezeichnet H : R × Rn × Rm × Rn × R → R die Pontrjagin-Funktion H(t, x, u, p, λ0 ) = −λ0 ω(t)f (t, x, u) + hp, ϕ(t, x, u)i.
Theorem 3.3
(Pontrjaginsches Maximumprinzip). Sei x∗ (·), u∗ (·) ∈ Aadm ∩ ALip . Ist x∗ (·), u∗ (·) ein
starkes lokales Minimum der Aufgabe (3.1)–(3.3), dann existiert ein nichttriviales Paar λ0 , p(·) derart, dass a) f¨ ur die Multiplikatoren λ0 und p(·) gelten λ0 ≥ 0,

p(·) ∈ W21 (R+ , Rn ; ν −1 );

(3.4)

b) die Vektorfunktion p(·) fast u ugt: ¨berall der adjungierten Gleichung gen¨

p(t) ˙ = −ϕTx t, x∗ (t), u∗ (t) p(t) + λ0 ω(t)fx t, x∗ (t), u∗ (t) ;

c) f¨ ur fast alle t ∈ R+ die Maximumbedingung gilt:

H t, x∗ (t), u∗ (t), p(t), λ0 = max H t, x∗ (t), u, p(t), λ0 . u∈U

(3.5)

(3.6)

Lemma 3.4. Unter den Voraussetzungen und Bezeichnungen von Theorem 3.3 sind die folgenden “nat¨ urlichen” Transversalit¨atsbedingungen erf¨ ullt ([33]): hp(t), x(t)i = 0

∀ x(·) ∈ W21 (R+ , Rn ; ν),

lim kp(t)k2 ν −1 (t) = 0,

t→∞

lim kp(t)k = 0. (3.7)

t→∞

Beweis Wegen ν(·) ∈ W11 (R+ , Rn ) und p(·) ∈ W21 (R+ , Rn ; ν −1 ) folgen die Behauptungen mit Lemma B.1 und Lemma B.2.  Lemma 3.5. Es sei der Grenzwert lim ν −1 (t)ω 2 (t) = 0 erf¨ ullt. Dann gilt ([29]): t→∞


lim H t, x∗ (t), u∗ (t), p(t), λ0 = 0.

t→∞

(3.8)

Bemerkung 3.6. F¨ ur ν(t) = e−at und ω(t) = e−̺t gilt 0 < a < 2̺ nach Voraussetzung (A0 ). Damit ist der Grenzwert lim ν −1 (t)ω 2 (t) = 0 offenbar erf¨ ullt.  t→∞

Beweis Wegen (3.4) gilt p(·) ∈ W21 (R+ , Rn ; ν −1 ). Wir zeigen den Grenzwert f¨ ur t → ∞:


 H t, x∗ (t), u∗ (t), p(t), λ0 2 ≤ kp(t)kkϕ t, x∗ (t), u∗ (t) k + ω(t)kf t, x∗ (t), u∗ (t) k 2 .

Da x∗ (·) ∈ XLip ist, k¨ onnen wir nach Voraussetzung (A2 ) die Ungleichung wie folgt weiterf¨ uhren: i h


≤ C · kp(t)k2 ν −1 (t) · (1 + kx∗ (t)k2 )ν(t) + (1 + kx∗ (t)k2 )ν(t) ν −1 (t)ω 2 (t) .

Im letzten Ausdruck verschwindet jeder einzelne Summand im Unendlichen, da lim kp(t)k2 ν −1 (t) = 0,

t→∞

lim kx∗ (t)k2 ν(t) = 0,

t→∞

nach Lemma B.2 bzw. nach Voraussetzung gelten.

lim ν −1 (t)ω 2 (t) = 0

t→∞



Optimale Steuerung mit unendlichem Zeithorizont

Die Grundaufgabe 21

3.2. Beispiele und Bezug zu bekannten Resultaten In diesem Abschnitt sind stets ω(t) = e−̺t , ν(t) = e−at und x(·) ∈ W21 (R+ , Rn ; ν). Zur Verdeutlichung der Voraussetzung (A2 ) und den Bezug zur Menge der zul¨assigen Steuerungsprozesse diskutieren wir im folgenden Beispiel die Mengen Aadm und ALip : Beispiel 3.7. Wir betrachten die Aufgabe (vgl. [21], S. 140): Z ∞

e−̺t cx(t) + u(t) dt → inf, J x(·), u(·) =

(3.9)

0

x(t) ˙ = τ + [κ + εu(t)]xα (t) − [µ + ηu(t)]x(t), u(t) ∈ U = R+ ,

τ ≥ 0,

κ, ε, µ, η, ̺ > 0,

x(0) = x0 > 0,

α ∈ (0, 1).

(3.10) (3.11)

a) Aadm : Wegen κ, µ > 0, ist jede zur Steuerung u(·) ∈ L∞ (R+ , R+ ) geh¨orende L¨osung x(·) von (3.10) beschr¨ ankt, und es gilt x(t) ≥ m > 0 auf R+ . Damit geh¨ort f¨ ur jedes a mit 0 < a < 2̺ (vgl. (A0 )) die Trajektorie x(·) dem
Raum W21 (R+ , R; ν) an. Weiterhin ist f¨ ur jeden beschr¨ ankten Steuerungsprozess x(·), u(·) das Zielfunktional (3.9) endlich. Also ist
jedes Paar x(·), u(·) aus W21 (R+ , R; ν) × L∞ (R+ , R+ ), das (3.10) l¨ost, zul¨assig.

b) ALip : Nun sei x(·) ∈ W21 (R+ , R; ν) beschr¨ankt, x(t) ≥ m > 0 auf R+ und 0 < γ < m. Dann gibt es zu jedem u(·) ∈ L∞ (R+ , R+ ) eine Zahl C0 mit





f (t, x, u(t)), ϕ(t, x, u(t)) , fx (t, x, u(t)), ϕx (t, x, u(t)) ≤ C0 auf Vγ f¨ ur fast alle t ∈ R+ .

Damit sind die Voraussetzungen (A1 ), (A2 ) erf¨ ullt und es gilt ALip ∩ Aadm = Aadm . c) Im Gegensatz zur Aufgabenstellung nehmen wir nun τ = 0 und κ = 0 an. Dann gibt es zul¨assige Trajektorien x(·) mit x(t) → 0 f¨ ur t → ∞. F¨ ur diese Trajektorien gibt es keine gleichm¨ aßige Umgebung Vγ , so dass die Eigenschaften der Voraussetzung (A2 ), d. h.





f (t, x, u(t)), ϕ(t, x, u(t)) , fx (t, x, u(t)), ϕx (t, x, u(t)) ≤ C0 , vorliegen. Daher hat man in diesem Fall ALip ∩ Aadm ⊂ Aadm .



Bemerkung 3.8. Die Dynamik (3.10) ist in dieser Allgemeinheit nicht exakt zu l¨osen. Entsprechend schwierig gestaltet sich die Analysis des Steuerungsproblems (3.9)–(3.11). Deswegen weisen wir an dieser Stelle darauf hin, dass die Menge ALip ∩ Aadm ohne Voraussetzungen an einen m¨oglichen optimalen Prozess gekl¨ art wurden.  Zur Verdeutlichung dieser Bemerkung diskutieren wir die Voraussetzungen (A0 )–(A2 ) und die Annahmen in [3, 4, 5, 6] und stellen diese anhand eines Beispiels gegen¨ uber. Dabei kann kein allgemein g¨ ultiger Vergleich gef¨ uhrt werden, da die jeweiligen Zug¨ange zu Optimalsteuerungsproblemen mit unendlichem Zeithorizont auf verschiedenen Optimalit¨atsbegriffen beruhen und damit die Methoden und Voraussetzungen nur bedingt vergleichbar sind.

22 Die Grundaufgabe

Optimale Steuerung mit unendlichem Zeithorizont

Beispiel 3.9. Wir betrachten die Aufgabe
J˜ x ˜(·), u˜(·) =

Z

∞

0

x ˜˙ (t) = x˜(t) + u ˜(t),


1 2 x˜ (t) + u ˜2 (t) dt → inf, 2 x ˜(0) = 2,

u ˜(t) ∈ R.

Mittels der Transformationen x(t) = x ˜(t)et , u(t) = u ˜(t)et erzeugen wir die Aufgabe (vgl. [34]): Z ∞ Z ∞


1 J x(·), u(·) = e−̺t f x(t), u(t) dt = e−2t x2 (t) + u2 (t) dt → inf, 2 0 0
x(t) ˙ = ϕ x(t), u(t) = 2x(t) + u(t), x(0) = 2, u(t) ∈ R.

Voraussetzung (A0 ) impliziert ν(t) = e−at with 0 < a < 4. Weiterhin erf¨ ullt jede beschr¨ankte Trajektorie x(·) ∈ W21 (R+ , R; ν) die Voraussetzungen (A1 ), (A2 ). Es gilt zwar ALip ∩Aadm ⊂ Aadm ,
aber ALip umfasst die beschr¨ ankten zul¨ assigen Prozesse x(·), u(·) . Die notwendigen Optimalit¨ atsbedingungen in Theorem 3.3 liefern den Steuerungsprozeß √ √ √ x∗ (t) = 2e(1− 2)t , u∗ (t) = −2(1 + 2)e(1− 2)t ,

der offenbar beschr¨ ankt ist. Wir diskutieren die Multiplikatoren: Der Fall λ0 = 0 liefert keinen Kandidaten und kann ausgeschlossen werden. F¨ ur λ0 = 1 erhalten wir in der Maximumbedingung √ √ p(t) = u∗ (t)e−2t ⇒ p(t) = −2(1 + 2)e−(1+ 2)t . Daraus folgt offenbar p(·) ∈ W21 (R+ , Rn ; ν −1 ) f¨ ur 0 < λ < 4. In diesem Beispiel lauten die verschiedenen Kenngr¨oßen, die zum Vergleich ben¨otigt werden: – Der Diskontierungsfaktor enth¨ alt die Diskontrate ̺ = 2. √ – Es ist |x∗ (t)| ≤ Ceµt mit µ = 1 − 2. – Der Wachstumsparameter des dynamischen Systems lautet λ = 2, da (unabh¨angig vom gew¨ahlten Steuerungsprozeß) ϕx = 2 ist. – Im Integranden gilt bzgl. der Zustandsvariablen |fx (t, x, u)| = |x|r mit r = 1. – Ist ζ ∈ R ein beliebiger Anfangswert in der Dynamik, so hat die Gleichung zur Steuerung u(·) = u∗ (·) eine auf R+ definierte L¨osung x(t; ζ). Durch direktes Nachrechnen ergibt sich |x(t; ζ) − x∗ (t)| = |ζ − 2|e2t = |ζ − 2|eλt . Mit diesen Gr¨ oßen lauten die Voraussetzungen in [3, 4, 5, 6] wie folgt: (a) In der Voraussetzung (A7) in [3] wird folgende Relation gefordert: ̺ > (r + 1)λ. (b) In [4] wird in den Voraussetzungen (A2)–(A4) folgendes angenommen: ̺ > λ + r max{µ, λ}.

Optimale Steuerung mit unendlichem Zeithorizont

Die Grundaufgabe 23

(c) In den Voraussetzungen (A2) in [5, 6] werden −̺t
he fx t, x, u∗ (t) , x(t; ζ) − x∗ (t)i ≤ λ(t)kζ − x∗ (0)k max x∈[x(t;ζ),x∗(t)]

mit einer auf dem Segement [x(t; ζ), x∗ (t)] integrierbaren Funktion λ(·) gefordert.

(d) In der vorliegenden Arbeit sind (A0 ) zu erf¨ ullen und die Mengen ALip , Aadm zu bestimmen. Wir bemerken an dieser
Stelle, dass die Annahmen in [3, 4, 5, 6] bzgl. des unbekannten Steuerungsprozesses x∗ (·), u∗ (·) formuliert sind. Im Hinblick auf komplexe nichtlineare dynamische Systeme ist die G¨ ultigkeit dieser Voraussetzungen schwer pr¨ ufbar. F¨ ur das vorliegende Beispiel folgt: (a) Wegen 4 = 2λ > ̺ = 2 ist die Voraussetzungen (A7) in [3] nicht erf¨ ullt. (b) Wegen 4 = 2λ > ̺ = 2 ist die Voraussetzungen (A4) in [4] nicht erf¨ ullt. (c) F¨ ur jedes ζ > 2 ist x(t; ζ) − x∗ (t) = (ζ − 2)e2t und wir erhalten −2t

e fx x(t; ζ), u∗ (t) · x(t; ζ) − x∗ (t) = e−2t [(ζ − 2)e2t + x∗ (t)] · (ζ − 2)e2t > (ζ − 2)2 e2t . Also sind die Voraussetzungen (A2) in [5, 6] nicht erf¨ ullt.

(d) Es wurde zu Beginn dieses Beispiels bereits gezeigt, dass jeder beschr¨ankte Steuerungsprozeß die Voraussetzungen von Theorem 3.3 erf¨ ullt. 

3.3. Beweis des Maximumprinzips orterung der Extremalaufgabe 3.3.1. Definition und Er¨ osung des Systems (3.2) zur Steuerung u(·) ∈ L∞ (R+ , U ) (d. h. auf Ist x(·) ∈ W21 (R+ , Rn ; ν) die L¨ jedem endlichen Intervall im Sinne von Carath´eodory), so gilt die Darstellung Z t
ϕ s, x(s), u(s) ds, t ∈ R+ . x(t) = x(0) + 0

Diese beschreiben wir durch folgende Operatorgleichung Z t
ϕ s, x(s), u(s) ds, x(·) → T x(·), T x(·)(t) = x(t) − x(0) − 0

t ∈ R+ .

√ Betrachten wir darin speziell die Abbildung ϕ(t, x, u) = x − x und x(0) = x0 > 0, dann ist die L¨osung x(·) auf R+ wohldefiniert und beschr¨ankt. Da jedoch jede Nullumgebung im Raum W21 (R+
, R; ν) Funktionen der Art t → Cebt mit 2b < a enth¨alt, finden sich in jeder Umgebung ankten L¨osung x(·) Funktionen, die√negative FunktionswerUε x(·) ⊆ W21 (R+ , R; ν) der beschr¨ te annehmen. Demnach ist der Operator T zur Abbildung ϕ(t, x, u) = x − x auf keiner vollen Umgebung von x(·) definiert. Daher kann der grundlegende Satz von Ljusternik u ¨ber implizite Funktionen ([24], S. 45) nicht angewendet werden. Wir weisen an dieser Stelle daraufhin, dass die Aufgaben selbst zur Verwendung gewichteter R¨aume gef¨ uhrt haben (Abschnitt 2.1). Aus dem Grund, dass der Satz von Ljusternik in der Topologie gewichteter Sobolev-R¨aume im Allgemeinen nicht angewendet werden kann, “lokalisieren” wir die Umgebung und betrachten die Aufgabe – passend zum starken lokalen Optimalit¨atsbegriff – bzgl. der gleichm¨aßigen Topologie.

24 Die Grundaufgabe

Optimale Steuerung mit unendlichem Zeithorizont

Genauer heißt dies, dass wir x(·) ∈ W21 (R+ , Rn ; ν) bzgl. Elemente des Raumes C0 (R+ , Rn ) variieren. Da die Formulierungen des Optimalsteuerungsproblems und der Extremalaufgabe auf verschiedenen Funktionenr¨ aumen beruhen, geht streng genommen der Zusammenhang zwischen beiden Aufgabenstellungen zun¨ achst verloren. Wir bringen die Vertr¨aglichkeit der jeweiligen Optimalit¨atsbegriffe unmittelbar in das Extremalprinzip ein. Sei x(·) ∈ XLip ∩ C(R+ , Rn ), d. h. die Abbildung ϕ besitzt in x(·) die Eigenschaften der Voraussetzung (A2 ). Da wir bzgl. der Elemente ξ(·) ∈ C0 (R+ , Rn ) variieren, betrachten wir im Beweis der Extremalaufgabe statt dem Operator T die Abbildung   Z t

ξ(·) → z(·), z(t) = ν(t) · x(t) + ξ(t) − x(0) + ξ(0) − ϕ s, x(s) + ξ(s), u(s) ds . 0

Diese Abbildung ist f¨ ur x(·) ∈ XLip ∩ C(R+ , Rn ) nach Voraussetzung (A2 ) auf der gleichm¨aßigen Umgebung kξ(·)−x(·)k∞ ≤ γ wohldefiniert. Weiterhin erh¨alt sie durch die Gewichtung mit ν(·) die Eigenschaft, dass sie die Umgebung kξ(·) − x(·)k∞ ≤ γ in den Raum C0 (R+ , Rn ) abbildet (Lemma 3.11).

Untersuchen wir insbesondere die Variation des Elements x∗ (·) ∈ XLip ∩ C(R+ , Rn ) aus Theo
rem 3.3, so u uhren wir die Grundaufgabe (3.1)–(3.3) mit Steuerungsprozessen x(·), u(·) aus ¨berf¨
W21 (R+ , Rn ; ν)× L∞ (R+ , U ) in eine Extremalaufgabe bzgl. ξ(·), u(·) ∈ C0 (R+ , Rn )× L∞ (R+ , U ). Im Hinblick auf die allgemeine Fassung der Voraussetzungen (A1
) und (A2 ), d. h. eine Formulierung, die nicht an den optimalen Steuerungsprozess x∗ (·), u∗ (·) gebunden ist, untersuchen wir im Folgenden die Eigenschaften der Extremalaufgabe bzgl. der Menge XLip × L∞ (R+ , U ).

Sei x0 (·) ∈ XLip . Wir definieren auf dem Raum C0 (R+ , Rn ) × L∞ (R+ , U ) die Abbildungen Z ∞


ω(t)f t, x0 (t) + ξ(t), u(t) dt, H ξ(·) = ξ(0), J˜ ξ(·), u(·) = 0   Z t



F ξ(·), u(·) (t) = ν(t) · x0 (t) + ξ(t) − x0 (0) + ξ(0) − ϕ s, x0 (s) + ξ(s), u(s) ds . 0

Dabei ist die Abbildung H : C0 (R
+ , Rn ) → Rn offensichtbar auf C0 (R+ , Rn ) stetig differenzierbar und der lineare Operator H ′ ξ(·) ist surjektiv f¨ ur jedes ξ(·) ∈ C0 (R+ , Rn ).

Im Weiteren bezeichnet ξ0 (·) ∈ C0 (R+ , Rn ) die Funktion ξ(t) ≡ 0.


Lemma 3.10. F¨ ur jedes u(·) ∈ L∞ (R+ , U ) ist die Abbildung ξ(·) → J˜ ξ(·), u(·) im Punkt ξ0 (·) stetig differenzierbar und es gilt Z ∞



ω(t) fx t, x0 (t), u(t) , ξ(t) dt. J˜x ξ0 (·), u(·) ξ(·) = 0

Beweis Sei u(·) ∈ L∞ (R+ , U ). Dann erhalten wir nach Voraussetzung (A2 ) und mit der CauchySchwarzschen Ungleichung, (ν −1 (·) ∈ L1 (R+ , R; ω 2 ) nach (A0 )) f¨ ur jedes ξ(·) ∈ C0 (R+ , Rn ) mit kξ(·)k∞ ≤ γ die Wohldefiniertheit des Zielfunktionals: Z ∞


J˜ ξ(·), u(·) ≤ C0 ω(t) 1 + kx0 (t)k + kξ(t)k dt ≤ C 1 + kx0 (·)k2,ν + kξ(·)k∞ < ∞. 0


Weiterhin ist die lineare Abbildung ξ(·) → J˜x ξ0 (·), u(·) ξ(·) nach Voraussetzung (A2 ) stetig. Sei ε > 0 gegeben. Dann k¨ onnen wir eine Zahl T > 0 mit der Eigenschaft Z ∞ ε 2C0 ω(t)dt ≤ 3 T

Optimale Steuerung mit unendlichem Zeithorizont

Die Grundaufgabe 25

w¨ahlen. Nach dem Satz von Lusin
([17], S. 323) existiert eine kompakte Teilmenge K von [0, T ] derart, dass t → fx t, x0 (t), u(t) stetig auf K ist und zudem die Relation Z ε 2C0 ω(t)dt ≤ 3 [0,T ]\K erf¨ ullt ist. Aufgrund der Stetigkeit von fx nach (A1 ) gibt es eine Zahl λ0 > 0 mit max

t∈K,kξk∞ ≤1





fx t, x0 (t) + λξ, u(t) − fx t, x0 (t), u(t) ≤

1 ε , 1+Ω3

Ω = kω(·)kL1 ,

f¨ ur alle 0 < λ ≤ λ0 . Zusammen erhalten wir

˜ J ξ0 (·) + λξ(·), u(·) − J˜ ξ0 (·), u(·)
˜ − Jx ξ0 (·), u(·) ξ(·) λ Z ∞ Z 1 



= ω(t) · fx t, x0 (t) + λsξ(t), u(t) − fx t, x0 (t), u(t) , ξ(t) ds dt 0 Z 0 Z Z ∞ 1 ε ≤ kξ(t)kω(t) dt + 2C0 kξ(t)kω(t) dt + 2C0 kξ(t)kω(t)dt ≤ ε K 1+Ω3 [0,T ]\K T f¨ ur alle kξ(·)k∞ ≤ 1 und alle 0 < λ ≤ λ0 .


Lemma 3.11. F¨ ur jedes u(·) ∈ L∞ (R+ , U ) bildet der Operator ξ(·) → F ξ(·), u(·) eine Umgebung des Punktes ξ0 (·) in den Raum C0 (R+ , Rn ) ab. Weiterhin ist diese Abbildung in ξ0 (·) stetig differenzierbar und es gilt   Z t

  ϕx s, x0 (s), u(s) ξ(s) ds , t ∈ R+ . Fx ξ0 (·), u(·) ξ(·) (t) = ν(t) · ξ(t) − ξ(0) − 0

Beweis Aufgrund der Eigenschaft (E5 ) der Dichte ν(·) gibt es eine Zahl M > 0 mit Z t sup ν(t)ν −1 (s) ds ≤ M 2 . t∈R+

0

Daher gilt f¨ ur x0 (·) ∈ W21 (R+ , Rn ; ν) und ξ(·) ∈ C0 (R+ , Rn ): Z t

1/2
1/2 1 + kξ(s)k + kx0 (s)k ν(s) · ν(t)ν −1 (s) ds 0  
1/2 ≤ M 1 + kξ(·)k∞ · kν(·)kL1 + kx0 (·)kL2 (ν) = C1 .

Weiterhin gibt es nach Lemma B.2 zu jedem ε > 0, jedem x0 (·) ∈ W21 (R+ , Rn ; ν) und jedem ξ(·) ∈ C0 (R+ , Rn ) mit kξ(·)k∞ ≤ γ eine Zahl τ = τ (ε) > 0 mit
ε kx0 (t)k + kx0 (0)k + kξ(t)k + kξ(0)k · ν(t) ≤ 2

f¨ ur alle t ≥ τ . Außerdem l¨ asst sich τ = τ (ε) > 0 so w¨ahlen, dass  
1/2
1/2
ε C0 M 1 + kξ(·)k∞ · kν(·)kL1 + kx0 (·)kL2 (ν) · ν(t) ≤ = C0 C1 ν(t) 2

26 Die Grundaufgabe

Optimale Steuerung mit unendlichem Zeithorizont

f¨ ur alle t ≥ τ gilt. Dann erhalten wir f¨ ur ξ(·) mit kξ(·)k∞ ≤ γ nach (A2 ) f¨ ur alle t ≥ τ :




F ξ(·), u(·) (t)

≤


kx0 (t)k + kx0 (0)k + kξ(t)k + kξ(0)k ν(t)  Z t +C0 1 + kξ(s)k + kx0 (s)k ds ν(t) ≤ ε. 0


¨ Die lineare Abbildung ξ(·) → Fx ξ0 (·), u(·) ξ(·) ist aufgrund (A2 ) stetig. Mit den gleichen Uberlegungen wie im Beweis von Lemma 3.10 finden wir zu ε > 0 positive Zahlen λ0 , T und nach dem Satz von Lusin eine kompakte Menge K ⊆ [0, T ] mit



 

F ξ0 (·) + λξ(·), u(·) − F ξ0 (·), u(·)




ξ (·), u(·) ξ(·) (t) − F x 0

λ ∞

 Z tZ 1

 

ϕx (t, x0 (t) + λsξ(t), u(t)) − ϕx (t, x0 (t), u(t)) ξ(t)ds dt = sup ν(t)

≤ε t∈R+

0

0

f¨ ur alle kξ(·)k∞ ≤ 1 und alle 0 < λ ≤ λ0 .




Lemma 3.12. F¨ ur jedes u(·) ∈ L∞ (R+ , U ) ist der Operator Fx ξ0 (·), u(·) surjektiv.

Beweis Wir haben zu zeigen, dass es zu jedem z(·) ∈ C0 (R+ , Rn ) ein ξ(·) ∈ C0 (R+ , Rn ) gibt mit 

z(t) = ν(t) · ξ(t) − ξ(0) −

Z

0

t


ϕx s, x0 (s), u(s) ξ(s) ds ,

t ≥ 0.


Wegen der Linearit¨ at von Fx ξ0 (·), u(·) betrachten wir den zugeh¨origen Operator
ξ(·) → T ξ(·) ,


T ξ(·) (t) = z(t) + ν(t) ·

Z

0

t


ϕx s, x0 (s), u(s) ξ(s) ds,


Zur abk¨ urzenden Schreibweise seien Λ(t) = ϕx t, x0 (t), u(t) und λ(t) =

Z

t ≥ 0,

t

0

kΛ(s)kν(s) ds.

F¨ ur ξ1 (·), ξ2 (·) ∈ C0 (R+ , Rn ) und n ∈ N erhalten wir (vgl. [24], S. 60) mit (E3 ):

Z t

2



T ξ1 (·) − ξ2 (·) (t) = ν(t) · Λ(s)T ξ (·) − ξ (·) (s) ds 1 2

0

t

 λ2 (t) kΛ(s)kν(s) λ(s) ds · kξ1 (·) − ξ2 (·)k∞ ≤ ≤ · kξ1 (·) − ξ2 (·)k∞ , 2 0

Z t

n



n−1

T ξ1 (·) − ξ2 (·) (t) = ν(t) · Λ(s)T ξ1 (·) − ξ2 (·) (s) ds

Z



0

t

 λn−1 (s) λn (t) ds · kξ1 (·) − ξ2 (·)k∞ ≤ · kξ1 (·) − ξ2 (·)k∞ , kΛ(s)kν(s) ≤ (n − 1)! n! 0 n n

n


T ξ1 (·) − ξ2 (·) ≤ kλ (t)k∞ · kξ1 (·) − ξ2 (·)k∞ ≤ (C0 /a) kξ1 (·) − ξ2 (·)k∞ . ∞ n! n! Z



Die Behauptung folgt nun aus dem Fixpunktsatz von Weissinger ([23], Theorem 12.1).



Optimale Steuerung mit unendlichem Zeithorizont

Die Grundaufgabe 27

3.3.2. Das Lagrangesche Prinzip Auf C0 (R+ , Rn ) × L∞ (R+ , U ) × R × C0∗ (R+ , Rn ) × Rn definieren wir die Lagrange-Funktion,





L ξ(·), u(·), λ0 , y ∗ , l0 = λ0 J˜ ξ(·), u(·) + y ∗ , F ξ(·), u(·) + l0T H ξ(·) .

Im Weiteren sei ξ0 (·) wieder gegeben durch ξ0 (t) ≡ 0.
Theorem 3.13
(Extremalprinzip). Sei x∗ (·), u∗ (·) ∈ ALip ∩ Aadm . Ist x∗ (·), u∗ (·) ein starkes lokales Minimum der Grundaufgabe (3.1)–(3.3), dann existieren nicht gleichzeitig verschwindende Lagrangesche Multiplikatoren λ0 ≥ 0, y ∗ ∈ C0∗ (R+ , Rn ) und l0 ∈ Rn derart, dass folgende Bedingungen gelten: a) Die Lagrange-Funktion besitzt bzgl. ξ(·) in ξ0 (·) einen station¨aren Punkt, d. h.
Lx ξ0 (·), u∗ (·), λ0 , y ∗ , l0 = 0.

b) Die Lagrange-Funktion nimmt bzgl. u(·) in u∗ (·) ihr Minimum an, d. h.

L ξ0 (·), u∗ (·), λ0 , y ∗ , l0 = min L ξ0 (·), u(·), λ0 , y ∗ , l0 . u(·)∈L∞ (R+ ,U)

(3.12)

(3.13)

Bemerkung 3.14. Das Extremalprinzip bezieht sich direkt auf die Grundaufgabe (3.1)–(3.3). D. h., im Beweis wird der Zusammenhang zur starken lokalen Optimalit¨at im Steuerungsproblem hergestellt.  ¨ Beweis Der Ubersichtlichkeit halber ist der Beweis in f¨ unf Schritte gegliedert. Schritt 1: Die Menge C der Variationen.
Wir betrachten die Menge C derjenigen µ0 , y(·), v ∈ R × C0 (R+ , Rn ) × Rn , zu denen es ein ξ(·) ∈ C0 (R+ , Rn ) und ein u(·) ∈ L∞ (R+ , U ) gibt mit


µ0 > J˜x ξ0 (·), u∗ (·) ξ(·) + J˜ ξ0 (·), u(·) − J˜ ξ0 (·), u∗ (·) ,



v = H ′ ξ0 (·) ξ(·). y(·) = Fx ξ0 (·), u∗ (·) ξ(·) + F ξ0 (·), u(·) − F ξ0 (·), u∗ (·) ,

Da die stetigen linearen Operatoren Fx ξ0 (·), u∗ (·) , H ′ ξ0 (·) surjektiv sind, folgt aus dem Satz von der offenen Abbildung ([42], S. 152), dass das Innere der Menge conv C nichtleer ist. Zum Nachweis von Theorem 3.13 gen¨ ugt es 0 6∈ conv C (vgl. [24], S. 87) zu zeigen. Angenommen, es ist 0 ∈ conv C . Dann existieren nach Definition der konvexen H¨ ulle c > 0, ξ(·) ∈ C0 (R+ , Rn ), uk (·) ∈ L∞ (R+ , U ), k = 1, ..., k0 , und αk > 0, α1 + ... + αk0 = 1, mit 0 >

k0 h X


i −c ≥ J˜x ξ0 (·), u∗ (·) ξ(·) + αk J˜ ξ0 (·), uk (·) − J˜ ξ0 (·), u∗ (·) , k=1

0 =


Fx ξ0 (·), u∗ (·) ξ(·) +

k0 X

k=1

h

i αk F ξ0 (·), uk (·) − F ξ0 (·), u∗ (·) ,


0 = H ′ ξ0 (·) ξ(·).

Schritt 2: Die verallgemeinerten Nadelvariationen.
Es sei δ > 0 gegeben. Wir betrachten die Vektorfunktionen yk (t) = y1k (t), y2k (t) ,

) y1k (t) = ϕ t, x∗ (t), uk (t) − ϕ t, x∗ (t), u∗ (t)

k = 1, ..., k0 . y2k (t) = f t, x∗ (t), uk (t) − f t, x∗ (t), u∗ (t)

28 Die Grundaufgabe

Optimale Steuerung mit unendlichem Zeithorizont

Da wir nur endlich viele Funktionen betrachten, k¨onnen wir o. B. d. A. annehmen, dass (A2 ) mit einer Zahl C0 f¨ ur alle y1k (·) und y2k (·) erf¨ ullt ist. Nach (A2 ) gilt ky1k (t)k ≤ 2C0 (1 + kx∗ (t)k). Mit den gleichen Argumenten wie im Beweis von Lemma 3.11 gilt Z t
1/2 (1 + kx∗ (s)k) ds · ν(t) ≤ C1 . 0

Dann k¨onnen wir ein T > 0 so w¨ ahlen, dass f¨ ur k = 1, ..., k0 folgende Ungleichungen gelten: Z ∞ Z t
δ δ sup ω(t)|y2k (t)| + C0 ν(t) dt ≤ . (3.14) ky1k (s)k ds · ν(t) ≤ , 2 2 t≥T T T Auf [0, T ] sind die Funktionen yk (·) meßbar und beschr¨ankt. Daher (vgl. [24], S. 215 ff.) kann man eine einparametrige Familie M1 (α), ..., Mk0 (α), α ∈ [0, 1/k0], meßbarer Teilmengen des Intervalls [0, T ] derart konstruieren, dass die Abbildung α → uα (t) = u∗ (t) +

k0 X

k=1


χMk (αk ) (t) · uk (t) − u∗ (t)

auf dem Quader o n Qk0 = α = (α1 , ..., αk0 ) ∈ Rk0 0 ≤ αk ≤ 1/k0 , k = 1, ..., k0

wohldefiniert ist und die Beziehungen (12) und (13) in [24], S. 218, auf [0, T ] erf¨ ullt sind. Schritt 3: Die Definitionen und die Eigenschaften der Operatoren Φ, Λ, I. Da H stetig differenzierbar ist, gibt es eine Umgebung V von ξ0 (·) mit







H ξ(·) − H ξ ′ (·) − H ′ ξ0 (·) ξ(·) − ξ ′ (·) n ≤ δkξ(·) − ξ ′ (·)k∞ R

(3.15)

f¨ ur alle ξ(·), ξ ′ (·) ∈ V . F¨ ur a ∈ R setzen wir a+ = max{0, a}, a− = min{0, a} und f¨ ur jeden Vektor
α ∈ Rm seien + − + + − − α = (α1 , ..., αm ), α = (α1 , ..., αm ). Auf einer Umgebung des Punktes ξ0 (·), 0 betrachten wir die Abbildungen
Φ ξ(·), α
Λ ξ(·), α
I ξ(·), α

k0 
X

 = F ξ(·), uα+ (·) + α− k F ξ0 (·), uk (·) − F ξ0 (·), u∗ (·) , k=1

k0 X

 
αk F ξ0 (·), uk (·) − F ξ0 (·), u∗ (·) , = Fx ξ0 (·), u∗ (·) ξ(·) + k=1

k0



X  = J˜ ξ(·), uα+ (·) − J˜ ξ(·), u∗ (·) − αk J˜ ξ(·), uk (·) − J˜ ξ(·), u∗ (·) . k=1


Zun¨achst zeigen wir, dass es eine Umgebung des Punktes ξ0 (·), 0 gibt mit







Φ ξ(·), α − Φ ξ ′ (·), α′ − Λ ξ(·), α + Λ ξ ′ (·), α′ ∞   k0 X ≤ δ kξ(·) − ξ ′ (·)k∞ + |αk − α′k | . k=1

(3.16)

Optimale Steuerung mit unendlichem Zeithorizont

Die Grundaufgabe 29

Nutzen wir die Eigenschaften der verallgemeinerten Nadelvariationen aus, dabei insbesondere die Inklusion Mk (αk ) ⊆ [0, T ], so k¨ onnen wir die linke Seite in (3.16) gegen folgenden Ausdruck nach oben absch¨ atzen:





max Φ ξ(·), α − Φ ξ ′ (·), α′ − Λ ξ(·), α + Λ ξ ′ (·), α′ (t) t∈[0,T ]

Z t



′

+ max ϕx s, x∗ (s), u∗ (s) ξ(s) − ξ (s) ds

· ν(t) t≥T

T

Z tX k0 



 + ′+

+ max (αk − αk ) ϕ s, x∗ (s), uk (s) − ϕ s, x∗ (s), u∗ (s) ds

· ν(t). t≥T T

k

Auf dem endlichen Intervall [0, T ] folgt ([24], S. 217 ff.), dass eine Umgebung des Punktes ξ0 (·), 0 derart existiert, dass der erste Summand kleiner oder gleich




  k0 X δ ′ ′ kξ(·) − ξ (·)k∞ + |αk − αk | 2 k=1

ist. Nach Wahl von T > 0, vgl. (3.14), fallen die verbliebenen Summanden jeweils nicht gr¨oßer aus als einer der Terme k0 δX δ kξ(·) − ξ ′ (·)k∞ , |αk − α′k |. 2 2 k=1

Die Beziehung (3.16) ist damit gezeigt.
Nun zeigen wir, dass es eine Umgebung von ξ0 (·), 0 gibt mit k0 X
I x(·), α ≤ δ αk .

(3.17)

k=1


Aufgrund der Eigenschaften der verallgemeinerten Nadelvariation ist I x(·), α gleich k0 Z X

k=1

−

T




χMk (αk ) (t) − αk · ω(t) f t, x(t), uk (t) − f t, x(t), u∗ (t) dt

0

k0 Z ∞ X k=1

T



 αk · ω(t) f t, x(t), uk (t) − f t, x(t), u∗ (t) dt

f¨ ur jedes α ∈ Qk0 . F¨ ur den ersten Summanden folgt ur den zweiten Summen
nach [24], S. 221, bzw. f¨ nach (3.14), dass eine Umgebung von ξ0 (·), 0 existert, auf der beide Summanden kleiner oder k0 δX gleich αk ausfallen. 2 k=1

Schritt 4: Der Kontraktionsparameter δ. Die Schritte 2 und 3 bezogen sich auf einen beliebig gegebenen Parameter δ > 0. Nun legen wir δ > 0 so fest, dass die Voraussetzungen des verallgemeinerten Satzes von Ljusternik erf¨ ullt sind. Auf C0 (R+ , Rn ) × Rk0 definieren wir den stetigen linearen Operator L, 


 L ξ(·), α = L1 ξ(·), α , H ′ ξ0 (·) ξ(·) ,

30 Die Grundaufgabe

Optimale Steuerung mit unendlichem Zeithorizont

wobei L1 die stetige lineare Abbildung k0 X



 L1 ξ(·), α = Fx ξ0 (·), u∗ (·) ξ(·) + αk F ξ0 (·), uk (·) − F ξ0 (·), u∗ (·) k=1

bezeichnet. Wegen Im L = C0 (R+ , Rn ) erhalten wir ([24], S. 45) C(L) := sup y(·)6=0



  k0 X
1 |αk | L ξ(·), α = y(·) < ∞. · inf kξ(·)k∞ + ky(·)k∞ k=1

Wir setzen K = 4C(L). Die Zahl 4C(L) ist dabei eine obere Schranke f¨ ur die Konstante K im verallgemeinerten Satz von Ljusternik (vgl. die Wahl von K in [24], S. 47): 4C(L) = sup 0 0 mit  


J˜ ξ0 (·) + λξ(·), u∗ (·) ≤ J˜ ξ0 (·), u∗ (·) + λ J˜x ξ0 (·), u∗ (·) ξ(·) + c

f¨ ur alle 0 ≤ λ ≤ σ, kξ(·)k∞ ≤ σ. Im Weiteren sei der Kontraktionsparameter δ > 0 so gew¨ahlt, dass neben δ · C(L) < 1/2 noch die Relationen (vgl. [24], S. 205)   k0 X αk < min{α1 , ..., αk0 , σ}, δK kξ(·)k∞ + k=1

  k0 X (δ + Kδ 2 ) kξ(·)k∞ + αk < σ, k=1

  k0 X

αk · max J˜ ξ0 (·), uk (·) − J˜ ξ0 (·), u∗ (·) < σ δK kξ(·)k∞ + k=1

1≤k≤k0

f¨ ur kξ(·)k∞ ≤ σ gelten.

Schritt 5: Die Existenz zul¨ assiger Richtungen und 0 6∈ conv C .
Aus (3.15) und (3.16) folgt, dass auf einer Umgebung des Punktes ξ0 (·), 0 die Voraussetzungen des verallgemeinerten Satzes von Ljusternik erf¨ ullt sind ([24], S. 204). Daher gibt es eine Zahl ε0 > 0
und Paare ξε (·), uε (·) ∈ C0 (R+ , Rn ) × L∞ (R+ , U ) mit kξε (·)k∞ → 0 f¨ ur ε → 0 und ([24], S. 205)
F ξε (·), uε (·) = 0,


H ξε (·) = 0

(3.18)

f¨ ur alle ε ∈ [0, ε0 ]. Ferner erhalten wir aufgrund von (3.17) und Lemma 3.10 ([24], S. 205)

J˜ ξε (·), uε (·) ≤ J˜ ξ0 (·), u∗ (·) − εc + o(ε).

(3.19)

Wir setzen xε (·) = x∗ (·) + ξε (·) f¨ ur alle 0 ≤ ε ≤ ε0 . Dann besitzt xε (·) wegen (3.18) die verallgemeinerte Ableitung x˙ ε (t) =



d x∗ (t) + ξε (t) = ϕ t, x∗ (t) + ξε (t), uε (t) dt

Optimale Steuerung mit unendlichem Zeithorizont

Die Grundaufgabe 31

und gen¨ ugt der Anfangsbedingung xε (0) = x0 . Ferner erhalten wir f¨ ur hinreichend kleine ε > 0 mit kξε (·)k∞ ≤ γ, dass xε (·) dem Raum W21 (R+ , Rn ; ν) angeh¨ort:  Z ∞ Z ∞
2 2 2 kx∗ (t)k + kξε (·)k∞ ν(t) dt < ∞, kxε (t)k ν(t)dt ≤ 2 0 Z ∞ Z0 ∞

kx˙ ε (t) k2 ν(t)dt ≤ 2 C0 1 + kx∗ (t)k2 + kξε (·)k2∞ ν(t)dt < ∞. 0

0


Also sind f¨ ur alle hinreichend kleine ε > 0 die Prozesse xε (·), uε (·) zul¨assig in der Grundaufgabe
(3.1)–(3.3). Da nun kxε (·)−x∗ (·)k∞ → 0 f¨ ur ε → 0 gilt, zeigt die Relation (3.19), dass x∗ (·), u∗ (·) im Widerspruch zur Voraussetzung von Theorem 3.13 kein starkes lokales Minimum der Aufgabe (3.1)–(3.3) sein k¨ onnte. Damit ist Theorem 3.13 bewiesen.  3.3.3. Beweisschluss Aufgrund (3.12) ist folgende Variationsgleichung f¨ ur alle ξ(·) ∈ C0 (R+ , Rn ) erf¨ ullt: Z ∞


0 = λ0 · ω(t) fx t, x∗ (t), u∗ (t) , ξ(t) dt + l0T ξ(0) +

Z

0

0 ∞

T  Z t
ν(t) ξ(t) − ξ(0) − ϕx s, x∗ (s), u∗ (s) ξ(s) ds dµ(t).

(3.20)

0

Dabei bezeichnet µ ein regul¨ ares Borelsches Vektormaß ([37], S. 130). In der Gleichung (3.20) ist jeder Integralterm absolut integrierbar; insbesondere gilt  Z ∞ Z t




ϕx s, x∗ (s), u∗ (s) ξ(s) ds ν(t)d|µ|(t) 0 0  Z ∞Z t ≤ C0 kξ(·)k∞ ν(s) ds d|µ|(t) ≤ C0 kν(·)kL1 kµk · kξ(·)k∞ . 0

0

Wenden wir nun den Satz von Fubini an und ¨andern die Integrationsreihenfolge im letzten Summanden in (3.20), so bringen wir diese Gleichung in die Form 0 =

T Z

∞ T λ0 ω(t)fx t, x∗ (t), u∗ (t) − ϕx t, x∗ (t), u∗ (t) ν(s)dµ(s) ξ(t)dt 0 t   Z ∞ Z ∞ T T T ν(t)[ξ(0)] dµ(t) . ν(t)[ξ(t)] dµ(t) + l0 ξ(0) − + ∞

Z



(3.21)

0

0

Da s¨amtliche Integralterme absolut integrierbar sind, definiert die rechte Seite in (3.21) ein stetiges linearesZ Funktional auf C0 (R+ , Rn ). Wenden wir den Darstellungssatz von Riesz an und setzen ∞

p(t) =

ν(s) dµ(s), so erhalten wir

t

p(t) =

Z

t

∞



 T ϕx s, x∗ (s), u∗ (s) p(s) − λ0 ω(s)fx s, x∗ (s), u∗ (s) ds,

Also besitzt p(·) nach Definition auf R+ die verallgemeinerte p(·), ˙

p(t) ˙ = −ϕTx t, x∗ (t), u∗ (t) p(t) + λ0 ω(t)fx t, x∗ (t), u∗ (t) .

p(0) = l0 .

32 Die Grundaufgabe

Optimale Steuerung mit unendlichem Zeithorizont

Ferner geh¨oren p(·), p(·) ˙ dem Raum L2 (R+ , Rn ; ν −1 ) an: Z ∞ Z ∞ DZ ∞ Z kp(·)k2L2 (ν −1 ) = kp(t)k2 ν −1 (t) dt = ν(s)dµ(s), 0

≤ 2 kp(·)k ˙ L2 (ν −1 )

Z

0

∞

t

0

≤ 2

Z

Z

0

∞

∞

t

∞ t

E ν(s)dµ(s) · ν −1 (t) dt

2 d|µ|(s) · ν 2 (t)ν −1 (t) dt ≤ kµk2 kν(·)kL1 < ∞,


C02 kp(t)k2 + ω 2 (t) ν −1 (t) dt < ∞.

Damit sind (3.4) und (3.5) gezeigt. Die Beziehung (3.13) ist ¨aquivalent zu Z ∞ Z ∞

min H t, x∗ (t), u∗ (t), p(t), λ0 dt ≥ H t, x∗ (t), u(t), p(t), λ0 dt. u(·)∈L∞ (R+ ,U)

0

0

Daraus folgt abschließend durch Standardtechniken f¨ ur Lebesguesche Punkte (vgl. [30]) die Maximumbedingung (3.6). 

3.4. Zur Normalform des Maximumprinzips Theorem 3.3 kann auf die folgende modifizierte Version des Beispiels von Halkin ([22], S. 272) angewendet werden. Dieses Beispiel zeigt, dass f¨ ur einen optimalen Steuerungsprozess die notwendigen
Bedingungen des Pontjaginchen Maximumprinzips nur f¨ ur nichttriviale Multiplikatoren λ0 , p(·) mit λ0 = 0 erf¨ ullt sind. Beispiel 3.15. Wir betrachten das Beispiel von Halkin mit zus¨atzlichem Diskontierungsfaktor: Z ∞

J x(·), u(·) = e−̺t u(t) − x(t) dt → sup, 0

x(t) ˙ = u2 (t) + x(t),

u(t) ∈ [0, 1],

x(0) = 0,

̺ ∈ (0, 1).

F¨ ur den gewichteten Raum W21 (R+ , R; ν) w¨ahlen wir ν(t) = e−at mit a > 0.
In diesem Beispiel liefert x∗ (t), u∗ (t) ≡ (0, 0) das globale Maximum:
Angenommen, es gibt assigen Steuerungsprozess x(·), u(·) mit x(t) 6≡ 0. Insbesondere
einen zul¨ ist dann J x(·), u(·) < ∞. Dann existiert ein τ > 0 mit x(τ ) > 0. Durch direktes Nachrechnen erhalten wir x(t) ≥ x(τ )et−τ f¨ ur alle t ≥ τ , und es folgt Z ∞ Z τ


−̺t e−̺t 1 − x(τ )et−τ dt = −∞. u(t) − x(t) dt + e J x(·), u(·) ≤ 0

τ


Damit besteht die Menge der zul¨ assigen Steuerungsprozesse Aadm nur aus x∗ (·), u∗ (·) .
ur jedes ν(·) mit a < 2̺. Das globale Maximum x∗ (·), u∗ (·) geh¨ ort zu W21 (R+ , R; ν)×L∞ (R+ , U ) f¨ Ferner sind f¨ ur den beschr¨ ankten Steuerbereich U = [0, 1] die Voraussetzungen (A1 ),(A2 ) erf¨ ullt. Wenden wir Theorem 3.3 auf das modifizierte Halkin-Beispiel an, so erhalten wir die Adjungierte   λ0 (1−̺)t λ0 e−t + e . p(t) = p(0) − 1−̺ 1−̺

Da nun ̺ ∈ (0, 1) gilt, erf¨ ullt die optimale Steuerung u∗ (t) ≡ 0 die Maximumbedingung (3.6) genau dann, wenn λ0 = 0 und p(0) < 0 sind. 

Optimale Steuerung mit unendlichem Zeithorizont

Die Grundaufgabe 33


Bemerkung 3.16. Im Beispiel 3.15 ist x (·), u (·) ein isolierter Punkt. Dennoch, da das Paar ∗ ∗
x∗ (·), u∗ (·) der
Menge ALip angeh¨ ort, besitzt die Aufgabe auf einer gleichm¨aßigen Umgebung von x∗ (·), u∗ (·) die Eigenschaften (A1 ), (A2 ). Daraus ergibt sich im Schritt 1 im Beweis von Theorem 3.13, dass die Menge conv C ein nichtleeres Inneres besitzt. Es folgt ferner die Existenz der nichttrivialen trennenden Hyperebene und demnach insbesondere die Existenz der Multiplikatoren im Maximumprinzip.  In diesem Abschnitt zeigen wir, dass folgende “Stabilit¨atsbedingung” (S) hinreichend f¨ ur die Normalform des Pontrjaginschen Maximumprinzips (Theorem 3.3) ist. n (S) Es existieren Zahlen K0 , δ, Cs > 0 und µ(·) ∈ L2 (R ur alle ζT mit
+ , R ; ν) derart, dass f¨ kζT − x∗ (T )k ≤ δ das System x(t) ˙ = ϕ t, x(t), u∗ (t) mit Anfangsbedingung x(T ) = ζT eine L¨osung x(t; ζT ) auf [T, ∞) besitzt und folgende Ungleichung gilt

kx(t; ζT ) − x∗ (t)k ≤ Cs kζT − x∗ (T )kµ(t) ∀ t ≥ T ≥ K0 . F¨ ur ν(t) = e−at und µ(t) = ebt muss in (S) die Relation 2b < a gelten. In diesem Fall vergleichen wir die Bedingung (S) an einem Beispiel mit der Voraussetzung (A3) in [4]. Aufgrund der verschiedenen Optimalit¨atsbegriffe und Beweismethoden kann keine allgemein g¨ ultige Gegen¨ uberstellung gef¨ uhrt werden. Beispiel 3.17. Wir betrachten die Aufgabe Z ∞

1 J x(·), u(·) = e−2t x2 (t) + u2 (t) dt → inf, 2 0 x(t) ˙ = x(t) + u(t), x(0) = 1, u(t) ∈ R. Aus der Linearit¨ at der Dynamik folgt unmittelbar µ(t) = et und Cs = 1 f¨ ur T = 0. W¨ahlen wir den Parameter a so, dass 2 = 2b < a < 2̺ = 4 erf¨ ullt ist, dann sind die Voraussetzungen (A0 )–(A2 ), (S) f¨ ur jeden beschr¨ankten zul¨assigen Steuerungsprozess erf¨ ullt (insbesondere ist kfx (t, x, u(t))k beschr¨ankt). Aus den Optimalit¨ atsbedingungen in Theorem 3.3 erhalten wir x∗ (t) ≡ 1,

u∗ (t) ≡ −1,

λ0 = 1,

p(t) = −e−2t .

Die Voraussetzung (A3) in [4], d. h. ̺ > λ + r max{µ, λ} (zur Festlegung dieser Gr¨oßen vgl. die Diskussion im Beispiel 3.9), liefert mit λ = 1, r = 1 und µ = 0 die Anforderung ̺ > 2. Also ist diese Voraussetzung nicht erf¨ ullt. 

Theorem 3.18. Sei x∗ (·), u∗ (·) ∈ Aadm ∩ ALip und sei (S) erf¨ ullt. Ist x∗ (·), u∗ (·) ein starkes lokales Minimum der Grundaufgabe (3.1)–(3.3), dann ist Theorem 3.3 mit λ0 = 1 erf¨ ullt. Ferner besitzt die Adjungierte p(·) die Darstellung Z ∞
 −1 (3.22) p(t) = −Z∗ (t) ω(s) Z∗ (s) fx s, x∗ (s), u∗ (s) ds. t

Dabei ist Z∗ (t) die in t = 0 normalisierte Fundamentalmatrix des linearen Systems
z(t) ˙ = −ϕTx t, x∗ (t), u∗ (t) z(t).

34 Die Grundaufgabe

Optimale Steuerung mit unendlichem Zeithorizont

Die Darstellungsformel (3.22) stimmt (bis auf das Vorzeichen, das sich durch die Minimierung statt einer Maximierung des Zielfunktionals ergibt) mit der in den Arbeiten [3, 4, 5, 6] u ¨berein. Im Gegensatz zu diesen Arbeiten ist Theorem 3.18 unter den Voraussetzungen (A0 )–(A2 ), (S) erf¨ ullt und charakterisiert starke lokale Minimalstellen. Beweis Es seien Y∗ (t) bzw. Z∗ (t) die in t = 0 normalisierten Fundamentalmatrizen der homogenen Systeme

˙ = −ϕTx t, x∗ (t), u∗ (t) z(t). y(t) ˙ = ϕx t, x∗ (t), u∗ (t) y(t), z(t) Nach Voraussetzung (S) existiert die L¨ osung xα (·) der Gleichung Z t
x(t) = x(T ) + ϕ s, x(s), u∗ (s) ds, x(T ) = x∗ (T ) + αξ, T

kξk = 1,

f¨ ur alle α ∈ (0, δ]. Gem¨ aß dem Satz u ¨ber die Abh¨angigkeit einer L¨osung von den Anfangsdaten (vgl. [19]) erhalten wir die Gleichung

Z t ϕx s, x∗ (s), u∗ (s) xα (s) − x∗ (s) + o(α, s) xα (t) − x∗ (t) =ξ+ ds. α α T Dabei ist o(α, t)/α → 0 f¨ ur α → 0, und dies gleichm¨aßig auf jedem endlichen Intervall [T, K], K > T . Der Grenz¨ ubergang α → 0 liefert in der letzten Gleichung f¨ ur jedes feste t ≥ T : Z t
xα (t) − x∗ (t) y(t) := lim =ξ+ ϕx s, x∗ (s), u∗ (s) y(s) ds = Y∗ (t)[Y∗ (T )]−1 ξ. α→0 α T

Wir setzen y(t) durch y(t) = Y∗ (t)[Y∗ (T )]−1 ξ auf R+ fort. Wegen Voraussetzung (A2 ) folgt mit der Gronwallschen Ungleichung ky(t)k ≤ C · eC0 t auf R+ . Ferner erhalten wir mit (S) f¨ ur alle t ≥ T : ky(t)k = lim

α→0

kxα (t) − x∗ (t)k ≤ Cs kξk · µ(t). α

Wegen µ(·) ∈ L2 (R+ , Rn ; ν) zeigt dies y(·) ∈ W21 (R+ , Rn ; ν). Angenommen, es ist λ0 = 0. Dann geh¨ort nach Theorem 3.3 die Adjungierte p(·) dem Raum d hp(t), y(t)i = 0 folgt auf R+ : W21 (R+ , Rn ; ν −1 ) an und erf¨ ullt (3.5). Wegen dt hp(t), y(t)i = hp(0), [Y∗ (T )]−1 ξi. Aufgrund der Transversalit¨ atsbedingung (3.7) gilt lim hp(t), y(t)i = 0. Da ξ ∈ Rn , kξk = 1, beliebig t→∞
war, erhalten wir λ0 , p(·) = 0 im Widerspruch zu Theorem 3.3. Sei nun λ0 = 1. Dann ist f¨ ur jedes T ∈ R+ folgende Gleichung erf¨ ullt (vgl. [3]):   Z t
−1 −1 p(t) = Z∗ (t) Z∗ (T )p(T ) + ω(s)Z∗ (s)fx s, x∗ (s), u∗ (s) ds . T

Betrachten wir nun hp(t), y(t)i und verwenden Z∗−1 (t) = Y∗T (t), so ergibt sich Z t E D
hp(t) , y(t)i = p(T ) + Z∗ (T ) ω(s)Z∗−1 (s)fx s, x∗ (s), u∗ (s) ds , ξ . T

Mit (3.7) liefert der Grenz¨ ubergang t → ∞ (vgl. Lemma B.2) die Darstellungsformel (3.22).



Optimale Steuerung mit unendlichem Zeithorizont

Die Grundaufgabe 35

3.5. Hinreichende Optimalit¨ atsbedingungen vom Arrow-Typ Im Rahmen der notwendigen und hinreichenden Optimalit¨atsbedingungen spielt das Pontrjaginsche Maximumprinzip die zentrale Rolle. Insbesondere gibt Theorem 3.3 einen vollst¨andigen Satz von Optimalit¨ atskriterien aus adjungierter Gleichung, Transversalit¨atsbedingungen und Maximumbedingung an. Dabei wird in der Grundaufgabe die Adjungierte als Element des Raumes W21 (R+ , Rn ; ν −1 ) identifiziert und zugeh¨orige Transversalit¨atsbedingungen, insbesondere die Beziehung (Lemma 3.4) lim hp(t), x(t)i = 0

t→∞

f¨ ur alle x(·) ∈ W21 (R+ , Rn ; ν),

f¨ ur das Verhalten der Adjungierten im Unendlichen bereit gestellt. Auf der Grundlage dieser Ergebnisse pr¨ asentieren wir in diesem Abschnitt hinreichende Optimalit¨atsbedingungen. Dabei folgen wir im Wesentlichen [39]. Weiterhin weisen wir auf [1, 3, 26, 28, 38] hin. Wir betrachten wieder die Grundaufgabe (3.1)–(3.3), Z ∞

J x(·), u(·) = ω(t)f t, x(t), u(t) dt → inf, 0
x(t) ˙ = ϕ t, x(t), u(t) , x(0) = x0 , u(t) ∈ U ⊆ Rm ,

U 6= ∅,

f¨ ur Zustandstrajektorien der Menge XLip bzw. Steuerungsprozesse der Menge ALip . Dabei m¨ ussen die Trajektorien x(·) ∈ W21 (R+ , Rn ; ν) aus der Menge XLip zu gewissem γ > 0 auf Vγ = {(t, x) ∈ R+ × Rn | kx − x(t)k ≤ γ} die folgenden Voraussetzungen erf¨ ullen: (A0 ) Dichte- und Verteilungsfunktion ν(·) bzw. ω(·) gen¨ ugen den Eigenschaften (E1 )–(E7 ). (A1 ) Die Abbildungen f (t, x, u), ϕ(t, x, u) und deren partielle Ableitungen fx (t, x, u), ϕx (t, x, u) sind meßbar in t und f¨ ur jedes feste t ∈ R+ auf Vγ × U stetig in (x, u). (A2 ) Zu jedem u(·) ∈ L∞ (R+ , U ) gibt es eine Zahl C0 > 0, die von der Umgebung Vγ und u(·) abh¨angig sein kann, mit





f (t, x, u(t)), ϕ(t, x, u(t)) ≤ C0 (1 + kxk), fx (t, x, u(t)), ϕx (t, x, u(t)) ≤ C0 auf Vγ f¨ ur fast alle t ∈ R+ .

Im Weiteren bezeichnen wir mit H(t, x, u, p, λ0 ) = −λ0 ω(t)f (t, x, u) + hp, ϕ(t, x, u)i die Pontrjagin-Funktion H und mit H (t, x, p) = sup H(t, x, u, p, 1) u∈U

die Hamilton-Funktion H im normalen Fall.

(3.23)

36 Die Grundaufgabe

Optimale Steuerung mit unendlichem Zeithorizont


Theorem 3.19. Es sei x∗ (·), u∗ (·) zul¨assig in der Aufgabe (3.1)–(3.3). Ferner gelte:
a) Das Tripel x∗ (·), u∗ (·), p(·) ∈ XLip ×L∞ (R+ , U )×W21 (R+ , Rn ; ν −1 ) erf¨ ullt die Bedingungen (3.4) und (3.5) in Theorem 3.3 mit λ0 = 1. Dies bedeutet, dass p(·) die adjungierte Gleichung

(3.24) p(t) ˙ = −ϕTx t, x∗ (t), u∗ (t) p(t) + ω(t)fx t, x∗ (t), u∗ (t) , sowie die Transversalit¨atsbedingung

lim hp(t), x(t)i = 0

t→∞

f¨ ur alle x(·) ∈ W21 (R+ , Rn ; ν)

erf¨ ullt und außerdem die Maximumbedingung

H t, x∗ (t), p(t) = max H t, x∗ (t), u, p(t), 1 u∈U

(3.25)

(3.26)

f¨ ur fast alle t ∈ R+ gilt.


b) F¨ ur jedes t ∈ R+ ist die Funktion H t, x, p(t) konkav bzgl. der Variablen x auf Vγ .
Dann ist x∗ (·), u∗ (·) ein starkes lokales Minimum der (3.1)–(3.3).

Beweis Es sei t ∈ R+ gegeben.
Wir definieren die Menge Vγ (t), Vγ (t) = {x ∈ Rn | (t, x) ∈ Vγ }. Da die Abbildung x → H t, x, p(t) auf Vγ (t) konkav ist, ist die Menge 
Z = (α, x) ∈ R × Rn x ∈ Vγ (t), α ≤ H t, x, p(t)

konvex und besitzt ein nichtleeres Inneres. Ferner ist α∗ , x∗ (t) mit α∗ = H
t, x∗ (t),n p(t) ein Randpunkt der Menge Z. Daher existiert ein nichttrivialer Vektor a0 (t), a(t) ∈ R × R mit a0 (t)α + ha(t), xi ≤ a0 (t)α∗ + ha(t), x∗ (t)i

f¨ ur alle (α, x) ∈ Z. (3.27)
Es ist x∗ (t) ein innerer Punkt der Menge Vγ (t). Weiterhin ist x →
H t, x, p(t) auf Vγ (t) stetig, da sie auf Vγ (t) konkav und nach unten durch H t, x, u∗ (t), p(t), 1 beschr¨
ankt ist ([24], S. 157). Deswegen existiert ein δ > 0 mit x∗ (t) + ξ ∈ Vγ (t) und α∗ − 1, x∗ (t) + ξ ∈ Z f¨ ur alle kξk ≤ δ. Aus (3.27) folgt daher ha(t), ξi − a0 (t) ≤ 0 f¨ ur alle kξk ≤ δ. Dies zeigt a0 (t) > 0 und wir k¨onnen o. B. d. A. a0 (t) = 1 annehmen. Wiederum (3.27) liefert damit

ha(t), x − x∗ (t)i ≤ H t, x∗ (t), p(t) − H t, x, p(t) f¨ ur alle x ∈ Vγ (t). (3.28) Es sei nun t ∈ R+ so gew¨ ahlt, dass die Maximumbedingung (3.26) zu diesem Zeitpunkt erf¨ ullt ist. Dann folgt aus (3.28), dass

−ha(t), x − x∗ (t)i ≥ H t, x, p(t) − H t, x∗ (t), p(t)

= sup H t, x, u, p(t), 1 − H t, x∗ (t), p(t) u∈U



≥ p(t), ϕ t, x, u∗ (t) − ω(t)f t, x, u∗ (t) 



− p(t), ϕ t, x∗ (t), u∗ (t) − ω(t)f t, x∗ (t), u∗ (t)

f¨ ur alle x ∈ Vγ (t) gilt. Wir setzen



 Φ(x) = p(t), ϕ t, x, u∗ (t) − ϕ t, x∗ (t), u∗ (t) 

 −ω(t) f t, x, u∗ (t) − f t, x∗ (t), u∗ (t) + ha(t), x − x∗ (t)i.

Optimale Steuerung mit unendlichem Zeithorizont

Die Grundaufgabe 37

Die Funktion Φ(x) ist stetig differenzierbar auf Vγ (t). Ferner gilt Φ(x) ≤ 0 f¨ ur alle x ∈ Vγ (t) und Φ(x∗ (t)) = 0. Damit nimmt die Funktion Φ in dem inneren Punkt x∗ (t) der Menge Vγ (t) ihr absolutes Maximum an. Also gilt

Φ′ (x∗ (t)) = ϕTx t, x∗ (t), u∗ (t) p(t) − ω(t)fx t, x∗ (t), u∗ (t) + a(t) = 0 bzw.



a(t) = −ϕTx t, x∗ (t), u∗ (t) p(t) + ω(t)fx t, x∗ (t), u∗ (t) .

(3.29)

Die Gleichung (3.29) wurde unter der Annahme, dass die Maximumbedingung (3.26) in dem Zeitpunkt t ≥ 0 erf¨ ullt ist, erzielt. Da die Maximumbedingung (3.26) f¨ ur fast alle t ∈ R+ gilt, stimmt a(t) mit der verallgemeinerten Ableitung p(t) ˙ u ur fast alle t ∈ R+ die ¨berein. Also gilt auf Vγ f¨ Ungleichung

hp(t), ˙ x − x∗ (t)i ≤ H t, x∗ (t), p(t) − H t, x, p(t) . (3.30)
Es sei x(·), u(·) ∈ Aadm mit kx(·) − x∗ (·)k∞ ≤ γ. Dann folgt ∆(T )

=

Z

T

0

(3.23)

≥

(3.30)

≥

Z

T

0

Z

0

T



 ω(t) f t, x(t), u(t) − f t, x∗ (t), u∗ (t) dt 



 H t, x∗ (t), p(t) − H t, x(t), p(t) dt +

Z

T 0

hp(t), x(t) ˙ − x˙ ∗ (t)idt

hp(t), ˙ x(t) − x∗ (t)i + hp(t), x(t) ˙ − x˙ ∗ (t)idt = hp(T ), x(T ) − x∗ (T )i.

Wir bemerken an dieser Stelle, dass s¨ amtliche Integranden u ¨ber R+ absolut integrierbar sind. Deswegen ist die Betrachtung des Grenzwertes T → ∞ gerechtfertigt. Wegen p(·) ∈ W21 (R+ , Rn ; ν −1 ) folgt mit der Transversalit¨atsbedingung (3.25) die Beziehung lim ∆(T ) ≥ lim hp(T ), x(T ) − x∗ (T )i = 0

T →∞

T →∞


f¨ ur alle zul¨assigen x(·), u(·) mit kx(·) − x∗ (·)k∞ ≤ γ. Damit ist Theorem 3.19 bewiesen.



Folgerung 3.20. Zus¨atzlich zu den Voraussetzungen des Theorems 3.19 nehmen wir an, dass zu jeder Trajektorie x(·) genau eine zul¨assige Steuerung u(·) geh¨ort und eine ¨ uber R+ positive stetige Funktion λ(·) existiert mit

H t, x∗ (t), p(t) − H t, x, p(t) − hp(t), ˙ x − x∗ (t)i ≥ λ(t)kx − x∗ (t)k2 (3.31)
auf Vγ (t) = {x ∈ Rn | (t, x) ∈ Vγ } f¨ ur fast alle t ∈ R+ . Dann ist x∗ (·), u∗ (·) ein strenges starkes lokales Minimum der Aufgabe (3.1)–(3.3).
Beweis Es sei x(·), u(·) ∈ Aadm mit kx(·) − x∗ (·)k∞ ≤ γ und x(·) 6= x∗ (·). Dann existiert ein kompaktes Intervall [a, b], das von x(·) abh¨angig ist, mit kx(t) − x∗ (t)k ≥ δ > 0 f¨ ur alle t ∈ [a, b]. F¨ ur hinreichend große T > 0 gilt [a, b] ⊆ [0, T ] und es folgt analog zum vorherigen Beweis  Z T Z d 2 λ(t)kx(t) − x∗ (t)k dt hp(t), x(t) − x∗ (t)idt + lim ∆(T ) ≥ lim T →∞ T →∞ [a,b] 0 dt ≥

lim hp(T ), x(T ) − x∗ (T )i + δ 2 (b − a) · min λ(t) > 0.

T →∞

t∈[a,b]


Dies zeigt die strenge starke lokale Optimalit¨at des Steuerungsprozesses x∗ (·), u∗ (·) .



38 Die Grundaufgabe

Optimale Steuerung mit unendlichem Zeithorizont


Folgerung 3.21. F¨ ur jedes t ∈ R+ sei die Hamilton-Funktion H t, x, p(t) bzgl. der Variablen x zweimal stetig differenzierbar.
ullt. a) Ist Hxx t, x, p(t) u ¨ber R+ negativ semidefinit, dann ist Teil b) in Theorem 3.19 erf¨ b) Existiert ¨ uber R+ eine positive stetige Funktion λ(·) derart, dass f¨ ur fast alle t ∈ R+ die Ungleichung
1 − ξ T Hxx t, x, p(t) ξ ≥ λ(t)kξk2 2 auf der Menge {(x, ξ) | x ∈ Vγ (t), ξ ∈ Rn } gilt, dann erf¨ ullt unter den Voraussetzungen des Theorems 3.19 die Hamilton-Funktion die Bedingung (3.31).

Beweis Nur zu b): Es sei x ∈ Rn mit kx − x∗ (t)k ≤ γ. Dann existiert nach dem Satz von Taylor ein x0 , das dem offenen Segment ]x, x∗ (t)[ angeh¨ort, mit

H t, x∗ (t), p(t) − H t, x, p(t)
 1



 = − Hx t, x∗ (t), p(t) , x − x∗ (t) − x − x∗ (t), Hxx t, x0 , p(t) x − x∗ (t) 2


T 1 = hp(t), ˙ x − x∗ (t)i − x − x∗ (t) Hxx t, x0 , p(t) x − x∗ (t) . 2 Damit folgt offensichtlich die Behauptung.



Beispiel 3.22. Wir betrachten die Aufgabe im Beispiel 3.9: Z ∞

1 J x(·), u(·) = e−2t x2 (t) + u2 (t) dt → inf, x(t) ˙ = 2x(t) + u(t), 2 0

x(0) = 2,

u(t) ∈ R.

F¨ ur ν(t) = e−at mit 0 < a < 4 liefert das Maximumprinzip mit λ0 = 1 das Tripel x∗ (t) = 2e(1−

√ 2)t

,

u∗ (t) = −2(1 +

√

2)e(1−

√ 2)t

,

p(t) = u∗ (t)e−2t .


Offenbar gilt x∗ (·), u∗ (·), p(·) ∈ XLip × L∞ (R+ , U ) × W21 (R+ , Rn ; ν −1 ). Bilden wir die Hamilton-Funktion dieser Aufgabe mit p(t) = u∗ (t)e−2t , so ist H bzgl. x zweimal stetig differenzierbar und es gilt f¨ ur alle x, ξ ∈ R:
1 1 − ξ T Hxx t, x, p(t) ξ = e−2t kξk2 . 2 2


Daher ist x∗ (·), u∗ (·) ein strenges starkes lokales Minimum der Aufgabe.



Bisher haben wir in den Beispielen keinen Gebrauch von der Meßbarkeit der Abbildungen bzgl. der Variable t in der Voraussetzung (A1 ) gemacht. Im folgenden Spielproblem ist das unvermeidbar. Beispiel 3.23. Wir betrachten nach [14] das Differentialspiel Z ∞

(i = 1, 2), e−̺t px(t) − ci ui (t) dt → sup, J˜i x(·), u1 (·), u2 (·) = 0
x(t) ˙ = x(t) α − r ln x(t) − u1 (t)x(t) − u2 (t)x(t), x(0) = x0 > 0, 1 . ui ≥ 0, α, ci , p, r, ̺ > 0, α> c1 + c2

Optimale Steuerung mit unendlichem Zeithorizont

Die Grundaufgabe 39

¨ Okonomische Interpretation: Die beiden Produzenten, die sich in der Spielsituation befinden, k¨onnen uneingeschr¨ ankt auf die erneuerbare Ressource x = x(t) (“Fischpopulation”) zugreifen. Jeder Spieler ist bestrebt seinen eigenen Gewinn aus dem Verkauf zum Preis p (vermindert um die Grenzkosten ci pro Einheit) zu maximieren. Ebenso wie in [14] sei der Preis p nicht konstant, sondern umgekehrt proportional zum Angebot: 1 . u1 x + u2 x Dann f¨ uhrt die Transformation z = ln x zu dem Spielproblem   Z ∞
1 (i = 1, 2), − ci ui (t) dt → sup, e−̺t Ji z(·), u1 (·), u2 (·) = u1 (t) + u2 (t) 0 z(t) ˙ = −rz(t) + α − u1 (t) − u2 (t), z(0) = ln x0 > 0, ui ≥ 0.
Ein zul¨assiger Steuerungsprozess z ∗ (·), u∗1 (·), u∗2 (·) ist ein Nash-Gleichgewicht dieses Spiels, falls

J1 z ∗ (·), u∗1 (·), u∗2 (·) ≥ J1 z(·), u1 (·), u∗2 (·) ,

J2 z ∗ (·), u∗1 (·), u∗2 (·) ≥ J2 z(·), u∗1 (·), u2 (·)

f¨ ur alle anderen zul¨ assigen Steuerungsprozesse z(·), u1 (·), u∗2 (·) und z(·), u∗1 (·), u2 (·) gilt. Halten wir die optimale Strategie des Gegenspielers fest, dann ergeben sich folgende miteinander gekoppelte Steuerungsprobleme mit unendlichem Zeithorizont:   Z ∞
1 ∗ −̺t Ji z(·), ui (·), uj (·) = e (i 6= j, i, j ∈ {1, 2}), − ci ui (t) dt → sup, ui (t) + u∗j (t) 0 p = p(u1 x + u2 x) =

z(t) ˙ = −rz(t) + α − ui (t) − u∗j (t),

z(0) = ln x0 > 0,

ui ≥ 0.

Die zul¨assigen Steuerungen geh¨ oren dem Raum L∞ (R+ , U ) an. Deshalb sind die Abbildungen   1 ϕi (t, z, ui ) = −rz + α − ui − u∗j (t) − c fi (t, z, ui ) = i ui , ui + u∗j (t) nur meßbar bzgl. der Variable t. Die Pontrjagin-Funktionen lauten  
1 ∗ −̺t Hi (t, z, ui , pi , λ0 ) = pi − rz + α − ui − uj (t) + λ0 e − ci u i , ui + u∗j (t)

(i 6= j, i, j ∈ {1, 2}).

Dann liefern die adjungierte Gleichung (3.5) und die Transversalit¨atsbedingungen (3.7) p˙ i (t) = rpi (t),

pi (t) ≡ 0.

Wir erhalten damit ferner λ0 6= 0. Aus der Maximumbedingung (3.6) folgt schließlich   1 c1 1 c2 ∗ −rt ∗ α− . , u2 (t) ≡ , z∗ (t) = (z0 − c0 )e + c0 , c0 = u1 (t) ≡ (c1 + c2 )2 (c1 + c2 )2 r c1 + c2 Die Funktion z∗ (·) ist streng monoton
und nimmt nur Werte des Segments [z0 , c0 ] an. Da c0 und z0 positiv sind, ist x∗ (t) = exp z∗ (t) u ¨ber R+ wohldefiniert und x(·) geh¨ort dem gewichteten Raum W21 (R+ , Rn ; ν) mit ν(t) = e−at und 0 < a < 2̺ an.
F¨ ur den Steuerungsprozesse x∗ (·), u∗1 (·), u∗2 (·) sind f¨ ur γ <
min{c0 , x0 } die Voraussetzungen (A1 ) und (A2 ) erf¨ ullt. Ferner gelten f¨ ur x∗ (·), u∗1 (·), u∗2 (·), pi (·) alle Bedingungen in Theorem 3.19. Dabei ist die Hamilton-Funktion konkav f¨ ur alle x > 0, da die Adjungierte u ¨ber R+ identisch verschwindet. Das Nash-Gleichgewicht ist damit bestimmt. 

Optimale Steuerung mit unendlichem Zeithorizont

Die zustandsbeschr¨ankte Aufgabe 41

4. Das Maximumprinzip f¨ ur die Aufgabe mit Zustandsbeschr¨ ankungen 4.1. Die Aufgabenstellung und das Maximumprinzip Die allgemeine Beweisstrategie, die wir f¨ ur die Grundaufgabe entwickelt haben, erweitern wir auf folgende Aufgabe mit Zustandsbeschr¨ ankungen: Z ∞

ω(t)f t, x(t), u(t) dt → inf, (4.1) J x(·), u(·) = 0
x(t) ˙ = ϕ t, x(t), u(t) , x(0) = x0 , (4.2) m u(t) ∈ U ⊆ R , U 6= ∅, (4.3)
gj t, x(t) ≤ 0 f¨ ur alle t ∈ R+ , j = 1, ..., l. (4.4)

F¨ ur die Aufgabe (4.1)–(4.4) f¨ uhren wir wie im Abschnitt 3 die Mengen XLip und ALip ein. Die Trajektorien x(·) ∈ W21 (R+ , Rn ; ν) aus der Menge XLip m¨ ussen auf Vγ = {(t, x) ∈ R+ × Rn | kx − x(t)k ≤ γ}, mit gewissem γ > 0, die folgenden Voraussetzungen erf¨ ullen: (A0 ) Dichte- und Verteilungsfunktion ν(·) bzw. ω(·) gen¨ ugen den Eigenschaften (E1 )–(E7 ).

(A1 ) Die Abbildungen f (t, x, u), ϕ(t, x, u) und deren partielle Ableitungen fx (t, x, u), ϕx (t, x, u) sind meßbar in t und f¨ ur jedes feste t ∈ R+ auf Vγ × U stetig in (x, u). (A2 ) Zu jedem u(·) ∈ L∞ (R+ , U ) gibt es eine Zahl C0 > 0, die von der Umgebung Vγ und u(·) abh¨angig sein kann, mit





f (t, x, u(t)), ϕ(t, x, u(t)) ≤ C0 (1 + kxk), fx (t, x, u(t)), ϕx (t, x, u(t)) ≤ C0 auf Vγ f¨ ur fast alle t ∈ R+ .

(A3 ) Die Abbildungen gj (t, x), j = 1, ..., l, und deren partielle Ableitungen gjx (t, x) sind stetig f¨ ur alle (t, x) ∈ Vγ . Ferner existiert eine Konstante C0 > 0 mit |gj (t, x)| ≤ C0 (1 + kxk),

kgjx (t, x)k ≤ C0 ,

ν(t) · kgjx (t, x) − gjx (t, x′ )k ≤ C0 kx − x′ k

f¨ ur alle (t, x), (t, x′ ) ∈ Vγ . Bemerkung 4.1. In der Extremalaufgabe schreiben wir die Zustandsbeschr¨ankungen (4.4) um, in dem wir diese mit ν(t) multiplizieren. Aus diesem Grund reicht es zum Nachweis der stetigen Differenzierbarkeit aus (Lemma 4.9), die letzte Bedingung in (V3 ) mit ν(·) zu formulieren.  Die Zustandsbeschr¨ ankungen (4.4) besitzen u ¨ber dem unbeschr¨ankten Intervall R+ einen anderen Charakter als in den Aufgaben mit endlichem Zeithorizont. Dies liegt darin begr¨ undet, dass – im Gegensatz zum unbeschr¨ ankten Intervall – jede stetige Funktion u ¨ber einer kompakten Menge ein Maximum besitzt.

42 Die zustandsbeschr¨ ankte Aufgabe

Optimale Steuerung mit unendlichem Zeithorizont

Beispiel 4.2. Wir f¨ ugen im Beispiel 3.9 eine zus¨atzliche Zustandsbeschr¨ankung ein: Z ∞

1 J x(·), u(·) = e−2t x2 (t) + u2 (t) dt → inf, 2 0 x(t) ˙ = 2x(t) + u(t), x(0) = 2, x(t) ≥ 0, u(t) ∈ R. Die Beschr¨ ankung −x(t) ≤ 0 hat offenbar keinen Einfluss auf die globale L¨osung √ √ √ x∗ (t) = 2e(1− 2)t , u∗ (t) = −2(1 + 2)e(1− 2)t . Jedoch hat die Trajektorie x∗ (·) die Eigenschaften −x∗ (t) < 0 f¨ ur alle t ∈ R+

und

sup t∈R+


− x∗ (t) = 0.

Daher besitzt x∗ (·) in der gleichm¨ aßigen Topologie k · k∞ keine Umgebung derart, dass die nicht aktive Ungleichung −x∗ (t) ≤ 0 f¨ ur alle x(·) aus der Umgebung stets nicht aktiv ist.  Im Kontrast zu Aufgaben u ¨ber endlichem Zeithorizont muss zu einer Zustandstrajektorie x(·) keine gleichm¨aßige Umgebung existieren, auf der nicht aktive Ungleichungen stets nicht aktiv sind. Aus diesem Grund modifizieren wir den Begriff der starken lokalen Minimalstelle in der Form, dass wir die Indexmenge der aktiven Ungleichungen explizit in die Definition aufnehmen. Bez¨ uglich der nicht aktiven Ungleichungen entsteht auf diese Weise ein freies Problem ohne Restriktionen. Damit wird im Allgemeinen die Menge der Steuerungsprozesse, die in Konkurrenz zur starken lokalen Minimalstelle stehen, vergr¨ oßert.
Es sei I = I x(·) die Menge der aktiven Indizes der Funktion x(·), d. h. die Menge derjenigen Indizes j ∈ {1, ..., l}, f¨ ur die

sup gj t, x(t) = max gj t, x(t) = 0 t∈R+

t∈R+

gilt. Ersetzen wir in der Aufgabe mit Zustandsbeschr¨ankungen zu x(·) die Bedingung (4.4) durch

ur alle t ∈ R+ , j ∈ I x(·) , (4.4’) gj t, x(t) ≤ 0 f¨

so entsteht das Problem (4.1)–(4.4’) bzgl. der aktiven Ungleichungen.
Der Steuerungsprozess x(·),
u(·) ∈ W21 (R+ , Rn ; ν) × L∞ (R+ , U ) heißt zul¨assig in der Aufgabe (4.1)–(4.4), falls x(·), u(·) dem System (4.2) gen¨ ugt, x(·) die Restriktionen (4.4) erf¨ ullt und das Lebesgue-Integral in (4.1) endlich ist. Die Menge Aadm
bezeichnet die Menge der zul¨assigen Steuerungsprozesse der Aufgabe (4.1)–(4.4). Mit Aadm x0 (·) bezeichnen
wir die Menge der Paare
x(·), u(·) , die in der Aufgabe (4.1)–(4.4’) bzgl. der Indexmenge I x0 (·) zul¨assig sind.
Der zul¨assige Steuerungprozess x∗ (·), u∗ (·) ist eine starke lokale Minimalstelle in der Aufgabe (4.1)–(4.4), falls ein ε > 0 derart existiert, dass die Ungleichung

J x(·), u(·) ≥ J x∗ (·), u∗ (·)

f¨ ur alle x(·), u(·) ∈ Aadm x∗ (·) mit kx(·) − x∗ (·)k∞ < ε gilt.
Bemerkung 4.3. Gem¨ aß dieser Definition ist ein zul¨assiger Steuerungsprozeß x∗ (·), u∗ (·) der Aufgabe
(4.1)–(4.4) optimal, wenn er es in der Aufgabe (4.1)–(4.4’) bzgl. der aktiven Indizes I x∗ (·) ist. 

Optimale Steuerung mit unendlichem Zeithorizont

Die zustandsbeschr¨ankte Aufgabe 43

Wir stellen an die Trajektorie x∗ (·) die zus¨atzliche Einschr¨ankung, dass keine Zwangsbedingung bzw. algebraische Nebenbedingung u ur eine Beschr¨ankung ¨ber R+ vorliegt. Diese entsteht, wenn f¨
gj t, x∗ (t) = 0 u ¨ber R+ gilt. Eine hinreichende Bedingung, die eine Zwangsbedingung ausschließt, ist gj (0, x0 ) < 0 f¨ ur alle j = 1, ..., l. Wir formulieren die Bedingung allgemeiner:

(F) Zu jedem j ∈ I x∗ (·) gibt es ein tj ∈ R+ mit gj tj , x∗ (tj ) < 0. Bemerkung 4.4. Die Voraussetzung (F) steht im Zusammenhang mit dem Subdifferential der Supremumsfunktion: die Totalvariation des darstellenden regul¨aren Maßes µ ˜j kann verschwinden,
wenn die stetige Funktion zj (t) = gj t, x∗ (t) = 0 u ¨ber R+ ist (Lemma 4.12). Im Beweisschluss (Abschnitt 4.2.3) schreiben wir µj = λj µ ˜j , wobei λj der Lagrangesche Multiplikator im Lagrangeschen Prinzip bzgl. der j-ten Zustandsbeschr¨ankung ist. Im entarteten Fall kann µj das Nullmaß sein, obwohl f¨ ur den Lagrangeschen Multiplikator λj 6= 0 gilt. Werden demnach Zustandsbeschr¨ ankungen in Form von Zwangsbedingungen an die optimale Trajektorie gestellt, dann kann sich die pathologische Situation trivialer Multiplikatoren im Maximumprinzip ergeben.  Es bezeichne H : R × Rn × Rm × Rn × R → R wieder die Pontrjagin-Funktion H(t, x, u, p, λ0 ) = −λ0 ω(t)f (t, x, u) + hp, ϕ(t, x, u)i.
Theorem 4.5 (Pontrjaginsches Maximumprinzip). Sei x∗ (·), u∗ (·) ∈ Aadm ∩ ALip und sei (F)
erf¨ ullt. Ist x∗ (·), u∗ (·) ein starkes lokales Minimum der Aufgabe (4.1)–(4.4), dann existieren eine Zahl λ0 ≥ 0, eine Vektorfunktion p(·) : R+ → Rn und auf den Mengen
 Tj = t ∈ R+ gj t, x∗ (t) = 0 , j = 1, ..., l, konzentrierte nichtnegative regul¨are Borelsche Maße µj endlicher Totalvariation (wobei s¨amtliche Gr¨oßen nicht gleichzeitig verschwinden) derart, dass

a) die Vektorfunktion p(·) dem Raum L2 (R+ , Rn ; ν −1 ) ∩ BV (R+ , Rn ) angeh¨ort, linksseitig stetig ist und der Integralgleichung p(t) =

Z

∞ t

l X
Hx s, x∗ (s), u∗ (s), p(s), λ0 ds − j=1

Z

∞

t


ν(s)gjx s, x∗ (s) dµj (s)

(4.5)

gen¨ ugt und die folgende Transversalit¨atsbedingung erf¨ ullt: lim kp(t)k2 ν −1 (t) = 0;

(4.6)

t→∞

b) f¨ ur fast alle t ∈ R+ die Maximumbedingung gilt:

H t, x∗ (t), u∗ (t), p(t), λ0 = max H t, x∗ (t), u, p(t), λ0 . u∈U

(4.7)

Lemma 4.6. Unter den Voraussetzungen und Bezeichnungen von Theorem 4.5 sind die folgenden “nat¨ urlichen” Transversalit¨atsbedingungen erf¨ ullt: hp(t), x(t)i = 0

∀ x(·) ∈ W21 (R+ , Rn ; ν),

lim kp(t)k = 0.

t→∞

(4.8)

44 Die zustandsbeschr¨ ankte Aufgabe

Optimale Steuerung mit unendlichem Zeithorizont

Beweis Nach Theorem 4.5 gilt kp(t)k2 ν −1 (t) = 0 f¨ ur t → ∞. Dies hat unmittelbar kp(t)k = 0 zur Folge, denn ν(t) → 0 f¨ ur t → ∞. Ferner gilt hp(t), x(t)i 2 ≤ kp(t)k2 ν −1 (t) · kx(t)k2 ν(t). Nach (4.6), Lemma B.1 und Lemma B.2 verschwinden beide Faktoren im Unendlichen.



Lemma 4.7. Es sei der Grenzwert lim ν −1 (t)ω 2 (t) = 0 erf¨ ullt. Dann gilt: t→∞


lim H t, x∗ (t), u∗ (t), p(t), λ0 = 0.

t→∞

(4.9)

Beweis Mit Verweis auf die Voraussetzungen (A0 ), (A2 ) und auf die Transversalit¨atsbedingung (4.6) folgt die Behauptung ebenso wie im Lemma 3.5.  Beispiel 4.8 (Abbau einer nicht erneuerbaren Ressource). Wir betrachten die Aufgabe Z ∞ 

e−̺t pf u(t) − ry(t) − qu(t) dt → sup, J x(·), y(·), u(·) = 0
x(t) ˙ = −u(t), y(t) ˙ = cf u(t) , x(0) = x0 > 0, y(0) = y0 ≥ 0, x(t) ≥ 0,

u(t) ≥ 0,

b, c, ̺, q, r > 0.

(4.10) (4.11) (4.12)

Die Funktion f sei zweimal stetig differenzierbar, f ′ > 0, f ′ (0) < ∞, f ′′ < 0 und es sei f ′ (u) → 0 f¨ ur u → ∞. In der vorliegenden Formulierung der Aufgabe wurde im Vergleich zu [39], S. 239, die Restriktion lim inf x(t) ≥ 0 durch die Zustandsbeschr¨ankung x(t) ≥ 0 in (4.12) ersetzt. t→∞

¨ Okonomische Interpretation: x(t) bezeichnet die Menge einer nat¨ urlichen Ressource und u(t) ist die industrielle Abbaurate dieser Ressource. Auf Basis der Ressource werden G¨ uter mit der Pro
duktionsrate f u(t) hergestellt. Die Kosten der Herstellung einer Produktionseinheit ist q und die Preis einer G¨ utereinheit betr¨ agt p = 1. Bei der Herstellung der G¨ uter entstehen proportional zur Produktion Abf¨ alle, deren Gesamtmenge durch y(t) beschrieben wird. Die Kosten der Beseitigung der negativen Auswirkungen der Abfallmenge sind ry(t). Wir stellen die Optimalit¨ atsbedingungen von Theorem 4.5 mit λ0 = 1 auf: (a) Die Pontrjagin-Funktion der Aufgabe (4.10)–(4.12) lautet H(t, x, y, u, p1 , p2 , 1) = p1 (−u) + p2 cf (u) + e−̺t [f (u) − ry − qu]. (b) Die Adjungierten gen¨ ugen den Gleichungen Z ∞ r ν(s)dµ(s), p˙2 (t) = re−̺t ⇒ p2 (t) = − e−̺t + K. p1 (t) = ̺ t Das auf der Menge T = {t ∈ R+ |x∗ (t) = 0} konzentrierte regul¨are Maß µ ist nichtnegativ. Daher ist p1 (t) ≥ 0 u ¨ber R+ und monoton fallend. Ferner erhalten wir K = 0 aus der Transversalit¨ atsbedingung (4.6). (c) Die Maximumbedingung k¨ onnen wir auf folgende Aufgabe reduzieren h i max − p1 (t)u + cp2 (t)f (u) + e−̺t [f (u) − qu] ; u≥0

Optimale Steuerung mit unendlichem Zeithorizont

Die zustandsbeschr¨ankte Aufgabe 45

einsetzen der Darstellung f¨ ur p2 (t) liefert weiterhin max u≥0

 ̺ − rc ̺

f (u)e−̺t −u p1 (t)+qe−̺t





 ̺ − rc = max df (u)e−̺t −u p1 (t)+qe−̺t , d = . u≥0 ̺

Die Reduktion der Maximumbedingung f¨ uhrt f¨ ur festes t zu der Funktion
g(u) = df (u)e−̺t − u p1 (t) + qe−̺t .

Diese Funktion ist zweimal stetig differenzierbar und es gilt
g ′ (u) = df ′ (u) − q e−̺t − p1 (t), g ′′ (u) = df ′′ (u)e−̺t .

Daher ist g streng konkav und besitzt auf der Menge U = {u ≥ 0} ein Maximum, da f ′ (u) > 0 und f ′ (u) → 0 f¨ ur u → ∞ gelten. Wir diskutieren drei F¨alle: (A) df ′ (0) ≤ q: In diesem Fall ist g ′ (0) ≤ 0 und man erh¨alt u∗ (t) ≡ 0,

x∗ (t) ≡ x0 ,

y∗ (t) = y0 + cf (0)t,

p1 (t) ≡ 0,

r p2 (t) = − e−̺t . ̺

Da die Zustandsbeschr¨ ankung nicht aktiv wird, gelten die Optimalit¨atsbedingungen aus Theorem 3.3, die f¨ ur 0 < a < 2̺ offenbar erf¨ ullt sind.
(B) df ′ (0) > q und p1 (0) = 0: Aus g ′ (u) = df ′ (u) − q e−̺t = 0 erhalten wir die optimale Strategie u∗ (t) = u0 > 0 f¨ ur alle t ∈ R+ . Also gilt x∗ (t) = x0 − u0 t auf R+ , was der Zustandsbeschr¨ ankung x∗ (t) ≥ 0 widerspricht. In diesem Fall erhalten wir, dass keine L¨osung existiert. ¨ (C) df ′ (0) > q und p1 (0) = p1 > 0: Aus Gr¨ unden eines besseren Uberblickes in der Argumentation und der eindeutigen Bestimmung der Adjungierten erweitern wir mit einem gewissen ε > 0 den Steuerbereich formal zu (−ε, ∞). Die Funktion f sei auf diesen Bereich mit den gleichen analytischen Eigenschaften wie oben beschrieben fortgesetzt. Wegen p1 > 0 wird die Ressource vollst¨andig abgebaut. Andernfalls w¨are p1 (t) = p1 > 0 u ¨ber R+ , was (4.6) widerspricht. Da die Ressource vollst¨andig abgebaut wird, gibt es ein t′ > 0 mit x∗ (t) > 0 f¨ ur t ∈ [0, t′ ) und x∗ (t) = 0 f¨ ur t ≥ t′ . Demnach erhalten wir unmittelbar ′ ′ u∗ (t) = 0 und y∗ (t) = y∗ (t ) f¨ ur t ≥ t . Der Zeitpunkt t′ ist eindeutig bestimmt, da in der Bedingung
df ′ (u) − q e−̺t − p1 (0) = 0 die Abbildung u → f ′ (u) f¨ ur alle t mit x∗ (t) > 0 streng monoton ist. Auf der Menge T = {t ∈ R+ |x∗ (t) = 0} ist p1 (·) monoton fallend. Ferner erhalten wir die Abbaurate aus der Bedingung (vgl. die Funktion g)
1 f ′ u(t) = (q + p1 (t)e̺t ). d

W¨ urde demnach die Adjungierte p1 (·) auf der Menge T eine Unstetigkeitstelle besitzen, dann folgt aus der Monotonie von p1 (·), dass die Abbaurate sich wieder sprunghaft vergr¨oßert. Diese Steuerung f¨ uhrt zu einem erneuten Abbau der Ressource, obwohl diese bereits vollst¨andig

46 Die zustandsbeschr¨ ankte Aufgabe

Optimale Steuerung mit unendlichem Zeithorizont

aufgebraucht ist. Daher ist die Adjungierte stetig. Nach Erweiterung des Steuerbereiches gilt
p1 (t) = df ′ (0) − q e−̺t .

Abschließend sind mit ν(t) = e−at und 0 < a < 2̺ alle Bedingungen in Theorem 4.5, insbesondere


2 p1 (·), p2 (·) ∈ L2 (R+ , R; ν −1 ), lim p1 (t), p2 (t) ν −1 (t) = 0, t→∞

erf¨ ullt.



4.2. Beweis des Maximumprinzips 4.2.1. Eigenschaften der Zustandsbeschr¨ ankungen Ebenso wie im Abschnitt 3.3.1 wollen wir die Betrachtungen nicht auf x∗ (·) konzentrieren, sondern im Hinblick auf die allgemeine Fassung der Voraussetzungen (A1 )–(A3 ) die Eigenschaften der Zustandsbeschr¨ ankungen bzgl. der Menge XLip untersuchen. Sei x0 (·) ∈ XLip ∩ C(R+ , Rn ). Wir betrachten auf C0 (R+ , Rn ) × L∞ (R+ , U ) die Abbildungen Z ∞


J˜ ξ(·), u(·) = ω(t)f t, x0 (t) + ξ(t), u(t) dt, H ξ(·) = ξ(0), 0   Z t



F ξ(·), u(·) (t) = ν(t) · x0 (t) + ξ(t) − x0 (0) + ξ(0) − ϕ s, x0 (s) + ξ(s), u(s) ds , 0 

Gj ξ(·) = sup ν(t) · gj t, x0 (t) + ξ(t) , j = 1, ..., l. t∈R+

˜ F und H wurden bereits im Abschnitt 3.3.1 hinl¨anglich untersucht. Es bleibt Die Abbildungen J, die Zustandsbeschr¨ ankungen Gj zu diskutieren. Dazu bedarf es grundlegenden Elementen der konvexen Analysis und der Subdifferentialrechnung, sowie der Berechnung der Subdifferentiale der Abbildungen Gj . F¨ ur ξ(·) ∈ C0 (R+ , Rn ) bzw. z(·) ∈ C0 (R+ , R) seien im Folgenden

γj ξ(·) (t) = ν(t)gj t, x0 (t) + ξ(t) , t ∈ R+ , j = 1, ..., l,


ψ z(·) = sup z(t). t∈R+


Lemma 4.9. Die Abbildungen ξ(·) → γj ξ(·) bilden den Raum C0 (R+ , Rn ) in C0 (R+ , R) ab. Weiterhin sind diese Abbildungen in ξ0 (·), ξ0 (t) ≡ 0, stetig differenzierbar und es gilt



 ′ γj ξ0 (·) ξ(·) (t) = ν(t) gjx t, x0 (t) , ξ(t) , t ∈ R+ , j = 1, ..., l. Beweis Wegen ν(·)x0 (·) ∈ W11 (R+ , Rn ), folgt die erste Behauptung unmittelbar aus (A3 ):
γj ξ(·) (t) ≤ C0 (1 + kx0 (t)k + kξ(·)k∞ )ν(t) → 0 f¨ ur t → ∞.

F¨ ur t ∈ R+ , kξ(·)k∞ = 1 und 0 < λ < γ gilt

  Z 1




γj λξ(·) − γj ξ0 (·) ν(t) gjx t, x0 (t) + sλξ(t) − gjx t, x0 (t) , ξ(t) ds. − γj′ ξ0 (·) ξ(·) (t) = λ 0

Optimale Steuerung mit unendlichem Zeithorizont

Die zustandsbeschr¨ankte Aufgabe 47

Unter Verwendung der Voraussetzungen (A3 ) an gjx folgt



Z 1

γj λξ(·) − γj ξ0 (·)


′

− γj ξ0 (·) ξ(·) ≤ sup C0 kλξ(t)kds · kξ(·)k∞ = λC0 ,

λ t∈R+ 0 ∞

d. h. der Grenzwert λ → 0 + 0 konvergiert gleichm¨aßig bzgl. kξ(·)k∞ = 1.



Lemma 4.10. Die Funktionen Gj , j = 1, ..., l, sind im Punkt ξ0 (·) regul¨ar im Sinne der Konvexen Analysis, die klassischen Richtungsableitungen konvergieren bzgl. jeder Richtung ξ(·) gleichm¨aßig,

Gj ξ0 (·) + λz(·) − Gj ξ0 (·)
′ − Gj ξ0 (·); ξ(·) ≤ ε λ f¨ ur alle kz(·) − ξ(·)k∞ ≤ δ und alle 0 < λ ≤ λ0 , und es gelten


 ∗ ∂Gj ξ0 (·) = γj′ ξ0 (·) ∂ψ γj ξ0 (·) ,

j = 1, ..., l.

Beweis Die Abbildung
ψ ist auf C0 (R+ , R) offenbar homogen, konvex und stetig. Da die Abbildungen ξ(·) → γj ξ(·) f¨ ur alle j = 1, ..., l nach Lemma 4.9 stetig differenzierbar sind, folgen die weiteren Behauptungen aus Lemma C.1 und der Kettenregel C.3. 
Lemma 4.11. Das Subdifferential der Funktion ψ z(·) besteht auf C0 (R+ , R) aus denjenigen stetigen linearen Funktionalen x∗ ∈ C0∗ (R+ , R), die sich mittels einem auf R+ regul¨aren nichtnegativen Borelschen Maß µ wie folgt darstellen lassen: Z ∞ hx∗ , z(·)i = z(t)dµ(t). 0

F¨ ur das Maß µ ergeben sich ferner die F¨alle: a) Ist z(·) = 0, so besitzt das Maß µ eine Totalvariation kµk ≤ 1. b) Ist z(·) 6= 0 und besitzt diese Funktion kein Maximum ¨ uber R+ , so ist kµk = 0. c) Ist z(·) 6= 0 und besitzt diese Funktion
ein Maximum u ¨ber R+ , so ist kµk = 1 und µ ist auf der Menge T = τ ∈ R+ z(τ ) = ψ z(·) konzentriert.

Dabei besitzt z(·) ∈ C0 (R+ , R) genau dann kein Maximum ¨ uber R+ , wenn z(t) < 0 f¨ ur alle t ist.

Beweis Die Darstellung des stetigen linearen Funktionals folgt aus [37], S. 130. a) Das Subdifferential ∂ψ(0) besteht nach Definition aus denjenigen signierten regul¨aren Borelschen Maßen µ auf der Borelschen σ-Algebra u ¨ber R+ , die der Bedingung (Anhang C) Z ∞ ζ(t) dµ(t) sup ζ(t) ≥ t∈R+

0

f¨ ur alle ζ(·) ∈ C0 (R+ , R) gen¨ ugen. Damit ist das Maß µ nichtnegativ, den f¨ ur −ζ(t) gilt Z ∞
ζ(t) dµ(t) ≥ − sup − ζ(t) = inf ζ(t). 0

t∈R+

t∈R+

48 Die zustandsbeschr¨ ankte Aufgabe

Optimale Steuerung mit unendlichem Zeithorizont

Ist daher ζ(t) ≥ 0 f¨ ur alle t ∈ R+ , so ist auch

Z

∞

0

ζ(t) dµ(t) ≥ 0. Im Gegensatz zur Berechnung

des Subdifferentials f¨ ur stetige Funktionen u ¨ber einem kompakten Intervall liefert Z ∞ ζ(t) dµ(t) ≥ inf ζ(t) sup ζ(t) ≥ t∈R+

t∈R+

0

lediglich kµk ≤ 1, da sup ζ(t) = inf ζ(t) im Raum C0 (R+ , R) nur f¨ ur ζ(·) = 0 gilt. Umgekehrt gilt, wenn µ ≥ 0 und kµk ≤ 1, die Ungleichung Z ∞ Z ∞ Z ∞ ζ(t) dµ(t) dµ(t) = sup ζ(t) dµ(t) ≥ sup ζ(t) ≥ sup ζ(t) · t∈R+

t∈R+

0

0

t∈R+

0

f¨ ur alle ζ(·) ∈ C0 (R+ , R). Damit ist das Subdifferential der Funktion ψ in z(·) = 0 berechnet. b) Verwenden wir f¨ ur die homogene konvexe Funktion ψ in z(·) 6= 0 die Darstellung (Anhang C)

∂ψ z(·) = x∗ ∈ ∂ψ(0) hx∗ , z(·)i = ψ z(·) , so erhalten wir f¨ ur negative z(·) ∈ C0 (R+ , R), d. h. z(t) < 0 f¨ ur alle t, die Relation Z z(t) dµ(t) ⇔ kµk = 0. 0 = sup z(t) = t∈R+

R+


c) Wir verwenden wieder ur z(·) 6= 0. Nach Teil a) gilt kµk ≤ 1. Es
die Darstellung von ∂ψ z(·) f¨ bezeichne M = ψ z(·) , wobei nach Voraussetzung das Maximum angenommen wird. Angenommen, es ist µ(R+ \ T ) > 0. Dann folgt Z Z Z Z z(t) dµ(t). z(t) dµ(t) = M dµ(t) + M dµ(t) > sup z(t) ≥ t∈R+

T

R+

R+ \T

R+

Zun¨achst gilt in der ersten Relation genau dann Gleichheit, wenn kµk = 1 ist. Die
weiteren Relationen zeigen, dass µ auf T konzentriert sein muss. Umgekehrt ist x∗ ∈ ∂ψ z(·) , falls sich x∗ mittels einem nichtnegativen regul¨ aren Borelschen Maß µ mit kµk = 1 darstellen l¨asst.  Aus Lemma 4.10 und Lemma 4.11 erhalten wir Lemma 4.12. Das Subdifferential der Funktion Gj , j = 1, ..., l, besteht im Punkt ξ0 (·) aus denjenigen stetigen linearen Funktionalen x∗ ∈ C0∗ (R+ , R), die sich wie folgt darstellen lassen: Z ∞


∗ hx , ξ(·)i = ν(t) gjx t, x0 (t) , ξ(t) dµj (t). 0

F¨ ur das Maß µj ergeben sich ferner die F¨alle:
a) Ist zj (·) = γj ξ0 (·) = 0, so besitzt das Maß µj eine Totalvariation kµj k ≤ 1.
b) Ist zj (·) = γj ξ0 (·) 6= 0 und besitzt die Funktion kein Maximum ¨ uber R+ , so ist kµj k = 0.
ein Maximum c) Ist zj (·) = γj ξ0 (·) 6= 0 und ¨ ber R+ , so ist kµj k = 1 und
u
 besitzt die Funktion µj ist auf der Menge Tj = τ ∈ R+ γj ξ0 (·) (τ ) = Gj ξ0 (·) konzentriert.

Optimale Steuerung mit unendlichem Zeithorizont

Die zustandsbeschr¨ankte Aufgabe 49

4.2.2. Das Lagrangesche Prinzip Auf C0 (R+ , Rn ) × L∞ (R+ , U ) × R × C0∗ (R+ , Rn ) × Rl × Rn definieren wir die Lagrange-Funktion
L ξ(·), u(·), λ0 , y ∗ , λ1 , ..., λl , l0 l





 X λj Gj ξ(·) + l0T H ξ(·) . = λ0 J˜ ξ(·), u(·) + y ∗ , F ξ(·), u(·) + j=1


Theorem 4.13
(Extremalprinzip). Sei x∗ (·), u∗ (·) ∈ ALip ∩ Aadm und sei (F) erf¨ ullt. Ist x∗ (·), u∗ (·) ein starkes lokales Minimum der Aufgabe (4.1)–(4.4), dann existieren nicht gleichzeitig verschwindende Lagrangesche Multiplikatoren λ0
≥ 0, ..., λl ≥ 0, y ∗ ∈ C0∗ (R+ , Rn ) und l0 ∈ Rn derart, dass folgende Bedingungen in ξ0 (·), u∗ (·) , ξ0 (t) ≡ 0, gelten: a) Die Lagrange-Funktion besitzt in ξ0 (·) bzgl. ξ(·) einen station¨aren Punkt, d. h.
0 ∈ ∂x L ξ0 (·), u∗ (·), λ0 , y ∗ , λ1 , ..., λl , l0 .

(4.13)

b) Die Lagrange-Funktion nimmt in u∗ (·) bzgl. u(·) ihr Minimum an, d. h.

min L ξ0 (·), u(·), λ0 , y ∗ , λ1 , ..., λl , l0 . (4.14) L ξ0 (·), u∗ (·), λ0 , y ∗ , λ1 , ..., λl , l0 = u(·)∈L∞ (R+ ,U)

c) Die Lagrangeschen Multiplikatoren der nicht aktiven Ungleichungen verschwinden, d. h.
λj = 0 f¨ ur alle j 6∈ I x∗ (·) . (4.15)

Bemerkung 4.14. Im Abschnitt 4.1 wurde auf die Unterschiede bzgl. der Zustandsbeschr¨ankungen u ¨ber endlichem bzw. unendlichem Zeitintervall hingewiesen. Das spiegelt sich in der komplement¨aren Schlupfbedingung (4.15) wider. Diese Bedingung ist in einer “nicht u ¨blichen” Weise
formuliert, da f¨ ur die Zustandsbeschr¨ ankungen Gj ξ(·) als Abbildung in den Raum C0 stets 

Gj ξ(·) = sup ν(t)gj t, x(t) = 0 t∈R+

f¨ ur zul¨assige Trajektorien x(·) folgt.



Beweis Die Gliederung des Beweises stimmt mit der im Beweis des Extremalprinzips f¨ ur die Grundaufgabe u ¨berein. Wir verwenden die bereits erzielten Resultate (die Schritte 2 und 3 k¨onnen direkt aus Abschnitt 3.3.2 u ugen die Argumentation bzgl. der Zustands¨bernommen werden) und f¨ beschr¨ankungen an den entsprechenden Stellen hinzu. Gem¨aß der Definition einer starken lokalen Minimalstelle der Aufgabe (4.1)–(4.4) behandeln wir das Problem bzgl. der nicht aktiven Ungleichungen
als eine freie Aufgabe. Entsprechend
reicht es aus sich auf die Menge der aktiven Indizes I x∗ (·) zu beschr¨anken. O. B. d. A. sei I x∗ (·) = {1, ..., l′ }.

Schritt 1: Die Menge C der Variationen.
′ Wir betrachten die Menge C derjenigen µ0 , y(·), µ1 , ..., µl′ , v ∈ R × C0 (R+ , Rn ) × Rl × Rn , zu denen es ein ξ(·) ∈ C0 (R+ , Rn ) und ein u(·) ∈ L∞ (R+ , U ) gibt mit


µ0 > J˜x ξ0 (·), u∗ (·) ξ(·) + J˜ ξ0 (·), u(·) − J˜ ξ0 (·), u∗ (·) ,



y(·) = Fx ξ0 (·), u∗ (·) ξ(·) + F ξ0 (·), u(·) − F ξ0 (·), u∗ (·) , v = H ′ ξ0 (·) ξ(·)
µj > G′j ξ0 (·); ξ(·) , j = 1, ..., l′ .

50 Die zustandsbeschr¨ ankte Aufgabe

Optimale Steuerung mit unendlichem Zeithorizont


Setzen wir λj = 0 f¨ ur j 6∈ I x∗ (·) , dann folgt die Existenz der nichttrivialen Lagrangeschen Multiplikatoren und die G¨ ultigkeit des Lagrangeschen Prinzips in Theorem 4.13 aus der Bedingung 0 6∈ conv C (vgl. [24], S. 203). Angenommen, es ist 0 ∈ conv C . Dann existieren nach Definition der konvexen H¨ ulle c > 0, ξ(·) ∈ C0 (R+ , Rn ), uk (·) ∈ L∞ (R+ , U ), k = 1, ..., k0 , und αk > 0, α1 + ... + αk0 = 1, mit 0 >

k0 h X

i
αk J˜ ξ0 (·), uk (·) − J˜ ξ0 (·), u∗ (·) , −c ≥ J˜x ξ0 (·), u∗ (·) ξ(·) + k=1

0 = 0 >


Fx ξ0 (·), u∗ (·) ξ(·) +

−c ≥

G′j


ξ0 (·); ξ(·) ,

k0 X

k=1

h

i αk F ξ0 (·), uk (·) − F ξ0 (·), u∗ (·) ,

j = 1, ..., l′ .


0 = H ′ ξ0 (·) ξ(·),

Schritte 2 und Schritte 3 stimmen mit denen im Beweis von Satz 3.13 im Abschnitt 3.3.2 u ¨berein. Schritt 4: Der Kontraktionsparameter δ. Nach Lemma 3.10 ist das Zielfunktional J˜ stetig differenzierbar und nach Lemma 4.10 sind die Funktionen Gj gleichm¨ aßig differenzierbar. Daher gibt es ein σ > 0 mit  


J˜ ξ0 (·) + λξ(·), u∗ (·) ≤ J˜ ξ0 (·), u∗ (·) + λ J˜x ξ0 (·), u∗ (·) ξ(·) + c ,  


Gj ξ0 (·) + λξ(·) ≤ Gj ξ0 (·) + λ G′j ξ0 (·); ξ(·) + c , j = 1, ..., l′ ,

f¨ ur alle 0 ≤ λ ≤ σ, kξ(·)k∞ ≤ σ. Im Weiteren sei der Kontraktionsparameter δ > 0 so gew¨ahlt, dass neben δ · C(L) < 1/2 noch die Relationen (vgl. [24], S. 205 und Schritt 4 im Abschnitt 3.3.2)   k0 X αk < min{α1 , ..., αk0 , σ}, δK kξ(·)k∞ + k=1

  k0 X (δ + Kδ ) kξ(·)k∞ + αk < σ, 2

k=1

  k0 X

αk · max J˜ ξ0 (·), uk (·) − J˜ ξ0 (·), u∗ (·) < σ δK kξ(·)k∞ + k=1

1≤k≤k0

f¨ ur kξ(·)k∞ ≤ σ gelten.

Schritt 5: Die Existenz zul¨ assiger Richtungen und 0 6∈ conv C .
Aus (3.15) und (3.16) folgt, dass auf einer Umgebung des Punktes ξ0 (·), 0 die Voraussetzungen des verallgemeinerten Satzes von Ljusternik erf¨ ullt sind ([24], S. 204). Daher gibt es eine Zahl ε0 > 0
und Paare ξε (·), uε (·) ∈ C0 (R+ , Rn ) × L∞ (R+ , U ) mit kξε (·)k∞ → 0 f¨ ur ε → 0 und ([24], S. 205) )



J˜ ξε (·), uε (·) ≤ J˜ ξ0 (·), u∗ (·) − εc + o(ε), F ξε (·), uε (·) = 0, H ξε (·) = 0,

(4.16) Gj ξε (·) ≤ Gj ξ0 (·) − εc + o(ε), j = 1, ..., l′

f¨ ur alle ε ∈ [0, ε0 ]. F¨ ur alle hinreichend kleine ε > 0 besitzt xε (·) = x∗ (·)+ξε (·) eine verallgemeinerte Ableitung und geh¨ ort
dem Raum W21 (R+ , Rn ; ν) an. Also sind f¨ ur alle hinreichend kleine ε > 0 die Prozesse xε (·), uε (·) zul¨ assig in der Aufgabe (4.1)–(4.4’). Da nun kxε (·) − x∗ (·)k∞ → 0 f¨ ur ε → 0
gilt, zeigt die Relation (4.16), dass x∗ (·), u∗ (·) im Widerspruch zur Voraussetzung von Theorem 4.13 kein starkes lokales Minimum der Aufgabe (4.1)–(4.4’) sein k¨onnte. Damit ist Theorem 4.13 bewiesen. 

Optimale Steuerung mit unendlichem Zeithorizont

Die zustandsbeschr¨ankte Aufgabe 51

4.2.3. Beweisschluss Aufgrund (4.13) ist folgende Variationsgleichung f¨ ur alle ξ(·) ∈ C0 (R+ , Rn ) erf¨ ullt: Z ∞


 0 = λ0 · ω(t) fx t, x∗ (t), u∗ (t) , ξ(t) dt +

0 ∞

Z

0

+

T  Z t
ν(t) ξ(t) − ξ(0) − ϕx s, x∗ (s), u∗ (s) ξ(s) ds dµ(t) 0

l X

λj

Z

∞

0

j=1


 ν(t) gjx t, x∗ (t) , ξ(t) d˜ µj (t) + l0T ξ(0).

(4.17)

Dabei ist µ ein regul¨ ares Borelsches Vektormaß ([37], S. 130). Die Lagrangeschen Multiplikatoren λj verschwinden, falls die entsprechende Zustandsbeschr¨ankung nicht aktiv ist. Andernfalls besitzen die nichtnegativen regul¨ aren Borelschen Maße µ ˜j die Totalvariation k˜ µj k = 1 und sind auf den Mengen
 Tj = t ∈ R+ gj t, x∗ (t) = 0 konzentriert. Wir schreiben µj = λj µ ˜j . Dann
k¨onnen unter den Maßen µj nur diejenigen von Null verschieden sein, die zur Indexmenge I x∗ (·) der aktiven Ungleichungen geh¨oren. Daher kann man o. B. d. A. annehmen, alle Maße µj seien auf den Mengen Tj konzentriert. In der Gleichung (4.17) ist jeder Integralterm absolut integrierbar. Wenden wir den Satz von Fubini an und ¨andern die Integrationsreihenfolge im zweiten Summanden in (4.17), so bringen wir diese Gleichung in die Form 0 =

T Z
∞
ν(s)dµ(s) ξ(t)dt λ0 ω(t)fx t, x∗ (t), u∗ (t) − ϕTx t, x∗ (t), u∗ (t) t 0   Z ∞ Z ∞ T T T ν(t)[ξ(t)] dµ(t) + l0 ξ(0) − ν(t)[ξ(0)] dµ(t) + Z

∞



0

+

0

l Z X j=1

∞

0




ν(t) gjx t, x∗ (t) , ξ(t) dµj (t).

(4.18)

Da s¨amtliche Integralterme absolut integrierbar sind, definiert die rechte Seite in (3.21) ein stetiges linearesZ Funktional auf C0 (R+ , Rn ). Wenden wir den Darstellungssatz von Riesz an und setzen ∞

p(t) =

ν(s) dµ(s), so erhalten wir p(0) = l0 und die Integralgleichung

t

p(t)

Z

=

∞ t

−



 T ϕx s, x∗ (s), u∗ (s) p(s) − λ0 ω(s)fx s, x∗ (s), u∗ (s) ds

l Z X j=1

t

∞


ν(s)gjx s, x∗ (s) dµj (s).

Aus der Setzung folgt, dass p(·) linksseitig stetig, von beschr¨ankter Variation ist und Z ∞ DZ ∞ E 2 −1 kp(t)k ν (t) = ν(s)dµ(s), ν(s)dµ(s) · ν −1 (t) ≤ kµk2 · ν 2 (t)ν −1 (t) ≤ kµk2 ν(t) t

t

52 Die zustandsbeschr¨ ankte Aufgabe

Optimale Steuerung mit unendlichem Zeithorizont

gilt. Zusammen folgen daher (4.5) und (4.6). Die Beziehung (4.14) ist ¨aquivalent zu Z ∞ Z ∞

min H t, x∗ (t), u∗ (t), p(t), λ0 dt ≥ H t, x∗ (t), u(t), p(t), λ0 dt. u(·)∈L∞ (R+ ,U)

0

0

Wir bemerken, dass die Funktion p(·) von beschr¨ankter Variation ist. Daher kann man p(·) als Differenz zweier monotoner Funktionen schreiben. Das hat zur Folge, dass p(·) h¨ochstens abz¨ahlbar viele Unstetigkeiten besitzt. Mit Hilfe dieser Anmerkung folgt abschließend die Maximumbedingung (4.7) via Standardtechniken f¨ ur Lebesguesche Punkte (vgl. [30]). 

4.3. Hinreichende Optimalit¨ atsbedingungen vom Arrow-Typ Bevor wir mit der Darstellung hinreichender Bedingungen beginnen, diskutieren wir die Darstellung der adjungierten Funktion p(·) in Theorem 4.5: Die Vektorfunktion p(·) ist linksseitig stetig, von beschr¨ankter Variation, geh¨ ort dem Raum L2 (R+ , Rn ; ν −1 ) an und es gilt p(t) =

Z

∞

t

l X
Hx s, x∗ (s), u∗ (s), p(s), λ0 ds − j=1

Z

∞

t


ν(s)gjx s, x∗ (s) dµj (s).

Dabei sind die nichtnegativen regul¨ aren Borelschen Maße µj jeweils auf der zugeordneten Menge
 Tj = t ∈ R+ gj t, x∗ (t) = 0 , j = 1, ..., l,

konzentriert. F¨ ur t > 0 bringen wir diese Darstellung in die Form p(t) = p(0) −

Z

0

t

l X
Hx s, x∗ (s), u∗ (s), p(s), λ0 ds + j=1

Z

t 0


ν(s)gjx s, x∗ (s) dµj (s).

Bzgl. der nichtnegativen regul¨ aren Borelschen Maße µj machen wir den Ansatz Z

0

t


ν(s)gjx s, x∗ (s) dµj (s) =

Z

0

t

X

λj (s)ν(s)gjx s, x∗ (s) d(s) + βjk ν(τjk )gjx τjk , x∗ (τjk ) τjk 0 endliche Indexmengen Ij (t) = {1, ..., K(j)} mit 0 < τj1 < τj2 < ... < τjK(j) < t,

j = 1, ..., l.

¨ Der Ubersichtlichkeit halber seien im Folgenden r(t)

=

l  X X

τjk 0 gegeben. Dann folgt mit r(t) = r(τjK(j) + 0) Z

0

t

hr(s), y(s)ids ˙

 K(j)−1  l  X

X

  r(τj1 ), y(τj1 ) − y(0) + r(τjk−1 ), y(τjk ) − y(τjk−1 ) = j=1

k=2

 + r(t), y(t) − y(τjK(j) )



 K(j)   l  X

X

 

 r(t), y(t) − = r(τjk + 0) − r(τjk ), y(τjk ) − r(τj1 ), y(0) . j=1

k=1

Mit y(0) = 0 und aufgrund der Definition (4.19) der Funktion r(·) erhalten wir die Beziehung Z

0

t

hr(s), y(s)idt ˙ =

 K(j) l  X

 X


 r(t), y(t) − βjk ν(τjk )gjx τjk , x∗ (τjk ) , y(τjk ) . j=1

(4.21)

k=1

Im Beweis von Theorem 4.15 werden wir auf diese Vorbereitungen zur¨ uckgreifen. Wir betrachten nun die Aufgabe (4.1)–(4.4) mit Zustandsbeschr¨ankungen, Z ∞

J x(·), u(·) = ω(t)f t, x(t), u(t) dt → inf, 0
x(t) ˙ = ϕ t, x(t), u(t) , x(0) = x0 , u(t) ∈ U ⊆ Rm , U 6= ∅,
gj t, x(t) ≤ 0 f¨ ur alle t ∈ R+ , j = 1, ..., l.

F¨ ur die Aufgabe (4.1)–(4.4) bezeichnen wir wieder mit

H(t, x, u, p, λ0 ) = −λ0 ω(t)f (t, x, u) + hp, ϕ(t, x, u)i,

H (t, x, p) = sup H(t, x, u, p, 1) u∈U

die Pontrjagin-Funktion H bzw. die Hamilton-Funktion H im normalen Fall. Weiterhin m¨ ussen die Trajektorien x(·) ∈ W21 (R+ , Rn ; ν) aus der Menge XLip auf Vγ = {(t, x) ∈ R+ × Rn | kx − x(t)k ≤ γ}, die folgenden Voraussetzungen erf¨ ullen:

γ > 0,

54 Die zustandsbeschr¨ ankte Aufgabe

Optimale Steuerung mit unendlichem Zeithorizont

(A0 ) Dichte- und Verteilungsfunktion ν(·) bzw. ω(·) gen¨ ugen den Eigenschaften (E1 )–(E7 ). (A1 ) Die Abbildungen f (t, x, u), ϕ(t, x, u) und deren partielle Ableitungen fx (t, x, u), ϕx (t, x, u) sind meßbar in t und f¨ ur jedes feste t ∈ R+ auf Vγ × U stetig in (x, u). (A2 ) Zu jedem u(·) ∈ L∞ (R+ , U ) gibt es eine Zahl C0 > 0, die von der Umgebung Vγ und u(·) abh¨angig sein kann, mit





f (t, x, u(t)), ϕ(t, x, u(t)) ≤ C0 (1 + kxk), fx (t, x, u(t)), ϕx (t, x, u(t)) ≤ C0 auf Vγ f¨ ur fast alle t ∈ R+ .

(A3 ) Die Abbildungen gj (t, x), j = 1, ..., l, und deren partielle Ableitungen gjx (t, x) sind stetig f¨ ur alle (t, x) ∈ Vγ . Ferner existiert eine Konstante C0 > 0 mit |gj (t, x)| ≤ C0 (1 + kxk),

kgjx (t, x)k ≤ C0 ,

ν(t) · kgjx (t, x) − gjx (t, x′ )k ≤ C0 kx − x′ k

f¨ ur alle (t, x), (t, x′ ) ∈ Vγ .
Theorem 4.15. Es sei x∗ (·), u∗ (·) zul¨assig in der Aufgabe (4.1)–(4.4). Ferner gelte:
a) Das Tripel x∗ (·), u∗ (·), p(·) ∈ XLip × L∞ (R+ , U ) × L2 (R+ , Rn ; ν −1 ) erf¨ ullt die Bedingungen (4.5)–(4.7) in Theorem 4.5 mit λ0 = 1. Dies bedeutet, dass die Maximumbedingung

H t, x∗ (t), p(t) = max H t, x∗ (t), u, p(t), 1 (4.22) u∈U

f¨ ur fast alle t ∈ R+ gilt und ferner p(·) die Transversalit¨atsbedingung lim hp(t), x(t)i = 0

t→∞

f¨ ur alle x(·) ∈ W21 (R+ , Rn ; ν)

(4.23)

erf¨ ullt. b) Die adjungierte Funktion p(·) gen¨ ugt f¨ ur t > 0 mit denen in (4.19), (4.20) definierten Funktionen r(·) ∈ L2 (R+ , Rn ; ν −1 ), q(·) ∈ W21 (R+ , Rn ; ν −1 ) der Darstellung p(t) = p(0) + q(t) + r(t).

(4.24)

n Dabei sind in (4.19), (4.20) uckweise
die Funktionen λj (·) ∈ L2 (R+ , R ; ν) nichtnegativ, st¨ uber R+ f¨ ur j = 1, ..., l. Weiterhin sind die Zahlen βjk positiv stetig und λj (t)gj t, x∗ (t) = 0 ¨ und die Unstetigkeitstellen τjk h¨aufen sich nirgends im Endlichen.
c) F¨ ur jedes t ∈ R+ sind die Funktion H t, x, p(t) konkav und die Abbildungen gj (t, x) konvex bzgl. der Variablen x auf Vγ .
Dann ist x∗ (·), u∗ (·) ein starkes lokales Minimum der Aufgabe (4.1)–(4.4).

Beweis Auf die gleiche Weise wie im Beweis von Theorem 3.19 erhalten wir

ha(t), x − x∗ (t)i ≤ H t, x∗ (t), p(t) − H t, x, p(t) f¨ ur alle x ∈ Vγ (t),

a(t) = −ϕTx t, x∗ (t), u∗ (t) p(t) + ω(t)fx t, x∗ (t), u∗ (t) .

Optimale Steuerung mit unendlichem Zeithorizont

Die zustandsbeschr¨ankte Aufgabe 55

Nun zeigt Gleichung (4.20), dass a(t) fast u ¨berall mit l X

λj (t)ν(t)gjx t, x∗ (t) ˙ − − Hx t, x∗ (t), u∗ (t), p(t), 1 = q(t)

(4.25)

j=1

u ur fast alle t ∈ R+ die Ungleichung ¨berein stimmt. Also gilt auf Vγ f¨ l E D X


λj (t)ν(t)gjx t, x∗ (t) , x − x∗ (t) ≤ H t, x∗ (t), p(t) − H t, x, p(t) . q(t) ˙ −

(4.26)

j=1


Es sei x(·), u(·) ∈ Aadm mit kx(·) − x∗ (·)k∞ ≤ γ. Wir betrachten den Defekt ∆(T ) =

Z

T

0

≥

Z

0

T



 ω(t) f t, x(t), u(t) − f t, x∗ (t), u∗ (t) dt 



 H t, x∗ (t), p(t) − H t, x(t), p(t) dt +

Z

T 0

hp(t), x(t) ˙ − x˙ ∗ (t)idt.

Bzgl. dem ersten Integranden k¨ onnen wir gem¨aß (4.26) und der Konvexit¨at der Abbildungen gj , d. h. wegen der Nichtnegativit¨ at der Funktionen λj (·) gilt −

l X j=1


λj (t)ν(t)hgjx t, x∗ (t) , x(t) − x∗ (t)i ≥ 0

(4.27)

auf R+ , die Ungleichungskette auf folgende Weise fortf¨ uhren ≥

Z

0

T

h i hq(t), ˙ x(t) − x∗ (t)i + hq(t), x(t) ˙ − x˙ ∗ (t)i + hp(t) − q(t), x(t) ˙ − x˙ ∗ (t)i dt.

Nach (4.24) gilt p(t) − q(t) = p(0) + r(t) f¨ ur t > 0. Weiterhin ist x(0) = x∗ (0) = x0 . Bei Anwendung von (4.21) mit Verweis auf die Konvexit¨at der Abbildungen gj und auf die positiven Zahlen βjk erhalten wir Z T

0

hp(t) − q(t), x(t) ˙ − x˙ ∗ (t)idt ≥ hp(0) + r(T ), x(T ) − x∗ (T )i.

Daher gilt zusammenfassend ∆(T ) ≥ hq(T ), x(T ) − x∗ (T )i + hp(0) + r(T ), x(T ) − x∗ (T )i = hp(T ), x(T ) − x∗ (T )i. An dieser Stelle merken wir wieder an, dass in den Ungleichungen s¨amtliche Ausdr¨ ucke u ¨ber R+ absolut integrierbar sind, da p(·), q(·), r(·) zu L2 (R+ , Rn ; ν −1 ) geh¨oren. Daher ist die Betrachtung des Grenzwertes T → ∞ gerechtfertigt. Wegen der Transversalit¨ atsbedingung (4.23) gilt die Beziehung lim ∆(T ) ≥ lim hp(T ), x(T ) − x∗ (T )i = 0

T →∞

T →∞


f¨ ur alle zul¨assigen x(·), u(·) mit kx(·) − x∗ (·)k∞ ≤ γ. Damit ist Theorem 4.15 bewiesen.



56 Die zustandsbeschr¨ ankte Aufgabe

Optimale Steuerung mit unendlichem Zeithorizont

Folgerung 4.16. Zus¨atzlich zu den Voraussetzungen des Theorems 4.15 nehmen wir an, dass zu jeder Trajektorie x(·) genau eine zul¨assige Steuerung u(·) geh¨ort und dass eine u ¨ber R+ positive stetige Funktion λ(·) existiert mit

H t, x∗ (t), p(t) − H t, x, p(t) − hq(t), ˙ x − x∗ (t)i ≥ λ(t)kx − x∗ (t)k2 (4.28)
auf Vγ (t) = {x ∈ Rn | (t, x) ∈ Vγ } f¨ ur fast alle t ∈ R+ . Dann ist x∗ (·), u∗ (·) ein strenges starkes lokales Minimum der Aufgabe (4.1)–(4.4). Beweis Es folgt f¨ ur hinreichend große T > 0 (vgl. Folgerung 3.20): Z T h i d lim ∆(T ) ≥ lim hq(t), x(t) − x∗ (t)i + hp(t) − q(t), x(t) ˙ − x˙ ∗ (t)i dt T →∞ T →∞ dt 0  Z + λ(t)kx(t) − x∗ (t)k2 dt [a,b]

≥

lim hp(T ), x(T ) − x∗ (T )i + δ 2 (b − a) · min λ(t) > 0.

T →∞

t∈[a,b]


Dies zeigt die strenge starke lokale Optimalit¨at des Steuerungsprozesses x∗ (·), u∗ (·) . 
Folgerung 4.17. F¨ ur jedes t ∈ R+ sei die Hamilton-Funktion H t, x, p(t) bzgl. der Variablen x zweimal stetig differenzierbar.
ullt. a) Ist Hxx t, x, p(t) u ¨ber R+ negativ semidefinit, dann ist Teil c) in Theorem 4.15 erf¨ b) Existiert ¨ uber R+ eine positive stetige Funktion λ(·) derart, dass f¨ ur fast alle t ∈ R+ die Ungleichung
1 − ξ T Hxx t, x, p(t) ξ ≥ λ(t)kξk2 2 auf der Menge {(x, ξ) | x ∈ Vγ (t), ξ ∈ Rn } gilt, dann erf¨ ullt unter den Voraussetzungen des Theorems 4.15 die Hamilton-Funktion die Bedingung (4.28).

Beweis Nur zu b): Es sei x ∈ Rn mit kx − x∗ (t)k ≤ γ. Dann existiert nach dem Satz von Taylor ein x0 , das dem offenen Segment ]x, x∗ (t)[ angeh¨ort, mit

H t, x∗ (t), p(t) − H t, x, p(t)


 1

= − Hx t, x∗ (t), p(t) , x − x∗ (t) − x − x∗ (t), Hxx t, x0 , p(t) x − x∗ (t) 2 l E 1 D X


T
(4.25) λj (t)ν(t)gjx t, x∗ (t) , x − x∗ (t) − x − x∗ (t) Hxx t, x0 , p(t) x − x∗ (t) = q(t) ˙ − 2 j=1 (4.27)

≥

hq(t), ˙ x − x∗ (t)i −




T 1 x − x∗ (t) Hxx t, x0 , p(t) x − x∗ (t) . 2

Damit folgt nach Voraussetzung (4.28).



Beispiel 4.18. Das Beispiel 4.8 u ¨ber den Abbau einer nicht erneuerbaren Ressource ist im Zielfunktional linear in y und in
der Zustandsbeschr¨ankung linear in x. Daher sind die HamiltonFunktion H t, x, y, p1 (t), p2 (t) konkav bzgl. y bzw. die Zustandsbeschr¨ankung konvex bzgl. x f¨ ur alle x, y ∈ R. Also stellen die im Beispiel 4.8 ermittelten Kandidaten tats¨achlich starke lokale Maximalstellen der Aufgabe dar. 

Optimale Steuerung mit unendlichem Zeithorizont

Weibull-Verteilungen 57

5. Aufgaben mit Verteilungsfunktionen vom Weibull-Typ 5.1. Weibull-Verteilung und Dichtefunktionen Im Abschnitt 2.2 haben wir auf der Basis der Exponentialfunktionen ω(t) = e−̺t und ν(t) = e−at die Eigenschaften (E1 )–(E7 ) festgelegt, die f¨ ur die Verteilungs- und Gewichtsfunktion ω(·) bzw. ν(·) erf¨ ullt sein m¨ ussen. In diesen Rahmen f¨ ugt sich aber nicht die Weibull-Verteilung k

ω(t) = tk−1 e−t

f¨ ur k ∈ (0, 1) ein: F¨ ur k < 1 ist das Gewicht ν(t) = e−at nicht zul¨assig, da (E7 ), d. h. ν −1 (·) ∈ L1 (R+ , R; ω 2 ) nicht gilt. Ferner folgt aus der Stetigkeit und Positivit¨at des Gewichts ν(·) aus (E7 ), dass ω 2 (·) u ¨ber [0, 1] integrierbar sein muss. Daraus erhalten wir die Bedingung 2

ω (·) ∈ L1 ([0, 1], R)

⇔

Z

1

t2(k−1) dt < ∞

0

⇔

k>

1 . 2

Zusammenfassend sind f¨ ur die Weibull-Verteilungen mit k < 1 die Dichtefunktionen ν(t) = e−at ungeeignet. Weiterhin bedeutet die Festlegung von p = 2 bei der Wahl des gewichteten SobolevRaumes Wp1 (R+ , Rn ; ν) eine zu strikte Einschr¨ankung. In einem ersten Schritt l¨ osen wir uns von p = 2 und betrachten den gewichteten Sobolev-Raum Wp1 (R+ , Rn ; ν) mit 1 < p < ∞. Deswegen sei im Folgenden stets erf¨ ullt: (E∗0 ) Duales Paar: Es sind 1 < p, q < ∞ mit

1 1 + = 1. p q

Im zweiten Schritt sind geeignete Dichtefunktionen anzugeben. Betrachten wir die Funktionen ν(t) = (1 + t)−a

f¨ ur a > 1,

dann gelten (in Verallgemeinerung zu (E7 ) im Fall p = 2) ν 1−q (·) ∈ L1 (R+ , R; ω q ) f¨ ur alle q mit 1 < q < ∞ und wir erhalten f¨ ur die Wahl von p die Bedingung ω q (·) ∈ L1 ([0, 1], R)

⇔

Z

0

1

tq(k−1) dt < ∞

⇔

p>

1 . k

Diese Forderungen ergeben sich durch die Anwendung der H¨olderschen Ungleichung auf dem Raum Wp1 (R+ , Rn ; ν) im Beweis von Lemma 5.7: Z

0

∞

kx(t)kω(t) dt ≤ kx(·)kp,ν

Z

0

∞

ν

1−q

q

(t)ω (t) dt

1/q

Im Fall 1 < p < ∞ u ¨bernimmt im Weiteren die H¨oldersche Ungleichung die Aufgaben der CauchySchwarzschen Ungleichung und kommt in allen Beweisschritten zur Anwendung.

58 Weibull-Verteilungen

Optimale Steuerung mit unendlichem Zeithorizont

Mit der Dichtefunktion ν(t) = (1 + t)−a , a > 1, und mit der Wahl von p > 1/k konnten wir einen Rahmen angeben, der f¨ ur die Weibull-Verteilung k

ω(t) = tk−1 e−t

mit k ∈ (0, 1)

geeignet erscheint. Die f¨ ur uns interessanten Eigenschaften, die diese Funktionen k

ω(t) = tk−1 e−t

ν(t) = (1 + t)−a

mit k ∈ (0, 1),

mit a > 1

besitzen, sind in den folgenden Punkten (E∗1 )–(E∗7 ) zusammengefasst: (E∗1 ) Stetigkeit und Positivit¨ at: Es sei ν(t) stetig und ν(t) > 0 f¨ ur alle t ∈ R+ . (E∗2 ) Monotonie: Es sei ν(·) monoton fallend. (E∗3 ) Absolute Stetigkeit: Es gilt ν(·) ∈ W11 (R+ , R). (E∗4 ) ν-beschr¨ ankte Ableitung: Es gibt eine Konstante K > 0 mit |ν(t)| ˙ ≤ Kν(t) f¨ ur alle t ∈ R+ . (E∗5 ) Verschwinden im Unendlichen: F¨ ur ν(·) gilt lim t · ν(t) = 0. t→∞

(E∗6 ) Integrierbarkeit: F¨ ur die Verteilungsfunktion ω(·) gilt ω(·) ∈ L1 (R+ , R). (E∗7 ) Dominanz: Es gilt ν 1−q (·) ∈ L1 (R+ , R; ω q ). Offenbar weichen nur (E∗5 ) und (E∗7 ) von den bisher verwendeten Eigenschaften (E1 )–(E7 ) ab. Wie leicht zu sehen ist, stellen diese Bedingungen Verallgemeinerungen dar: (a) Besitzt die Dichte ν(·) die Eigenschaft (E5 ), d. h. sup t∈R+

Z

0

t

ν(t)ν −1 (s) ds < ∞,

ullt sein, da ν −1 (t) → ∞ f¨ ur t → ∞. dann muss auch (E∗5 ) erf¨ −a Umgekehrt gen¨ ugt ν(t) = (1 + t) f¨ ur a > 1 der Bedingung (E∗5 ), aber nicht (E5 ). ur q = 2 beide Eigenschaften u (b) (E∗7 ) verallgemeinert offenbar (E7 ), da f¨ ¨bereinstimmen. Die Anpassungen, die wir zum Beweis des Pontrjaginschen Maximumprinzips vornehmen, sind rein technischer Natur und nicht schwierig: Im Wesentlichen geben wir eine Zusammenfassung bzw. Kopie der bisher dargestellten Ideen. Mit der Eigenschaft (E∗5 ) wird sichergestellt, dass im Beweis von Lemma 5.8 der Operator F in C0 (R+ , Rn ) abbildet und außerdem die Wahl von T > 0 im zweiten Beweisschritt der Extremalaufgabe zul¨assig ist. Ferner ersetzen wir in den Argumentationen die Cauchy-Schwarzsche Ungleichung durch die H¨oldersche Ungleichung. Allerdings tragen die Modifikationen, die durch den allgmeinen Fall 1 < p < ∞ hervorgerufen werden, nicht zur besseren Lesbarkeit der Beweismethode bei.

Optimale Steuerung mit unendlichem Zeithorizont

Weibull-Verteilungen 59

5.2. Die Aufgabenstellung und das Maximumprinzip Formal betrachten wir die bereits bekannte Aufgabe mit Zustandsbeschr¨ankungen: Z ∞

J x(·), u(·) = ω(t)f t, x(t), u(t) dt → inf, 0
x(t) ˙ = ϕ t, x(t), u(t) , x(0) = x0 , u(t) ∈ U ⊆ Rm , U 6= ∅,
ur alle t ∈ R+ , j = 1, ..., l. gj t, x(t) ≤ 0 f¨

(5.1) (5.2) (5.3) (5.4)

Im Unterschied zur Aufgabe (4.1)–(4.4) seien x(·) ∈ Wp1 (R+ , Rn ; ν) mit 1 < p < ∞ und es gelten die Eigenschaften (E∗1 )–(E∗7 ) f¨ ur die Verteilungs- und Gewichtsfunktion ω(·) bzw. ν(·). In der Aufgabe (5.1)–(5.4) geh¨ oren die Trajektorien x(·) ∈ Wp1 (R+ , Rn ; ν) der Menge XLip an, wenn sie auf Vγ = {(t, x) ∈ R+ × Rn | kx − x(t)k ≤ γ}, mit gewissem γ > 0, die folgenden Voraussetzungen erf¨ ullen: (A0 ) Dichte- und Verteilungsfunktion ν(·) bzw. ω(·) gen¨ ugen den Eigenschaften (E∗1 )–(E∗7 ). (A1 ) Die Abbildungen f (t, x, u), ϕ(t, x, u) und deren partielle Ableitungen fx (t, x, u), ϕx (t, x, u) sind meßbar in t und f¨ ur jedes feste t ∈ R+ auf Vγ × U stetig in (x, u). (A2 ) Zu jedem u(·) ∈ L∞ (R+ , U ) gibt es eine Zahl C0 > 0, die von der Umgebung Vγ und u(·) abh¨angig sein kann, mit





f (t, x, u(t)), ϕ(t, x, u(t)) ≤ C0 (1 + kxk), fx (t, x, u(t)), ϕx (t, x, u(t)) ≤ C0 auf Vγ f¨ ur fast alle t ∈ R+ .

(A3 ) Die Abbildungen gj (t, x), j = 1, ..., l, und deren partielle Ableitungen gjx (t, x) sind stetig f¨ ur alle (t, x) ∈ Vγ . Ferner existiert eine Konstante C0 > 0 mit |gj (t, x)| ≤ C0 (1 + kxk),

kgjx (t, x)k ≤ C0 ,

ν(t) · kgjx (t, x) − gjx (t, x′ )k ≤ C0 kx − x′ k

f¨ ur alle (t, x), (t, x′ ) ∈ Vγ .
Der Steuerungsprozess x(·), u(·) ∈ Wp1 (R+ , Rn ; ν) × L∞ (R+ , U ) heißt zul¨assig in der Aufga
be (5.1)–(5.4), falls x(·), u(·) dem System (5.2) gen¨ ugt, x(·) die Restriktionen (5.4) erf¨ ullt und das Lebesgue-Integral in (5.1) endlich ist. Die Menge Aadm
bezeichnet die Menge der zul¨assigen Steuerungsprozesse der Aufgabe (5.1)–(5.4). Mit Aadm x0 (·)
bezeichnen wir die Menge der Paare
x(·), u(·) , die in der Aufgabe bzgl. der Indexmenge I x0 (·) der aktiven Zustandsbeschr¨ankungen zul¨assig sind (vgl. Abschnitt 4.1).
Der zul¨assige Steuerungprozess x∗ (·), u∗ (·) ist eine starke lokale Minimalstelle in der Aufgabe (5.1)–(5.4), falls ein ε > 0 derart existiert, dass die Ungleichung

J x(·), u(·) ≥ J x∗ (·), u∗ (·)

f¨ ur alle x(·), u(·) ∈ Aadm x∗ (·) mit kx(·) − x∗ (·)k∞ < ε gilt. Wir stellen an die Trajektorie x∗ (·) wieder die folgende Einschr¨ankung:

60 Weibull-Verteilungen

Optimale Steuerung mit unendlichem Zeithorizont



(F) Zu jedem j ∈ I x∗ (·) gibt es ein tj ∈ R+ mit gj tj , x∗ (tj ) < 0.

Es bezeichne H : R × Rn × Rm × Rn × R → R die Pontrjagin-Funktion H(t, x, u, p, λ0 ) = −λ0 ω(t)f (t, x, u) + hp, ϕ(t, x, u)i.
Theorem 5.1 (Pontrjaginsches Maximumprinzip). Sei x∗ (·), u∗ (·) ∈ Aadm ∩ ALip und sei (F)
erf¨ ullt. Ist x∗ (·), u∗ (·) ein starkes lokales Minimum der Aufgabe (5.1)–(5.4), dann existieren eine Zahl λ0 ≥ 0, eine Vektorfunktion p(·) : R+ → Rn und auf den Mengen
 Tj = t ∈ R+ gj t, x∗ (t) = 0 , j = 1, ..., l, konzentrierte nichtnegative regul¨are Borelsche Maße µj endlicher Totalvariation (wobei s¨amtliche Gr¨oßen nicht gleichzeitig verschwinden) derart, dass a) die Vektorfunktion p(·) der Integralgleichung Z ∞ l Z X
p(t) = Hx s, x∗ (s), u∗ (s), p(s), λ0 ds − t

j=1

t

∞


ν(s)gjx s, x∗ (s) dµj (s)

(5.5)

gen¨ ugt und mit einem regul¨aren Borelschen Vektormaß µ die folgende Darstellung besitzt: Z ∞ p(t) = ν(s) dµ(s); (5.6) t

b) f¨ ur fast alle t ∈ R+ die Maximumbedingung gilt:

H t, x∗ (t), u∗ (t), p(t), λ0 = max H t, x∗ (t), u, p(t), λ0 . u∈U

(5.7)

Bemerkung 5.2. Wir haben uns entschieden, in (5.6) die Darstellung f¨ ur p(·) anzugeben, die sich am Ende des Beweises von Theorem 5.1 ergibt. Damit ist p(·) ∈ BV (R+ , Rn ) und linksseitig stetig. Ferner folgen offensichtlich mit (E∗2 ) aus (5.6) Z ∞ kp(t)k ≤ ν(t) · d|µ|(s), kp(t)k ≤ ν(t) · kµk. t

Im Fall p ≥ 2 bedeutet dies


p kp(t)kp ν −1 (t) ≤ ν(t) · kµk ν −1 (t) ≤ kµkp ν p−1 (t) ≤ kµkp ν(t)

und mit (E∗3 ), d. h. ν(·) ∈ L1 (R+ , R), folgt p(·) ∈ Lp (R+ , Rn ; ν −1 ).



Lemma 5.3. Unter den Voraussetzungen und Bezeichnungen von Theorem 5.1 sind die folgenden “nat¨ urlichen” Transversalit¨atsbedingungen erf¨ ullt: hp(t), x(t)i = 0

∀ x(·) ∈ Wp1 (R+ , Rn ; ν),

lim kp(t)kν −1 (t) = 0,

t→∞

lim kp(t)k = 0.

t→∞

(5.8)

Beweis Nach Bemerkung 5.2 gilt kp(t)kν

−1

(t) ≤

Z

t

∞

d|µ|(s) → 0

f¨ ur t → ∞.

Zusammen mit Lemma B.1 und Lemma B.3 erhalten wir damit hp(t), x(t)i ≤ kp(t)kν −1 (t) · kx(t)kν(t) → 0

Damit ist alles gezeigt.

f¨ ur t → ∞. 

Optimale Steuerung mit unendlichem Zeithorizont

Weibull-Verteilungen 61

Lemma 5.4. Es sei der Grenzwert lim ν −1 (t)ω(t) = 0 erf¨ ullt. Dann gilt: t→∞


lim H t, x∗ (t), u∗ (t), p(t), λ0 = 0.

(5.9)

t→∞

Bemerkung 5.5. In Lemma 3.5 und Lemma 4.7 konnten wir die Transversalit¨atsbedingung von Michel unter der schw¨ acheren Annahme lim ν −1 (t)ω 2 (t) = 0 zeigen. Das ist darauf begr¨ undet, t→∞

dass wir im Fall p = 2 den Grenzwert lim kx(t)k2 ν(t) = 0 f¨ ur x(·) ∈ W21 (R+ , Rn ; ν) zeigen k¨onnen t→∞

(Lemma B.1 und Lemma B.2).



Beweis Es gilt nach Voraussetzung (A2 ):
H t, x∗ (t), u∗ (t), p(t), λ0 h



i ≤ C0 kp(t)kν −1 (t) · (1 + kx∗ (t)k)ν(t) + (1 + kx∗ (t)k)ν(t) ν −1 (t)ω(t) .

In diesem Ausdruck verschwinden die Faktoren f¨ ur t → ∞. Beispiel 5.6. Wir betrachten die Aufgabe   Z ∞
u(t) J x(·), u(·) = ω(t) dt → sup, 1 + u2 (t) 0

x(t) ˙ = −x(t) + u(t),

x(0) = 2,



u ≥ 0.

In diesem Beispiel sei ω(t) eine Weibull-Verteilung der Form k

ω(t) = tk−1 e−t ,

k ∈ (0, 1).

F¨ ur p > 1/k liefert die Funktion ν(t) =
(1 + t)−a mit a > 1 eine geeignete Dichte und jeder beschr¨ankte Steuerungsprozess x(·), u(·) geh¨ort der Menge ALip an. Die adjungierte Gleichung (5.5) und die Transversalit¨atsbedingungen (5.8) liefern p˙ i (t) = pi (t),

pi (t) ≡ 0.

Aus der Maximumbedingung (5.7) erhalten wir u∗ (t) ≡ 1 und ferner x∗ (t) = 1 + e−t .



5.3. Beweis des Maximumprinzips 5.3.1. Eigenschaften der Extremalaufgabe Sei x0 (·) ∈ XLip . Wir betrachten auf C0 (R+ , Rn ) × L∞ (R+ , U ) die Abbildungen Z ∞


˜ J ξ(·), u(·) = ω(t)f t, x0 (t) + ξ(t), u(t) dt, H ξ(·) = ξ(0), 0   Z t



F ξ(·), u(·) (t) = ν(t) · x0 (t) + ξ(t) − x0 (0) + ξ(0) − ϕ s, x0 (s) + ξ(s), u(s) ds , 0  

Gj ξ(·) = sup ν(t) · gj t, x0 (t) + ξ(t) , j = 1, ..., l. t∈R+

Dabei ist die Abbildung H : C0 (R
+ , Rn ) → Rn offensichtbar auf C0 (R+ , Rn ) stetig differenzierbar und der lineare Operator H ′ ξ(·) ist surjektiv f¨ ur jedes ξ(·) ∈ C0 (R+ , Rn ).

Im Weiteren bezeichnet ξ0 (·) ∈ C0 (R+ , Rn ) die Funktion ξ(t) ≡ 0.

62 Weibull-Verteilungen

Optimale Steuerung mit unendlichem Zeithorizont


Lemma 5.7. F¨ ur jedes u(·) ∈ L∞ (R+ , U ) ist die Abbildung ξ(·) → J˜ ξ(·), u(·) im Punkt ξ0 (·) stetig differenzierbar und es gilt Z ∞



˜ ω(t) fx t, x0 (t), u(t) , ξ(t) dt. Jx ξ0 (·), u(·) ξ(·) = 0

Beweis Sei u(·) ∈ L∞ (R+ , U ). Dann erhalten wir nach Voraussetzung (A2 ) und mit der H¨olderschen Ungleichung (ν 1−q (·) ∈ L1 (R+ , R; ω q ) nach Voraussetzung (A0 )) f¨ ur jedes ξ(·) ∈ C0 (R+ , Rn ) mit kξ(·)k∞ ≤ γ die Wohldefiniertheit des Zielfunktionals: Z ∞


J˜ ξ(·), u(·) ≤ C0 1 + kx0 (t)k + kξ(t)k ω(t)dt ≤ C 1 + kx0 (·)kp,ν + kξ(·)k∞ < ∞. 0

Der restliche Beweis folgt ebenso wie im Beweis von Lemma 3.10.


Lemma 5.8. F¨ ur jedes u(·) ∈ L∞ (R+ , U ) bildet der Operator ξ(·) → F ξ(·), u(·) eine Umgebung des Punktes ξ0 (·) in den Raum C0 (R+ , Rn ) ab. Weiterhin ist diese Abbildung in ξ0 (·) stetig differenzierbar und es gilt   Z t 

Fx ξ0 (·), u(·) ξ(·) (t) = ν(t) · ξ(t) − ξ(0) − ϕx s, x0 (s), u(s) ξ(s) ds , t ∈ R+ . 0

Beweis Aus den Eigenschaften (E∗0 ), (E∗2 ) und (E∗5 ) erhalten wir ν(t) ·

Z

t

ν

−q/p

(s)ds

0

1/q

q/p 1/q  Z t
1/q ν(t) ds ≤ t · ν(t) → 0 f¨ ur t → ∞. = ν(t) · ν(s) 0

F¨ ur x0 (·) ∈ Wp1 (R+ , Rn ; ν) und ξ(·) ∈ C0 (R+ , Rn ) gilt ν(t) · ≤

Z

t

0


1 + kξ(s)k + kx0 (s)k ν 1/p (s) · ν −1/p (s)ds


1 + kξ(·)k∞ ·

1/p kν(·)kL1

+ kx0 (·)kLp (ν)



Z t 1/q −q/p · ν(t) ν (s)ds ≤ C1 · t · ν(t). 0

Weiterhin gibt es nach Lemma B.3 zu jedem ε > 0, jedem x0 (·) ∈ Wp1 (R+ , Rn ; ν) und jedem ξ(·) ∈ C0 (R+ , Rn ) mit kξ(·)k∞ ≤ γ eine Zahl τ = τ (ε) > 0 mit
ε kx0 (t)k + kx0 (0)k + kξ(t)k + kξ(0)k · ν(t) ≤ 2

f¨ ur alle t ≥ τ . Außerdem l¨ asst sich τ = τ (ε) > 0 so w¨ahlen, dass C0 C1 · t · ν(t) ≤

ε 2

f¨ ur alle t ≥ τ gilt. Dann erhalten wir f¨ ur ξ(·) mit kξ(·)k∞ ≤ γ nach (A2 ) f¨ ur alle t ≥ τ :





F ξ(·), u(·) (t) ≤ kx0 (t)k + kx0 (0)k + kξ(t)k + kξ(0)k ν(t) Z t  1 + kξ(s)k + kx0 (s)k ds ν(t) ≤ ε. +C0 0

Der restliche Beweis folgt ebenso wie im Beweis von Lemma 3.11.



Optimale Steuerung mit unendlichem Zeithorizont

Weibull-Verteilungen 63


Lemma 5.9. F¨ ur jedes u(·) ∈ L∞ (R+ , U ) ist der Operator Fx ξ0 (·), u(·) surjektiv. Beweis Vgl. den Beweis von Lemma 3.12.



n

F¨ ur ξ(·) ∈ C0 (R+ , R ) bzw. z(·) ∈ C0 (R+ , R) seien im Folgenden

γj ξ(·) (t) = ν(t)gj t, x0 (t) + ξ(t) , t ∈ R+ , j = 1, ..., l,


ψ z(·) = sup z(t). t∈R+


Lemma 5.10. Die Abbildungen ξ(·) → γj ξ(·) bilden den Raum C0 (R+ , Rn ) in C0 (R+ , R) ab. Weiterhin sind diese Abbildungen in ξ0 (·), ξ0 (t) ≡ 0, stetig differenzierbar und es gilt



 ′ γj ξ0 (·) ξ(·) (t) = ν(t) gjx t, x0 (t) , ξ(t) , t ∈ R+ , j = 1, ..., l. Beweis Vgl. den Beweis von Lemma 4.9.



Lemma 5.11. Das Subdifferential der Funktion Gj , j = 1, ..., l, besteht im Punkt ξ0 (·) aus denjenigen stetigen linearen Funktionalen x∗ ∈ C0∗ (R+ , R), die sich wie folgt darstellen lassen: Z ∞


hx∗ , ξ(·)i = ν(t) gjx t, x0 (t) , ξ(t) dµj (t). 0

F¨ ur das Maß µj ergeben sich ferner die F¨alle:
a) Ist zj (·) = γj ξ0 (·) = 0, so besitzt das Maß µj eine Totalvariation kµj k ≤ 1.
uber R+ , so ist kµj k = 0. b) Ist zj (·) = γj ξ0 (·) 6= 0 und besitzt die Funktion kein Maximum ¨
ein Maximum uber R+ , so ist kµj k = 1 und c) Ist zj (·) = γj ξ0 (·) 6= 0 und
¨
 besitzt die Funktion µj ist auf der Menge Tj = τ ∈ R+ γj ξ0 (·) (τ ) = Gj ξ0 (·) konzentriert.

Beweis Vgl. Lemma 4.10–Lemma 4.12.



5.3.2. Das Lagrangesche Prinzip Auf C0 (R+ , Rn ) × L∞ (R+ , U ) × R × C0∗ (R+ , Rn ) × Rl × Rn definieren wir die Lagrange-Funktion
L ξ(·), u(·), λ0 , y ∗ , λ1 , ..., λl , l0 l


∗
 X ˜ λj Gj ξ(·) + l0T H ξ(·) . = λ0 J ξ(·), u(·) + y , F ξ(·), u(·) + j=1


Theorem 5.12
(Extremalprinzip). Sei x∗ (·), u∗ (·) ∈ ALip ∩ Aadm und sei (F) erf¨ ullt. Ist x∗ (·), u∗ (·) ein starkes lokales Minimum der Aufgabe (5.1)–(5.4), dann existieren nicht gleichzeitig verschwindende Lagrangesche Multiplikatoren λ0
≥ 0, ..., λl ≥ 0, y ∗ ∈ C0∗ (R+ , Rn ) und l0 ∈ Rn derart, dass folgende Bedingungen in ξ0 (·), u∗ (·) , ξ0 (t) ≡ 0, gelten: a) Die Lagrange-Funktion besitzt in ξ0 (·) bzgl. ξ(·) einen station¨aren Punkt, d. h.
0 ∈ ∂x L ξ0 (·), u∗ (·), λ0 , y ∗ , λ1 , ..., λl , l0 .

(5.10)

b) Die Lagrange-Funktion nimmt in u∗ (·) bzgl. u(·) ihr Minimum an, d. h.

min L ξ0 (·), u(·), λ0 , y ∗ , λ1 , ..., λl , l0 . (5.11) L ξ0 (·), u∗ (·), λ0 , y ∗ , λ1 , ..., λl , l0 = u(·)∈L∞ (R+ ,U)

64 Weibull-Verteilungen

Optimale Steuerung mit unendlichem Zeithorizont

c) Die Lagrangeschen Multiplikatoren der nicht aktiven Ungleichungen verschwinden, d. h.
λj = 0 f¨ ur alle j 6∈ I x∗ (·) . (5.12)

Beweis Wir geben nur die Stellen an, die nicht mit den Argumenten in den Abschnitten 3.3.2 und 4.2.2 vollst¨andig u ¨bereinstimmen. Schritt 1: Vgl. Abschnitt 4.2.2. Schritt 2: Die verallgemeinerten Nadelvariationen.
Es sei δ > 0 gegeben. Wir betrachten die Vektorfunktionen yk (t) = y1k (t), y2k (t) ,

) y1k (t) = ϕ t, x∗ (t), uk (t) − ϕ t, x∗ (t), u∗ (t)

k = 1, ..., k0 . y2k (t) = f t, x∗ (t), uk (t) − f t, x∗ (t), u∗ (t)

Da wir nur endlich viele Funktionen betrachten, k¨onnen wir o. B. d. A. annehmen, dass (A2 ) mit einer Zahl C0 f¨ ur alle y1k (·) und y2k (·) erf¨ ullt ist. Nach (A2 ) gilt ky1k (t)k ≤ 2C0 (1 + kx∗ (t)k). Mit den gleichen Argumenten wie im Beweis von Lemma 5.8 gilt Z t ν(t) · (1 + kx∗ (s)k) ds ≤ C1 · t · ν(t). 0

Dann k¨onnen wir ein T > 0 so w¨ ahlen, dass f¨ ur k = 1, ..., k0 folgende Ungleichungen gelten: Z ∞ Z t
δ δ ω(t)|y2k (t)| + C0 ν(t) dt ≤ . sup ky1k (s)k ds · ν(t) ≤ , 2 2 t≥T T T

Zur weiteren Setzung der Nadelvariationen vgl. Abschnitt 3.3.2. Schritt 3 und 4: Vgl. Abschnitt 3.3.2 und Abschnitt 4.2.2.

Schritt 5: Die Existenz zul¨ assiger Richtungen und 0 6∈ conv C .
Aus (3.15) und (3.16) in Abschnitt 3.3.2 folgt, dass auf einer Umgebung des Punktes ξ0 (·), 0 die Voraussetzungen des verallgemeinerten Satzes ullt sind ([24], S. 204). Daher
von Ljusternik erf¨ gibt es eine Zahl ε0 > 0 und Paare ξε (·), uε (·) ∈ C0 (R+ , Rn ) × L∞ (R+ , U ) mit kξε (·)k∞ → 0 f¨ ur ε → 0 und ([24], S. 205) )



J˜ ξε (·), uε (·) ≤ J˜ ξ0 (·), u∗ (·) − εc + o(ε), F ξε (·), uε (·) = 0, H ξε (·) = 0,

(5.13) Gj ξε (·) ≤ Gj ξ0 (·) − εc + o(ε), j = 1, ..., l′ f¨ ur alle ε ∈ [0, ε0 ]. Wir setzen xε (·) = x∗ (·) + ξε (·) f¨ ur alle 0 ≤ ε ≤ ε0 . Dann besitzt xε (·) die verallgemeinerte Ableitung x˙ ε (t) =



d x∗ (t) + ξε (t) = ϕ t, x∗ (t) + ξε (t), uε (t) dt

und gen¨ ugt der Anfangsbedingung xε (0) = x0 . Ferner erhalten wir f¨ ur hinreichend kleine ε > 0 mit kξε (·)k∞ ≤ γ, dass xε (·) dem Raum Wp1 (R+ , Rn ; ν) angeh¨ort:  Z ∞ Z ∞
p p p kx∗ (t)k + kξε (·)k∞ ν(t) dt < ∞, kxε (t)k ν(t)dt ≤ C 0 Z ∞ Z0 ∞

1 + kx∗ (t)kp + kξε (·)kp∞ ν(t)dt < ∞. kx˙ ε (t) kp ν(t)dt ≤ C 0

0

Optimale Steuerung mit unendlichem Zeithorizont

Weibull-Verteilungen 65


F¨ ur alle hinreichend kleine ε > 0 sind die Prozesse x (·), u (·) zul¨assig in der Aufgabe bzgl. der ε ε
Menge I x∗ (·) der aktiven Zustandsbeschr¨ankungen. Da nun kxε (·) − x∗ (·)k∞ → 0 f¨ ur ε → 0
gilt, zeigt die Relation (5.13), dass x∗ (·), u∗ (·) im Widerspruch zur Voraussetzung von Theorem
4.13 kein starkes lokales Minimum der Aufgabe bzgl. der Menge I x∗ (·) der aktiven Zustandsbeschr¨ankungen sein k¨ onnte.  5.3.3. Beweisschluss Aufgrund (5.10) erhalten wir f¨ ur alle ξ(·) ∈ C0 (R+ , Rn ) (vgl. Abschnitt 4.2.3): 0 =

T Z
∞
T ν(s)dµ(s) ξ(t)dt λ0 ω(t)fx t, x∗ (t), u∗ (t) − ϕx t, x∗ (t), u∗ (t) t 0   Z ∞ Z ∞ T T T + ν(t)[ξ(t)] dµ(t) + l0 ξ(0) − ν(t)[ξ(0)] dµ(t) Z

∞



0

+

0

l Z X j=1

∞

0




ν(t) gjx t, x∗ (t) , ξ(t) dµj (t).

Dabei sind die nichtnegativen regul¨ aren Borelschen Maße µj auf den Mengen
 Tj = t ∈ R+ gj t, x∗ (t) = 0

konzentriert. Wenden wir den Darstellungssatz von Riesz an und setzen p(t) =

(5.14)

Z

∞

ν(s) dµ(s), so

t

erhalten wir p(0) = l0 und die Integralgleichung Z ∞  T

ϕx s, x∗ (s), u∗ (s) p(s) − λ0 ω(s)fx s, x∗ (s), u∗ (s) ds p(t) = t

−

l Z X j=1

t

∞


ν(s)gjx s, x∗ (s) dµj (s).

Damit sind (5.5) und (5.6) gezeigt. Aus (5.11) folgt mit den gleichen Argumenten wie in Abschnitt 4.2.3 die Maximumbedingung (5.7). 

Optimale Steuerung mit unendlichem Zeithorizont

Rieszscher Darstellungssatz 67

A. Borelsche Maße und Rieszscher Darstellungssatz Die Beweise der Extremalprinzipien f¨ ur die Grundaufgabe und die Aufgabe mit Zustandsbeschr¨ankungen (Theorem 3.13, Theorem 4.13) basieren auf der Variation im Raum der im Unendlichen verschwindenden stetigen Funktionen. Damit f¨ uhrt die Anwendung des Satzes von HahnBanach in den Dualraum stetiger Funktionen. Dar¨ uber hinaus ist der Dualraum stetiger Funktionen wesentlicher Bestandteil bei der Berechnung des Subdifferentials der Zustandsbeschr¨ankungen. Wir stellen in diesem Abschnitt die verwendeten Begriffe und Resultate aus der Maß- und Integrationstheorie nach [42] (S. 21/22, S. 32, S. 457 und S. 467) zur Verf¨ ugung. Zu grundlegenden Kursen u ¨ber Maß- und Integrationstheorie verweisen wir auf [8, 17]. Definition A.1. Sei T eine Menge, und sei Σ ein System von Teilmengen von T mit den Eigenschaften a) ∅ ∈ Σ, b) E ∈ Σ ⇒ T \ E ∈ Σ, c) E1 , E2 , ... ∈ Σ ⇒

∞ S

i=1

Ei ∈ Σ,

dann heißt Σ eine σ-Algebra. Definition A.2. Sei Σ eine σ-Algebra auf einer Menge T . Eine Abbildung µ : Σ → [0, ∞] heißt ein Maß, wenn a) µ(∅) = 0, b) µ σ-additiv ist, d. h., wenn f¨ ur paarweise disjunkte E1 , E2 , ... ∈ Σ gilt µ

[ ∞

i=1

Ei



=

∞ X

µ(Ei ).

i=1

Eine Abbildung µ : Σ → R heißt ein signiertes Maß, falls µ(∅) = 0 gilt und µ σ-additiv ist. Ein Maß ist demnach im Unterschied zu signierten Maßen eine Abbildung mit ausschließlich nichtnegativen Werten. Definition A.3. Sei µ ein signiertes Maß auf Σ und A ∈ Σ. Wir setzen |µ|(A) = sup

n X

k=1

|µ(Ak )|,

wobei das Supremum ¨ uber alle endlichen Zerlegungen A = A1 ∪ ... ∪ An mit paarweise disjunkten Ak ∈ Σ zu bilden ist. |µ|(A) heißt Variation von µ auf A. Dabei ist die Konvergenz der Reihe Teil der Voraussetzungen an das Maß µ ([37], S. 116). Satz A.4. Ist µ ein signiertes Maß, so definiert A → |µ|(A) ein endliches Maß. Definition A.5. Sei µ ein signiertes Maß auf Σ und Σ sei eine σ-Algebra auf einer Menge T . Die Zahl kµk = |µ|(T ) heißt die Variationsnorm des signierten Maßes µ.

68 Rieszscher Darstellungssatz

Optimale Steuerung mit unendlichem Zeithorizont

Definition A.6. Sei T ein topologischer Raum, Σ die σ-Algebra der Borelmengen (also die von den offenen Mengen erzeugte σ-Algebra). Ein Maß µ auf Σ heißt Borelsches Maß. Ein Borelsches Maß µ heißt regul¨ar, falls a) µ(C) < ∞ f¨ ur alle kompakten C, b) f¨ ur alle A ∈ Σ gilt µ(A) = sup{µ(C) | C ⊂ A, C kompakt} = inf{µ(O) | A ⊂ O, O offen}. Ein signiertes Borelmaß heißt regul¨ar, wenn seine Variation regul¨ar ist. Der Beweis des Pontrjaginschen Maximumprinzips folgt der Beweisstrategie nach [24]. Da wir im Gegensatz zu [24] im Beweis stetige Funktion u ¨ber der unbeschr¨ankten Menge R+ betrachten, verwenden wir ein passendes Analogon zum Raum der stetigen Funktionen u ¨ber einer kompakte Menge. Die Antwort darauf liefert der Raum der stetigen Funktionen, die im Unendlichen verschwinden. Wir geben nun die Ergebnisse im Zusammenhang mit dem Dualraum stetiger Funktionen an, die wir in dieser Arbeit ben¨ otigen. Dabei folgen wir [37]. Wir betrachten nun folgende R¨ aume stetiger Funktionen: C(R+ , Rn )

–

n

Raum der stetigen Funktionen f (·) : R+ → R,

–

Raum der stetigen Vektorfunktionen, die im Unendlichen verschwinden, d. h. zu jedem ε > 0 gibt es eine kompakte Menge K ⊂ R+ mit |f (t)| < ε f¨ ur alle t 6∈ K.

C0 (R+ , R )

Satz A.7. Der Raum C0 (R+ , R) versehen mit der Supremumsnorm k · k∞ ist ein Banachraum. Wir ersetzen in Theorem 6.19 in [37] den lokalkompakten Hausdorffschen Raum durch R+ . Dann erhalten wir: Satz A.8 (Rieszscher Darstellungssatz). Jedes stetige lineare Funktional x∗ auf C0 (R+ , R) kann eindeutig dargestellt werden durch ein signiertes regul¨ares Borelsches Maß µ, und zwar in folgendem Sinne Z ∗ x(t) dµ(t) f¨ ur alle x(·) ∈ C0 (R+ , R). hx , x(·)i = R+

Ferner stimmt die Operatornorm von x∗ mit der Variationsnorm von µ u ¨berein: kx∗ k = kµk = |µ|(R+ ).

Optimale Steuerung mit unendlichem Zeithorizont

Gewichtete R¨aume 69

B. Gewichtete Lebesgue- und Sobolev-R¨ aume Wir bezeichnen mit (vgl. z. B. [16, 17, 42]) M (R+ , Rn )

–

Lp (R+ , Rn )

den Raum der Lebesgue-meßbaren Funktionen x(·) : R+ → Rn ,

–

den klassischen Lebesgue-Raum,

Wp1 (R+ , Rn )

–

den klassischen Sobolev-Raum.

Die gewichteten Lebesgue-R¨ aume definieren wir f¨ ur 1 < p < ∞:   Z ∞ 1/p −∞ f¨ ur alle x ∈ X. Die eigentliche Funktion f heißt konvex, wenn
ur alle x1 , x2 ∈ X, 0 ≤ α ≤ 1. f αx1 + (1 − α)x2 ≤ αf (x1 ) + (1 − α)f (x2 ) f¨ Die Funktion f heißt homogen, falls f (0) = 0 und f (λx) = λf (x) f¨ ur alle x ∈ X, λ > 0 ist. Eine eigentliche konvexe Funktion ist genau dann in einem Punkt stetig, wenn sie auf einer Umgebung dieses Punktes nach oben beschr¨ ankt ist. In diesem Fall ist das Innere des effektiven Definitionsbereichs nichtleer ([24], S. 157). Ist andererseits eine homogene Funktion auf einer Umgebung des Nullpunktes stetig, so ist sie auf X stetig ([24], S. 176).

Ist f eine eigentliche konvexe Funktion auf X, dann existiert in jedem Punkt der Menge dom f die klassische Richtungsableitung ([24], S. 177), d. h. f¨ ur alle z ∈ X der Grenzwert f ′ (x; z) = lim

λ→0+0

f (x + λz) − f (x) . λ

Sei f eigentlich, konvex und in x stetig, dann ist f auf einer Umgebung des Punktes x nach oben beschr¨ankt, in x lokal Lipschitz-stetig ([13], S. 34), es existiert der Clarke’sche Gradient f ◦ (x; z) = lim sup y→x λ→0+0

f (y + λz) − f (y) λ

und f ist im Punkt x regul¨ ar im Sinne der Konvexen Analysis, d. h. f ′ (x; ·) = f ◦ (x; ·) ([13], S. 36). Das Subdifferential der eigentlichen konvexen Funktion f besteht im Punkt x aus allen Subgradienten x∗ ∈ X ∗ , d. h. ∂f (x) = {x∗ ∈ X ∗ |f (z) − f (x) ≥ hx∗ , z − xi f¨ ur alle z ∈ X}. F¨ ur eine eigentliche konvexe Funktion f gilt ∂f (x) = ∂f ′ (x; 0) f¨ ur alle x ∈ dom f ([24], S. 179). Ist f eine eigentliche homogene konvexe Funktion und x 6= 0, dann ist ([24], S. 180) ∂f (x) = {x∗ ∈ ∂f (0)|f (x) = hx∗ , xi}. Im Folgenden seien G : X → Y im Punkt x0 ∈ X Fr´echet-differenzierbar und g : Y → R eigentlich, konvex und im Punkt G(x0 ) stetig.
Lemma C.1. Die Funktion f : X → R, f (x) = g G(x) , besitzt in x0 eine klassische Richtungsableitung, es gilt
f ′ (x0 ; x) = g ′ G(x0 ); G′ (x0 )x und die Richtungsableitung konvergiert bzgl. jeder Richtung x gleichm¨aßig: f (x0 + λz) − f (x0 ) ′ < ε f¨ − f (x ; x) ur alle z ∈ U (x), 0 < λ < λ0 . 0 λ

72 Konvexe Analaysis

Optimale Steuerung mit unendlichem Zeithorizont

Beweis Da g eigentlich, konvex und im Punkt G(x0 ) stetig ist, ist sie gleichm¨aßig differenzierbar in G(x0 ) ([24], S. 189). Weiterhin folgt wegen der stetigen Differenzierbarkeit der Abbildung G im Punkt x0 die gleichm¨ aßige Differenzierbarkeit von f ([24], S. 191). 
Lemma C.2. Aus der Regularit¨at von g in G(x0 ) folgt die Regularit¨at von f (x) = g G(x) in x0 . Beweis Nach Definition des lim sup und der Vollst¨andigkeit von X existieren Folgen xn → x0 und λn → 0 + 0 mit f (xn + λn x) − f (xn ) lim = f ◦ (x0 ; x). n→∞ λn

Daher hat man ◦

f (x0 ; x)



g G(xn + λn x) − g G(xn ) f (xn + λn x) − f (xn ) = lim = lim n→∞ n→∞ λn λn


g G(y + λx) − g G(y) = g ′ G(x0 ); G′ (x0 )x = f ′ (x0 ; x), ≤ lim sup y→x λ λ→0+0

f ′ (x0 ; x)

=

lim

λ→0+0

f (x0 + λx) − f (x0 ) f (y + λx) − f (y) ≤ lim sup = f ◦ (x0 ; x). y→x λ λ λ→0+0

Beide Ungleichungen zeigen f ′ (x0 ; ·) = f ◦ (x0 ; ·).



Satz C.3. (Kettenregel) Es seien G : X → Y im Punkt x0 ∈ X Fr´echet-differenzierbar und
g : Y → R eigentlich, konvex und im Punkt G(x0 ) stetig. Dann ist die Funktion f (x) = g G(x) im Punkt x0 regul¨ar und es gilt
∂f (x0 ) = G′∗ (x0 )∂g G(x0 ) . Beweis Lediglich die Kettenregel ist noch zu pr¨ ufen und folgt gem¨aß [24], S. 191.



Optimale Steuerung mit unendlichem Zeithorizont

Literatur 73

Literatur [1] Arrow, K.J., Kurz, M.: Public Investment, the Rate of Return, and Optimal Fiscal Policies. The Johns Hopkins Press, Baltimore (1970). [2] Aseev, S.M., Kryazhimskii, A.V.: The Pontryagin Maximum principle and transversality conditions for a class optimal control problems with infinite time horizons. SIAM J. Control Optim., 43, 1094–1119 (2004). [3] Aseev, S.M., Kryazhimskii, A.V.: The Pontryagin Maximum Principle and Optimal Economic Growth Problems. Proc. Steklov Inst. Math., 257, 1–255 (2007). [4] Aseev, S.M., Veliov, V.M.: Maximum Principle for Infinite-Horizon Optimal Control Problems with Dominating Discount. Dynamics of Continuous, Discrete and Impulsive Systems, Series B, Vol. 19 1-2 (2012). [5] Aseev, S.M., Veliov, V.M.: Needle variations in infinite-horizon optimal control. Variational and Optimal Control Problems on Unbounded Domains, eds. G. Wolansky, A. J. Zaslavski, Amer. Math. Soc. Contemporary Mathematics, 619 (2014). [6] Aseev, S.M., Veliov, V.M.: Maximum principle for infinite-horizon optimal control problems under weak regularity assumptions. Trudy Inst. Mat. i Mekh. UrO RAN, 20, no.3, 41–57 (2014). [7] Barro, R.J., Sala-i-Martin, X.: Economic growth. McGraw Hill, New York (1995). [8] Bauer, H.: Maß- und Integrationstheorie. 2. Auflage. Walter de Gruyter & Co., Berlin-New York (1992). [9] Boltjanski, W.G.: Mathematische Methoden der Optimalen Steuerung. Akademische Verlagsgesellschaft Geest & Portig K.-G., Leipzig (1971). [10] Brodskii, Yu.I.: Necessary Conditions for a Weak Extremum in Optimal Control Problems on an Infinite Time Interval. Mat. Sb. (N.S.), Vol. 105(147), Number 3, 371–388 (1978). [11] Carlson, D.A., Haurie, A.B., Leizarowitz, A.: Infinite Horizon Optimal Control. SpringerVerlag, New York, Berlin, Heidelberg (1991). [12] Carlson, D.A.: Uniformly Overtaking and Weakly Overtaking Optimal Solutions in InfiniteHorizon Optimal Control: When Optimal Solutions Are Agreeable. Journal of Optimization Theory and Applications 64, Issue 1, 55–69 (1990). [13] Clarke, F.: Optimization and Nonsmooth Analysis. John Wiley & Sons, New York (1983). [14] Dockner E., Feichtinger, G., Mehlmann, A.: Noncooperative Solutions for a Differential Game Model of Fishery. Journal of Economic Dynamics and Control 13, 1–20 (1989). [15] Dubovitskii, A.Ya., Milyutin, A.A.: Extremum problems in the presence of restrictions. USSR Computational Mathematics and Mathematical Physics, Volume 5, Issue 3, 1–80 (1965). [16] Dunford, N., Schwartz, J.T.: Linear Operators. Part I: General Theory. Wiley-Interscience; New York, etc. (1988).

74 Literatur

Optimale Steuerung mit unendlichem Zeithorizont

[17] Elstrodt, J.: Maß- und Integrationstheorie. Springer, Berlin, (1996). [18] Feichtinger, G., Hartl, R.F.: Optimale Kontrolle o¨konomischer Prozesse. de Gruyter; Berlin New York (1986). [19] Filippov, A.F.: Differential Equations with Discontinuous Right-Hand Sides. Nauka, Moscow, (1985), (Kluwer, Dordrecht, 1988). [20] Gale, D.: On Optimal Development in a Multi-Sector Economy. RES 34, 1–18 (1967). [21] Grass, D., Caulkins, J.P., Feichtinger, G., Tragler, G., Behrens, D.A.: Optimal Control of Ninlinear Processes: With Applications in Drugs, Corruption and Terror. Springer, Berlin, (2008). [22] Halkin, H.: Necessary conditions for optimal control problems with infinite horizons. Econometrica 42, 267–272 (1979). [23] Heuser, H.: Gew¨ ohnliche Differentialgleichungen. 3. Auflage. B. G. Teubner Stuttgart, (1995). [24] Ioffe, A.D., Tichomirov, V.M.: Theorie der Extremalaufgaben. VEB Deutscher Verlag der Wissenschaften Berlin, (1979). [25] Kufner, A.: Weighted Sobolev Spaces. John Wiley & Sons; Chichester, etc. (1985). [26] Lykina, V.: Beitr¨ age zur Theorie der Optimalsteuerungsprobleme mit unendlichem Zeithorizont. PhD Thesis, Cottbus (2010) [27] Magill, M.J.P.: Pricing infinite horizon programs. J. Math. Anal. Appl. 88, 398–421 (1982). [28] Mangasarian, O.L.: Sufficient Conditions for the Optimal Control of Nonlinear Systems. SIAM J. Control 4, 139–152 (1966). [29] Michel, P.: On the Transversality Condition in Infinite Horizon Optimal Problems. Econometrica 50, 975–985 (1982). [30] Natanson, I.P.: Theorie der Funktionen einer reellen Ver¨anderlichen. Verlag Harri Deutsch, Thun-Frankfurt/Main, (1981). [31] de Oliveira, V.A., Silva, G.N.: Optimality Conditions for Infinite Horizon Control Problems with State Constraints. Nonlinear Analysis 71, 1788-1795 (2009). [32] Pereira, F.L., Silva, G.N.: A Maximum Principle for Constrained Infinite Horizon Dynamic Control Systems. Preprints of the 18th IFAC World-Congress, Milano (Italy) August 28– September 2 (2011). [33] Pickenhain, S.: Hilbert Space Treatment of Optimal Control Problems with Infinite Horizon. Bock, H.G., Phu, H.X., Rannacher, R., Schloeder, J.P.: Modeling, Simulation and Optimization of Complex Processes – HPSC 2012, Springer, 169–182 (2014). [34] Pickenhain, S., Wenzke, D.: Transformation of Infinite Horizon Optimal Control Problems. Submitted (J. Convex Analysis). [35] Pontrjagin, L.S., Boltjanskij, V.G., Gamkrelidze, R.V., Misˇcenko, E.F.: Mathematische Theorie optimaler Prozesse. R. Oldenbourg, M¨ unchen-Wien, (1964).

Optimale Steuerung mit unendlichem Zeithorizont

Literatur 75

[36] Ramsey F.P.: A Mathematical Theory of Saving. Econ. J. 38, 543–559 (1928). [37] Rudin, W.: Real and Complex Analysis. McGraw Hill, 3rd ed., (1987). [38] Seierstad, A., Sydsæter, K.: Sufficient Conditions in Optimal Control Theory. International Economic Review, Vol. 18, No. 2 (1977). [39] Seierstad, A., Sydsæter, K.: Optimal Control Theory with Economic Applications. NorthHolland Amsterdam-New York-Oxford-Tokyo, (1987). [40] Tauchnitz, N.: The Pontryagin Maximum Principle for Nonlinear Optimal Control Problems with Infinite Horizon. Journal of Optimization Theory and Applications (2015). [41] Von Weizsaecker, C.C.: Existence of optimal programs of accumulation for an infinite time horizon. Review of Economic Studies 32, 85–92 (1965). [42] Werner, D.: Funktionalanalysis. Springer-Verlag Berlin-Heidelberg-New York, (1995). [43] Yosida, K.: Functional Analysis. Springer-Verlag, New York, (1974).