KAPITEL 5. Nichtlineare Gleichungssysteme

Beispiel 5.1. Gravitationskraft zwischen zwei Punktmassen m1 und m2 mit gegenseitigem Abstand r: m1m2 F =G , 2 r wobei G = 6.67 · 10−11N m2/kg. Gravitationsfeld wie in Abb.5.1:

m3 r (0, y3) F 2,x F 2 .... ...... F 2,y .m ....r 2 (x2, 0) (0, 0) r H HH HH ? j H

mr 1 (x1, 0)

Dahmen-Reusken

Kapitel 5

1

Gesucht: (x, y), so daß f¨ ur eine Punktmasse m an der Stelle (x, y) die Gravitationskr¨ afte F i zwischen m und mi im Gleichgewicht sind. Hilfgr¨ oßen q

(x − xi)2 + (y − yi)2, mim Fi := G 2 , ri Fi(yi − y) Fi (xi − x) , Fi,y := , Fi,x := ri ri Gleichgewichtsbedingungen ri :=

F1,x + F2,x + F3,x = 0,

i = 1, 2, 3.

F1,y + F2,y + F3,y = 0.

Hieraus ergibt sich das System f1(x, y) = f2(x, y) =

Dahmen-Reusken

3 X

mi(xi − x)

=0

2 + (y − y )2)3/2 ((x − x ) i i i=1 3 X mi(yi − y) = 0. 3/2 2 2 i=1 ((x − xi) + (y − yi ) ) Kapitel 5

△ 2

Beispiel5.2

Statt der linearen Integralgleichung im Beispiel 3.3 soll nun eine nichtlineare Integralgleichung gel¨ ost werden: Gesucht ist eine Funktion u(x) ≥ 0, die die Integralgleichung u(x) +

Z 1 0

cos(xt)u(t)3 dt = 2,

x ∈ [0, 1],

erf¨ ullt. Das Problem wird, wie in Beispiel 3.3, auf dem Gitter 1 1 tj = j − h, j = 1, . . . , n, h = , 2 n diskretisiert. Man erh¨ alt dann die Gleichungen (vgl.(3.15)) 

ui + h

n X

j=1

cos(ti tj )u3 j − 2 = 0,

i = 1, 2, . . . , n,

f¨ ur die Unbekannten ui ≈ u(ti ), i = 1, . . . , n.

Dahmen-Reusken

Kapitel 5

△

3

Allgemeine Problemstellung

Zu gegebenem f = (f1, . . . , fn)T : Rn → Rn finde man x∗ = (x∗1, . . . , x∗n)T ∈ Rn, so daß f1(x∗1, . . . , x∗n) = 0 .. .. .. fn(x∗1, . . . , x∗n) = 0.

Wir werden dies h¨ aufig kurz als f (x∗) = 0 schreiben. Der Spezialfall n = 1 wird oft als skalare Gleichung in einer Unbekannten bezeichnet.

Dahmen-Reusken

Kapitel 5

4

5.2 Kondition des Nullstellenproblems einer skalaren Gleichung St¨ orungen in den Daten: ˜ f (x) − f (x) ≤ ǫ.

Sei x ˜∗ eine Nullstelle f¨ ur die gest¨ orte Funktion f˜: f˜(˜ x∗) = 0. Sei m die Vielfachheit der Nullstelle x∗: f (x∗) = 0,

f ′ (x∗) = 0,

f (m−1) (x∗) = 0,

...,

f (m) (x∗) 6= 0.

Es gilt:

∗

∗

|˜ x −x |.

Dahmen-Reusken

1 ǫm

1 m m! . f (m) (x∗ ) Kapitel 5

5

ε ε

einfache Nullstelle

mehrfache Nullstelle

Beispiel 5.4. f (x) = (x − 1)3 hat eine dreifache Nullstelle x∗ = 1. 1 3 ∗ ˜ Die Nullstelle der gest¨ orten Funktion f (x) = (x−1) −ǫ ist x ˜ = 1+ǫ 3 . Also, z.B. f¨ ur ǫ = 10−12:

f (x) − f˜(x) = 10−12 , Dahmen-Reusken

|x∗ − x ˜∗| = 10−4. Kapitel 5

△ 6

Beispiel 5.5 Das Polynom p(x) = x3 − 6x2 + 9x hat eine doppelte Nullstelle x∗ = 3. Die Funktionswerte p(3 + i ∗ 10−9),

i = −100, −99, . . . 99, 100,

sind auf einer Maschine mit eps ≈ 10−16 berechnet.

△

−14

4

x 10

3

p(x)

2

1

0

−1

−2 −100

Dahmen-Reusken

−80

−60

−40

−20

0 (x−3).1e+9

20

40

Kapitel 5

60

80

100

7

5.3 Fixpunktiteration

Bemerkung 5.6. Sei f : Rn → Rn gegeben und f¨ ur jedes x in einer Umgebung der Nullstelle x∗ sei die von x abh¨ angige Matrix Mx ∈ Rn×n invertierbar. Dann gilt f (x∗) = 0

⇐⇒

x∗ = x∗ − Mx∗ f (x∗),

d.h., das Nullstellenproblem f (x∗) = 0 ist ¨ aquivalent zum Fixpunktproblem x∗ = Φ(x∗),

mit

Φ(x) := x − Mxf (x).

Beweis: Die Behauptung folgt aus der Tatsache, daß aufgrund der Invertier barkeit von Mx gilt f (x∗) = 0 ⇐⇒ Mx∗ f (x∗) = 0.

Dahmen-Reusken

Kapitel 5

8

Fixpunktiteration: • W¨ ahle Startwert x0 (in einer Umgebung von x∗), • Bilde xk+1 = Φ(xk ),

1

k = 0, 1, 2, . . . .

6 Φ r

Φ(x1 ) Φ(x0 )

x0

Dahmen-Reusken

x1

x2 x∗

1

Kapitel 5

x

9

1

6 Φ r

Φ(x0 ) x2

x1

Dahmen-Reusken

x0

x∗

Kapitel 5

1

10

′ ∗ ur alle x in Uδ := [x∗ − δ, x∗ + δ]. Fall a: Φ (x ) < 1. |Φ′(x)| < 1 f¨

Folglich (Mittelwertsatz) f¨ ur jedes x, y ∈ Uδ ein ξ ∈ Uδ mit

′ ′ |Φ(x) − Φ(y)| = Φ (ξ)(x − y) ≤ max Φ (z) |x − y| =: L |x − y| , z∈Uδ ′ und L = maxz∈Uδ Φ (z) < 1. Also ist Φ kontrahierend auf U .

F¨ ur x0 ∈ Uδ erh¨ alt man:

|xk+1−x∗| = |Φ(xk )−Φ(x∗)| ≤ L|xk −x∗| ≤ Lk+1|x0−x∗| also Konvergenz: limk→∞ xk = x∗.

f¨ ur alle k ≥ 0

′ ∗ ′ Fall b: Φ (x ) > 1. Es existiert δ > 0, so daß Φ (z) > 1 f¨ ur alle z ∈ Uδ = [x∗ − δ, x∗ + δ]. Folglich gilt ′ ∗ ∗ ∗ xk+1 − x = |Φ(xk ) − Φ(x )| = Φ (ξ)(xk − x ) > |xk − x∗| f¨ ur alle xk ∈ Uδ , d.h., f¨ ur alle xk ∈ Uδ wird der Fehler |xk − x∗| vergr¨ oßert. Dahmen-Reusken

Kapitel 5

11

Beispiel 5.7. Sei f (x) := x6 − x − 1.

f hat eine eindeutige positive Nullstelle x∗ und es gilt x∗ ∈ [0, 2]. Fixpunkt: Φ(x∗) = x∗, 6

Φ1(x) := x − 1

oder Φ2(x) := (x +

5 ′ Φ1 (x) = 6x > 1

1 1) 6 .

f¨ ur x ∈ [1, 2].

Die Iterationsfunktion Φ1 ist also nicht geeignet. F¨ ur Φ2 ergibt sich 5 1 1 ′ − Φ2(x) = (x + 1) 6 ≤

6

und damit

6

f¨ ur x ∈ [0, 2]

1 ′ |Φ2(x) − Φ2(y)| = Φ2(ξ)(x − y) ≤ |x − y|

f¨ ur x, y ∈ [0, 2]. 6 Um das Kontraktionsargument wiederholt anwenden zu k¨ onnen, muß die Folge xk+1 = Φ2(xk ), k ≥ 0, f¨ ur x0 ∈ [0, 2] im Intervall [0, 2] bleiben. Diese Bedingung ist erf¨ ullt, falls Φ2 eine Selbstabbildung auf [0, 2] ist, d.h. Φ2 : [0, 2] → [0, 2]. Dahmen-Reusken

Kapitel 5

12

Ergebnisse:

k 0 1 2 3 4 5 6 7

x0 = 0.5 xk+1 = Φ2(xk ) 0.50000000 1.06991319 1.12890836 1.13420832 1.13467844 1.13472009 1.13472378 1.13472411

Dahmen-Reusken

x0 = 0.5 xk+1 = Φ1 (xk ) 0.50000000 −0.98437500 −0.09016330 −0.99999946 −0.00000322 −1.00000000 0.00000000 −1.00000000

x0 = 1.13 xk+1 = Φ1 (xk ) 1.13000000 1.08195175 0.60415884 −0.95136972 −0.25852598 −0.99970144 −0.00179000 −1.00000000

Kapitel 5

x0 = 1.135 xk+1 = Φ1 (xk ) 1.14e+00 1.14e+00 1.17e+00 1.57e+00 1.38e+01 6.91e+06 1.09e+41 1.69e+246

13

Banachscher Fixpunktsatz 5.8. Sei X ein linear normierter Raum. E ⊆ X sei eine vollst¨ andige Teilmenge von X. Φ sei eine Selbstabbildung auf E, Φ : E → E. Ferner sei Φ eine Kontraktion auf E kΦ(x) − Φ(y)k ≤ Lkx − yk

f¨ ur alle x, y ∈ E, mit L < 1.

Dann gilt: 1. Es existiert genau ein Fixpunkt x∗ von Φ in E. 2. F¨ ur beliebiges x0 ∈ E konvergiert xk+1 = Φ(xk ),

k = 0, 1, 2, . . .

gegen den Fixpunkt x∗. k L ∗ 3. A-priori-Fehlerabsch¨ atzung: kxk − x k ≤ 1−L kx1 − x0k. 4. A-posteriori-Fehlerabsch¨ atzung: kxk − x∗k ≤

Dahmen-Reusken

L kxk − xk−1k. 1−L Kapitel 5

14

Bemerkung 5.9. Um eine Genauigkeit ǫ zu erreichen, gen¨ ugt es k so groß w¨ ahlen, daß

also

Lk kx1 − x0k ≤ ǫ, 1−L Lk ≤

d.h.

ǫ(1 − L) , kx1 − x0k

ǫ(1 − L) k ≥ log kx1 − x0k 



log L .

Wegen kxk − xk−1k = kΦ(xk−1) − Φ(xk−2)k ≤ Lkxk−1 − xk−2k ≤ Lk−1kx1 − x0k ist die Schranke in der a-posteriori-Fehlerabsch¨ atzung immer besser (d.h., kleiner) als die in der a-priori-Fehlerabsch¨ atzung.

Dahmen-Reusken

Kapitel 5

15

Folgerung 5.10. Sei X = R, E = [a, b] und Φ eine auf E stetig differenzierbare Funktion. Es gelte Φ : [a, b] → [a, b]

(Selbstabbildung),

und ′ max Φ (x) =: L < 1. x∈[a,b]

Dann sind alle Voraussetzungen aus Satz 5.8 erf¨ ullt f¨ ur k · k = |·|.

Dahmen-Reusken

Kapitel 5

16

Folgerung 5.11. Sei X = Rn, E ⊆ Rn eine abgeschlossene konvexe Menge, und Φ : E → Rn sei stetig differenzierbar. Es gelte Φ:E→E

(Selbstabbildung),

und bzgl. einer Vektornorm k · k auf Rn gelte f¨ ur die zugeh¨ orige Matrixnorm max kΦ′(x)k = L < 1. x∈E

Dann sind alle Voraussetzungen aus Satz 5.8 erf¨ ullt. Hierbei ist ∂ Φ (x) · · · 1  ∂x1 . ′ . Φ (x) =   ∂ Φ (x) · · · ∂x1 n



 ∂ Φ (x) ∂xn 1  ..   ∂ Φ (x) ∂xn n

die Jacobi-Matrix von Φ an der Stelle x. Dahmen-Reusken

Kapitel 5

17

Folgerung 5.12. Sei X = Rn, x∗ ∈ Rn, so daß Φ(x∗) = x∗ und Φ stetig differenzierbar in einer Umgebung von x∗. Bez¨ uglich einer Vektornorm k · k auf Rn gelte f¨ ur die zugeh¨ orige Matrixnorm kΦ′(x∗)k < 1.

Sei Bε := { x ∈ Rn | kx − x∗k ≤ ε }. F¨ ur E = Bε mit ε > 0 hinreichend klein sind alle Voraussetzungen aus Satz 5.8 erf¨ ullt.

Dahmen-Reusken

Kapitel 5

18

Beispiel 5.13 Man zeige, daß das System 6x = cos x + 2y 8y = xy 2 + sin x auf E = [0, 1] × [0, 1] eine eindeutige L¨ osung besitzt. Man bestimme diese L¨ osung bis auf eine Genauigkeit 10−3 in der Norm k · k∞. L¨ osung: F¨ ur x ∈ [0, 1] gilt 0 ≤ cos x ≤ 1 und 0 ≤ sin x ≤ 1. F¨ ur Φ(x, y) =

1 cos x + 1 y 6 3 1 xy 2 + 1 sin x 8 8

gilt daher Φ : E → E. Ferner gilt Φ′(x, y) =

−1 6 sin x 1 y 2 + 1 cos x 8 8

! 1 3

1 xy 4

!

.

F¨ ur die Norm k · k∞ auf R2 ergibt sich

 1 1 1  2 ′ kΦ (x, y)k∞ = max |sin x| + , y + cos x + 2 |xy| 6 3 8 1 ≤ . 2





Dahmen-Reusken

Kapitel 5

19

Wegen Folgerung 5.11 existiert genau eine L¨ osung in E. Wegen (3) in Satz 5.8 gen¨ ugt es, f¨ ur (x0, y0) = (0, 0), also 1 (x1, y1) = ,0 , 6 

k ≥ log

0.5 ∗ 10−3 1/6

!



log

1 = 8.38 2

zu w¨ ahlen.

Wir erhalten Werte, die in Tabelle 5.2 wiedergegeben sind. In der dritten Spalte werden die Resultate der a-posteriori-Fehlerabsch¨ atz (5.23) gezeigt.

Dahmen-Reusken

Kapitel 5

20

k 0 1 2 3 4 5 6 7 8 9

(x0, y0) = (0, 0), (xk , yk ) = Φ(xk−1, yk−1) (0.00000000, 0.00000000) (0.16666667, 0.00000000) (0.16435721, 0.02073702) (0.17133296, 0.02046111) (0.17104677, 0.02132096) (0.17134151, 0.02128646) (0.17132164, 0.02132275) (0.17133430, 0.02132034) (0.17133314, 0.02132189) (0.17133369, 0.02132175)

0.5 ∗ 1−0.5 T k(xk , yk ) − (xk−1, yk−1)T k∞

− 1.67e−01 2.07e−02 6.98e−03 8.60e−04 2.95e−04 3.63e−05 1.27e−05 1.56e−06 5.52e−07

Aus der a-posteriori-Fehlerabsch¨ atzung ergibt sich, daß schon f¨ ur k = 4 (statt k = 9) die gew¨ unschte Genauigkeit erreicht ist. △

Dahmen-Reusken

Kapitel 5

21

5.4 Konvergenzordnung und Fehlersch¨ atzung

Ein Maß f¨ ur die Konvergenzgeschwindigkeit einer Folge ist der Begriff der Konvergenzordnung. Definiton 5.14 Eine konvergente Folge {xk }k∈N in Rn mit Grenzwert x∗ hat die Konvergenzordnung p, falls f¨ ur ein k0 ∈ N kxk+1 − x∗k ≤ ckxk − x∗kp f¨ ur alle k ≥ k0 gilt, wobei 01 :

xk − xk−1 etwa konstant sein sollte. xk−1 − xk−2

x∗ − xk ≈ xk+1 − xk .

Beachte: f¨ ur p = 1 (lineare Konvergenz) ist x − x k k−1

oder |xk+1 − xk |

im allgemeinen keine sinnvolle Sch¨ atzung der Gr¨ oße des Fehlers |x∗ − xk |.

Dahmen-Reusken

Kapitel 5

26

5.18. Beispiel

F¨ ur die Fixpunktiteration xk+1 = Φ2(xk ) aus Beispiel 5.7 sind einige Resultate in Tabelle 5.3 zusammengestellt:

k

x0 = 0.5, xk+1 = Φ2 (xk )

0 1 2 3 4 5 6 7 8 9 10

0.500000000000 1.069913193934 1.128908359044 1.134208317737 1.134678435924 1.134720089466 1.134723779696 1.134724106623 1.134724135586 1.134724138152 1.134724138379

Dahmen-Reusken

x − xk−1 Ak = x k − x k−1 k−2 − − 0.1035161 0.0898372 0.0887022 0.0886023 0.0885934 0.0885926 0.0885926 0.0885926 0.0885925

Ak (x − x k−1 ) 1 − Ak k − − 6.81e−03 5.23e−04 4.58e−05 4.05e−06 3.59e−07 3.18e−08 2.82e−09 2.49e−10 2.21e−11

Kapitel 5

x∗ − xk

6.35e−01 6.48e−02 5.82e−03 5.16e−04 4.57e−05 4.05e−06 3.59e−07 3.18e−08 2.82e−09 2.49e−10 2.21e−11

27

Fehlersch¨ atzung f¨ ur Vektorfolgen

n mit Grenzwert Lemma 5.19. Sei {xk }∞ eine konvergente Folge in R k=0 ∗ x und Konvergenzordnung p > 1. Dann gilt

kxk+1 − xk k lim =1 . k→∞ kek k

Aus diesem Resultat ergibt sich folgende Fehlersch¨ atzung f¨ ur den Fall p > 1:

p>1:

kxk − x∗k ≈ kxk+1 − xk k,

f¨ ur k gen¨ ugend groß .

Es sei bemerkt, daß im skalaren Fall (5.37) der Fehler ek und im vektoriellen Fall die Gr¨ oße des Fehlers, kek k, gesch¨ atzt wird.

Dahmen-Reusken

Kapitel 5

28

5.5 Berechnung von Nullstellen von skalaren Gleichungen 5.5.1 Bisektion Algorithmus 5.20. Gegeben a0 < b0 mit f (a0)f (b0 ) < 0. F¨ ur k = 0, 1, 2, . . . berechne: • xk = 1 2 (ak + bk ), f (xk ). • Setze ak+1 = ak , ak+1 = xk , f

bk+1 = xk bk+1 = bk

falls f (xk )f (ak ) ≤ 0 sonst.

x0 = a1 = a2 x2 = a3 = a4

b0 = b1 x

a0 x3 = b4 x1 = b2 = b3

Dahmen-Reusken

Kapitel 5

29

Beispiel 5.21.

Nullstellenaufgabe aus Beispiel 5.7: Gesucht wird die Nullstelle x∗ ∈ [0, 2] der Funktion f (x) = x6 − x − 1. Die Bisektion mit a0 = 0, b0 = 2 liefert die Resultate:

k 0 1 2 3 4 5 6 7 8 9 10

ak 0.00000 1.00000 1.00000 1.00000 1.12500 1.12500 1.12500 1.12500 1.13281 1.13281 1.13281

Dahmen-Reusken

bk 2.00000 2.00000 1.50000 1.25000 1.25000 1.18750 1.15625 1.14062 1.14062 1.13672 1.13477

xk 1.00000 1.50000 1.25000 1.12500 1.18750 1.15625 1.14062 1.13281 1.13672 1.13477 1.13379

bk − ak 2.00000 1.00000 0.50000 0.25000 0.12500 0.06250 0.03125 0.01562 0.00781 0.00391 0.00195

Kapitel 5

f (xk ) −1.00000 8.89062 1.56470 −0.09771 0.61665 0.23327 0.06158 −0.01958 0.02062 0.00043 −0.00960

30

5.5.2 Das Newton-Verfahren Die Iterationsfunktion Φ soll so konstruiert werden, daß xk+1 = Φ(xk ) m¨ oglichst schnell konvergiert. Ansatz: Φ(x) = x − g(x)f (x). Es gilt 1 Φ (x ) = 0 ⇐⇒ g(x ) = ′ ∗ . f (x ) ′

∗

∗

Deshalb f (x) Φ(x) := x − ′ . f (x) f (x ) xk+1 = xk − ′ k , f (xk ) Dahmen-Reusken

k = 0, 1, 2, . . . .

Kapitel 5

31

Konvergenz des Newton-Verfahrens

Satz 5.22. Sei f zweimal stetig differenzierbar in einer Umgebung U = (a, b) von x∗, und es gelte f (x∗) = 0, f ′ (x∗) 6= 0. k) : Dann gilt f¨ ur xk ∈ U und xk+1 := xk − ff′(x (xk )

1 f ′′(ξk ) ∗ 2 (x − x ) , xk+1 − x = k ′ 2 f (xk ) ∗

ξk ∈ U,

also ist das Newton-Verfahren lokal quadratisch konvergent.

Dahmen-Reusken

Kapitel 5

32

Beispiel 5.23. Aufgabe: Bestimmung der Nullstelle x∗ ∈ [0, 2] der Funktion f (x) = x6 − x − 1.

Das Newton-Verfahren ergibt in diesem Fall xk+1 = xk − Einige Resultate: k 0 1 2 3 4 5 6 7 8 9

x0 = 0.5 0.50000000000000 −1.32692307692308 −1.10165080870249 −0.92567640260338 −0.81641531662254 −0.78098515830640 −0.77810656986872 −0.77808959926268 −0.77808959867860 −0.77808959867860

Dahmen-Reusken

x6 k − xk − 1 6x5 k −1

.

x0 = 2 2.00000000000000 1.68062827225131 1.43073898823906 1.25497095610944 1.16153843277331 1.13635327417051 1.13473052834363 1.13472413850022 1.13472413840152 1.13472413840152 Kapitel 5

xk+1 − xk −3.19e−01 −2.50e−01 −1.76e−01 −9.34e−02 −2.52e−02 −1.62e−03 −6.39e−06 −9.87e−11 0.00e+00 − 33

Beispiel 5.24. √ √ Man berechne a f¨ ur ein a > 0. a ist L¨ osung von f (x) := x2 − a = 0. Das Newton-Verfahren ergibt in diesem Fall 1 a xk+1 = xk + . 2 xk k 0 1 2 3 4 5 6 7 8 9 10

Dahmen-Reusken

xk 100.00000000000000 50.01000000000000 25.02499600079984 12.55245804674590 6.35589469493114 3.33528160928043 1.96746556223115 1.49200088968972 1.41624133202894 1.41421501405005 1.41421356237384

xk+1 − xk −5.00e+01 −2.50e+01 −1.25e+01 −6.20e+00 −3.02e+00 −1.37e+00 −4.75e−01 −7.58e−02 −2.03e−03 −1.45e−06 − Kapitel 5

√

2 − xk −9.86e+01 −4.86e+01 −2.36e+01 −1.11e+01 −4.94e+00 −1.92e+00 −5.53e−01 −7.78e−02 −2.03e−03 −1.45e−06 −7.45e−13 34

Geometrische Deutung und Konvergenz 1 f (x) = f (xk ) + (x − xk )f ′ (xk ) + (x − xk )2f ′′(ξk ) 2 Tangente: T (x) = f (xk ) + (x − xk )f ′ (xk ). T (xk+1) = 0 6T (x) S S

⇔

f (xk ) xk+1 = xk − ′ . f (xk )

S S S S···s ·S ··· S ·· Q S ·· Q ·· SQ · ·· SQQ · S Q··s ·· ·· S ··· QQ · ·· Q SS·· ·s ·s Qs xk xk+1 xk+2

f (x)

Dahmen-Reusken

Kapitel 5

35

5.5.3 Newton-¨ ahnliche Verfahren Sekanten-Verfahren s 6f (x) QQ Q Q Q Q@ Q@ Q s @ Q Q @ Q @Q @ QQ @ Q @ QQ s @s xk−1 xk xk+2@ xk+1 @s @ @

-

xk−1f (xk ) − xk f (xk−1) xk+1 = f (xk ) − f (xk−1) ! xk − xk−1 = xk − f (xk ) . f (xk ) − f (xk−1) Dahmen-Reusken

Kapitel 5

36

Konvergenzordnung: p ≈ 1.6 Beispiel 5.26. F¨ ur f (x) = x6 −x−1 = 0 liefert die Sekanten-Methode:

k 0 1 2 3 4 5 6 7 8 9

xk 2.00000000000000 1.00000000000000 1.01612903225806 1.19057776867664 1.11765583094155 1.13253155021613 1.13481680800485 1.13472364594870 1.13472413829122 1.13472413840152

xk+1 − xk −1.00e+00 1.61e−02 1.74e−01 −7.29e−02 1.49e−02 2.29e−03 −9.32e−05 4.92e−07 1.10e−10 −

Die Werte in der dritten Spalte ergeben eine Fehlerabsch¨ atzung. Dahmen-Reusken

Kapitel 5

37

5.6 Das Newton-Verfahren f¨ ur Systeme Aufgabe: f (x) = 0 wobei f : Rn → Rn (f¨ ur n > 1) eine zweimal stetig differenzierbare vektorwertige Funktion ist. xk = (xk1, . . . , xkn)T ∈ Rn . Taylorentwicklung: k

fi (x) = fi (x ) +

n X ∂fi(xk )

j=1

∂xj



Kompakt:

∂f1 (x)  ∂x1  ′ f (x) =  ..  ∂f (x) n ∂x1

  k k 2 (xj − xj ) + O kx − x k2 ,  ∂f1 (x) ∂xn  ..    ∂fn (x) ∂xn

··· ···

i = 1, 2, . . . n.

(Jacobimatrix).

 k 2 f (x) = f (x ) + f (x )(x − x ) + O kx − x k2 . k

Dahmen-Reusken

′

k

k

Kapitel 5



38

Linearisierung: 0 = f (xk ) + f ′ (xk )(xk+1 − xk ). Hieraus erh¨ alt man xk+1 = xk − (f ′ (xk ))−1f (xk ).

Algorithmus 5.28 (Newton-Iteration) Gegeben: Startwert x0. F¨ ur k = 0, 1, 2, . . .: • Berechne f (xk ), f ′(xk ) • L¨ ose das lineare Gleichungssystem in sk f ′(xk )sk = −f (xk ). • Setze (Newton-Korrektur) xk+1 = xk + sk . Dahmen-Reusken

Kapitel 5

39

Beispiel 5.29 f1(x1, x2) = 6x1 − cos x1 − 2x2 = 0 ,

Man erh¨ alt

f2(x1, x2) = 8x2 − x1x2 2 − sin x1 = 0 . f ′ (x) =

6 + sin x1 −x2 2 − cos x1

!

−2 . 8 − 2x1x2

!

  0 0 0 F¨ ur den Startwert x = ergibt sich f (x ) = −1 und 0 0 ! 6 −2 f ′(x0) = . Man hat

−1

8

!

6 −2 −1 8

s0 1 s0 2

!

=−

−1

0

zu l¨ osen. Man erh¨ alt s0 =

Dahmen-Reusken

!

1 8 , 1 46

x1 = x0 + s0 =

Kapitel 5

!

1 8 . 1 46

△ 40

Satz 5.31. Sei Ω ⊂ Rn offen und konvex, f : Ω → Rn stetig differenzierbar mit det f ′ (x) 6= 0 f¨ ur alle x ∈ Ω. Sei β, so daß k(f ′(x))−1k ≤ β

f¨ ur alle x ∈ Ω.

Ferner sei f ′(x) auf Ω Lipschitz-stetig mit einer Konstanten γ: kf ′ (x) − f ′(y)k ≤ γkx − yk,

x, y ∈ Ω.

Weiterhin existiere eine L¨ osung x∗ von f (x) = 0 in Ω. Der Startwert x0 erf¨ ulle x0 ∈ Kω (x∗) := { x ∈ Rn | kx∗ − xk < ω } mit ω hinreichend klein, so daß Kω (x∗) ⊂ Ω und 2 ω≤ . βγ Dann bleibt die durch das Newton-Verfahren definierte Fol∗ ge {xk }∞ k=0 innerhalb von Kω (x ) und konvergiert quadratisch gegen x∗: kxk+1 − x∗k ≤ Dahmen-Reusken

βγ k kx − x∗k2 , 2

k = 0, 1, 2, . . . .

Kapitel 5

41

Beispiel 5.33. Beispiel 5.2. F¨ ur n = 60 ergibt sich das Gleichungssystem fi(x1, x2, . . . , x60) = 0,

i = 1, 2, . . . , 60,

wobei    1 1  60 i−2 j−2  3 1 X cos fi(x1, x2, . . . , x60) = xi + xj − 2. 60 j=1 3600  2     1  i−  2  1 cos   x2 ur i = j 1 +   ∂f (x) i f¨ 20 3600 i ′    = f (x) =   1 1 i,j ∂xj  i− 2 j− 2    1 2 f¨  x ur i 6= j.  20 cos j 3600

In jedem Iterationsschritt des Newton-Verfahrens werden

• die Jacobi-Matrix f ′(xk ) und der Funktionswert f (xk ) berechnet, • das lineare Gleichungssystem f ′ (xk )sk = −f (xk ) gel¨ ost, • xk+1 = xk + sk berechnet. Dahmen-Reusken

Kapitel 5

42

Ergebnisse f¨ ur den Startwert x0 = (2, 2, . . . , 2)T :

k 0 1 2 3 4 5 6

kf (xk )k2 5.87e+01 1.50e+01 2.52e+00 1.31e−01 4.10e−04 4.09e−09 2.51e−15

kxk+1 − xk k2 4.75e+00 2.31e+00 5.78e−01 3.32e−02 1.05e−04 1.05e−09 −

Die dritte Spalte zeigt die Fehlersch¨ atzung (5.40).

Dahmen-Reusken

Kapitel 5

43

Es gilt 1 i − 2 , i = 1, 2, . . . , 60. x6 i ≈ u(ti ) = u 60 Diese N¨ aherung der Funktion u(x), x ∈ [0, 1], ist in folgender Abbildung dargestellt:



1.15 + + 1.1

1.05

1 ++ 0.95 + + + + + +

+++

+ ++

+

+ ++

+

++

+

+

+

+

+

+

+

+

+

+

+

0.9 0

Dahmen-Reusken

0.1

0.2

0.3

0.4

0.5

0.6

0.7

Kapitel 5

0.8

0.9

1

44

5.6.2 Hinweise zur praktischen Durchf¨ uhrung des Newton-Verfahre

Das vereinfachte Newton-Verfahren • Aufstellen der Jacobi-Matrix im ersten Schritt f ′ (x0). • Statt f ′ (xk ) in (5.55) verwende f ′(x0), d.h., f ′ (x0)sk = −f (xk ),

xk+1 = xk + sk

f¨ ur k = 0, 1, 2, . . ..

Dadurch geht allerdings die quadratische Konvergenz verloren. In der Praxis verwendet man daher eine Mischform, wobei man f ′ nach etwa 3 bis 5 Schritten erneuert.

Dahmen-Reusken

Kapitel 5

45

Auswertung der Jacobi-Matrix

Eintr¨ age der Jacobi-Matrix: ∂fi(xk ) . ∂xj Ann¨ aherung durch numerische Differentiation: ∂fi(x) fi(x + hej ) − fi(x) ≈ , ∂xj h

ej = (0, . . . , 0, 1, 0, . . . , 0)T ,

Allgemein wird ein zu großes h die Genauigkeit der Approximation von f ′(xk ) und damit ebenfalls die Konvergenz der Newton-Iteration beeintr¨ achtigen. Ein zu kleines h birgt hingegen die Gefahr der Ausl¨ oschung.

Dahmen-Reusken

Kapitel 5

46

Wahl des Startwertes Beispiel 5.34. f1(x, y) =

f2(x, y) =

3 X

mi(xi − x)

=0

3 X

mi(yi − y)

=0

2 2 3/2 i=1 ((xi − x) + (yi − y) )

2 2 3/2 i=1 ((xi − x) + (yi − y) )

U (x, y) := F¨ ur f1, f2 gilt

3 X

mi

2 2 1/2 i=1 ((xi − x) + (yi − y) )

!

f1(x, y) = ∇U (x, y). f2(x, y) Also ist (x∗, y ∗) L¨ osung des Systems genau dann, wenn (x∗, y ∗) ein lokales Minimum, lokales Maximum oder ein Sattelpunkt des Potentials U ist. Dahmen-Reusken

Kapitel 5

47

5

4

3

2

1

0

−1 −4

−3

−2

−1

0

1

2

3

Aus diesem Bild erkennt man, daß U zwei Sattelpunkte und keine lokalen Maxima oder Minima hat. Das System hat also genau zwei L¨ osungen. Dahmen-Reusken

Kapitel 5

48

Anhand der Graphik kann man geeignete Startwerte w¨ ahlen. Ergebnisse der Newton Methode: k 0 1 2 3 4

xk −0.800000000000000 −0.697601435074387 −0.694138545697644 −0.694134676058600 −0.694134676055255

yk 0.200000000000000 0.281666888630281 0.284468076535443 0.284469396792393 0.284469396789285

kf (xk , y k )k2 3.25e−01 1.03e−02 1.09e−05 9.67e−12 2.02e−16

k(xk , y k ) − (xk+1, y k+1 1.31e−01 4.45e−03 4.09e−06 4.57e−12 -

k 0 1 2 3 4

xk 0.5000000000000000 0.4803549525148845 0.4825811382211886 0.4825819025667199 0.4825819025657873

yk 2.200000000000000 2.260066598359946 2.259618040348963 2.259619618799409 2.259619618798127

kf (xk , y k )k2 1.87e−01 4.51e−03 4.01e−06 3.13e−12 3.33e−16

k(xk , y k ) − (xk+1, y k+1 ) 6.32e−02 2.27e−03 1.75e−06 1.59e−12 -

Dahmen-Reusken

Kapitel 5

49

Homotopieverfahren

Dabei wird durch einen Problemparameter oder durch einen k¨ unstlich eingef¨ uhrten Parameter µ aus einem System von nichtlinearen Gleichungen eine Familie von Problemen F (x, µ) = 0 definiert. Etwa im Falle von Beispiel 5.2 kann man z.B. die Familie ui + h

n X

j=1

µ

cos(ti tj )uj − 2 = 0,

i = 1, 2, . . . , n,

mit 1 ≤ µ ≤ 3, definieren. F¨ ur µ0 = 1 ist dieses Problem linear, und man hat keine Schwierigkeiten bez¨ uglich der Wahl des Startwerts. Die berechnete L¨ osung uµ0 kann dann als Startwert f¨ ur ein benachbartes“ ” Problem mit µ1 > µ0 verwendet werden, usw.

Dahmen-Reusken

Kapitel 5

50

Das ged¨ ampfte Newton-Verfahren

Man setzt xk+1 = xk + λsk f¨ ur ein passendes λ = λk , 0 ≤ λ ≤ 1. 6

   s          s      s  s s    k+1 k  xk + sk x x

Dahmen-Reusken

Kapitel 5

-

51

x0 , k = 0

?

berechne Korrektur k := k + 1

-

f ′(xk )sk = −f (xk ) λ := 1 ?

Nein Test

D¨ ampfung 

Ja xk+1 := x

k ≥ kmax oder |||f (xk+1)|||k ≤tol

x :=

xk

+

Cλ := 1 − |||f (x)|||k ≤ Cλ



λsk

Ja

λ 4

|||f (xk )|||

Nein k

Ja

λ :=

-

1 λ 2

Test λ ≥ λmin

Nein

?

?

Abbruch

Dahmen-Reusken

?

Abbruch

Kapitel 5

52

5.7. Berechnung von Nullstellen von Polynomen Sei Pn ein Polynom: Pn(x) =

Pn j j=0 aj x ,

an 6= 0.

Deflation Ist eine Nullstelle z von Pn bekannt, so kann man den linearen Faktor (x − z) abspalten. Aus Pn(x) = (x − z)Pn−1(x) + R ,

Pn−1(x) =

n−1 X j=0

bj xj ,

R∈R ,

folgt durch Koeffizientenvergleich: an = bn−1, an−1 = bn−2 − zbn−1,

an−2 = bn−3 − zbn−2, .. a1 = b0 − zb1, a0 = R − zb0 .

Dahmen-Reusken

Kapitel 5

53

Die Bairstow-Methode Mit der Bairstow-Methode kann bei der Bestimmung von komplexen Nullstellen eines reellen Polynoms das Rechnen mit komplexen Zahlen vermieden werden. Sei an = 1. Ist z1 = u1 + i v1 (u1, v1 ∈ R) eine komplexe Nullstelle, dann ist auch z 1 = u1 − i v1 eine Nullstelle von Pn . Das Produkt 2 (x − z1)(x − z 1) = x2 − 2u1x + u2 1 + v1

ist ein quadratischer Teiler von Pn mit reellen Koeffizienten. Faktorisierung von Pn mit einem quadratischen Polynom: f¨ ur gegebenes r, s ∈ R und qr,s(x) = x2 − rx − s ,

Pn(x) = xn + an−1xn−1 + . . . + a0 (n ≥ 2),

will man Pn−2(x) = xn−2 +bn−3xn−3 +. . .+b0 und A, B ∈ R bestimmen, so daß gilt Pn(x) = qr,s(x)Pn−2(x) + Ax + B Dahmen-Reusken

f¨ ur alle x ∈ R .

Kapitel 5

54

Durch Koeffizientenvergleich ergibt sich folgende Methode: Algorithmus 5.39 (Polynomdivision eines quadratischen Faktors) Eingabe: Koeffizienten a0, . . . , an−1 des Polynoms Pn (an = 1) und r, s ∈ R. bn−3 = an−1 + r; bn−4 = an−2 + rbn−3 + s; F¨ ur j = n − 5, . . . , 0 : bj = aj+2 + rbj+1 + sbj+2; A = a1 + rb0 + sb1; B = a0 + sb0; Offensichtlich h¨ angen Pn−2, A und B von r und s ab, und qr,s teilt genau dann Pn , wenn A = B = 0 gilt. Die Aufgabe, solche r und s zu finden, kann man als 2 × 2-Nullstellenproblem

interpretieren. Dahmen-Reusken

  A(r, s) = 0  B(r, s) = 0

Kapitel 5

55

Hierauf l¨ aßt sich das Newton-Verfahren anwenden: rk+1 sk+1

!

=

rk sk

!



∂A ∂r −  ∂B ∂r

 ∂A −1 ∂s  ∂B ∂s |(rk ,sk )

A(rk , sk )

!

B(rk , sk )

Zur Bestimmung der partiellen: Lemma 5.40. Sei n ≥ 4 und Pn(x), qr,s(x) wie oben mit r, s ∈ R ˆ B ˆ so daß beliebig. Seien Pn−2 ∈ Πn−2, Pn−4 ∈ Πn−4 und A, B, A, Pn(x) = qr,s(x)Pn−2(x) + Ax + B ˆ +B ˆ Pn−2(x) = qr,s(x)Pn−4(x) + Ax Dann gilt: ∂A ˆ = A, ∂s

∂B ˆ = B, ∂s

∂A ˆ + B, ˆ = rA ∂r

∂B ˆ. = sA ∂r

F¨ ur den Fall n ≤ 3 kann man sofort explizite Formeln f¨ ur A(r, s) und B(r, s) herleiten. Dahmen-Reusken

Kapitel 5

56