Kapitel 5

Konvergenz von Folgen von Zufallsvariablen 5.1

Fast-sichere und stochastische Konvergenz

Seien (Ω, A, P) ein W-Raum, Xn (n ∈ N) eine Folge Rk -wertiger Zufallsvariablen auf Ω und X eine Rk -wertige Zufallsvariable auf Ω (f¨ur eine feste Dimension k ∈ N) : Xn : (Ω, A) −→ (Rk , B k ) ∀ n ∈ N ,

X : (Ω, A) −→ (Rk , Bk ) .

Definition 5.1 (Fast-sichere Konvergenz) Die Folge Xn konvergiert fast-sicher gegen X, abk¨ urzende Schreibweise: Xn → X f.s. , wenn es ein Ω0 ∈ A mit P(Ω0 ) = 1 gibt, so dass lim Xn (ω) = X(ω) ∀ ω ∈ Ω0 .

n→∞

Definition 5.2 (Stochastische Konvergenz) st

Die Folge Xn konvergiert stochastisch gegen X, abk¨ urzende Schreibweise: Xn → X , wenn f¨ ur jedes reelle ε > 0 gilt: ³° ´ ° lim P ° Xn − X ° > ε = 0 . n→∞

(Dabei bezeichnet k · k die euklidische Norm auf Rk ; wir k¨onnen auch irgendeine Norm auf Rk nehmen – der obige Konvergenzbegriff ¨andert sich nicht).

Bemerkungen: 1. Eine andere Bezeichnung f¨ ur die stochastische Konvergenz (der Folge Xn gegen X) ist Konvergenz in Wahrscheinlichkeit (der Folge Xn gegen X). 2. Es verwundert angesichts der beiden Definitionen nicht, dass die Limesvariable X im Fall st Xn → X f.s. oder Xn → X nicht streng eindeutig bestimmt ist, sondern nur P-fast-sicher eindeutig bestimmt ist. 3. F¨ ur Dimension k ≥ 2 lassen sich die beiden genannten Konvergenzbegriffe auf die k reellen Komponentenvariablen von Xn und von X herunterbringen. Seien Xn = (Xn1 , . . . , Xnk ) ∀ n ∈ N und X = (X1 , . . . , Xk ) , 32

Norbert Gaffke: Vorlesung “Einf¨ uhrung in die Wahrscheinlichkeitstheorie und Statistik”, Sommersemester 2010

Kapitel 5: Konvergenz von Folgen von Zufallsvariablen

33

¨ Dann gelten die Aquivalenzen: Xn → X f.s. st

Xn → X

⇐⇒

Xni → Xi f.s. ∀ i = 1, . . . , k ; st

⇐⇒

Xni → Xi ∀ i = 1, . . . , k .

(5.1) (5.2)

Theorem 5.3 (Beziehungen zwischen fast-sicherer und stochastischer Konvergenz) ¨ (a) Es gilt die Aquivalenz: ³ Xn → X f.s. Insbesondere:

⇐⇒

lim P

n→∞

´ ° ° sup ° Xm − X ° > ε = 0 ∀ ε > 0 .

m: m≥n

st

Xn → X f.s. impliziert Xn → X .

st

(b) Wenn Xn → X , dann existiert eine Teilfolge Xni (i ∈ N) (mit einer strikt aufsteigenden Folge n1 < n2 < . . . < ni < . . . in N ), so dass Xni → X f.s. (f¨ ur i → ∞). acher als fast-sichere Konvergenz Beispiel: Stochastische Konvergenz ist i.A. schw¨ 1 1 Seien Ω = [ 0 , 1 ), A = B[0 , 1) und P = λλ[0 , 1) (die Gleichverteilung auf dem Intervall [ 0 , 1 ) ). Definiere hi−1 i ´ , Ai,m := ∀ i = 1, . . . , m , ∀ m ∈ N , m m n o W¨ahle irgendeine Abz¨ahlung der Indexmenge (i, m) : i ∈ {1, . . . , m} , m ∈ N : N 3 n 7−→ (in , mn ) , und betrachte die Folge reller Zufallsvariablen Xn := 1 Ain ,mn , n ∈ N. st

Man sieht leicht: Xn → 0 ; aber f¨ ur jedes ω ∈ [ 0 , 1 ) hat die Folge Xn (ω) (n ∈ N) unendlich viele Glieder gleich 1 und unendlich viele Glieder gleich 0, und ist daher nicht konvergent. Lemma 5.4 (Cauchy-Kriterium fu ¨ r fast-sichere Konvergenz) F¨ ur eine gegebene Folge Xn (n ∈ N) Rk -wertiger Zufallsvariablen auf Ω sind die drei folgenden Bedingungen (i), (ii) und (iii) ¨aquivalent. (i) Es existiert eine Rk -wertige Zufallsvariable X auf Ω mit Xn → X f.s. . (ii) F¨ ur jedes ε > 0 gilt

³ ´ ° ° lim P sup ° Xn+r − Xn ° > ε = 0 .

n→∞

(iii)

r∈N

sup k Xr − Xs k → 0 f.s. (f¨ur n → ∞).

r,s ≥n

Bemerkung: Continuous Mapping Theorem (CMT) f¨ ur fast-sichere Konvergenz F¨ ur die fast-sichere Konvergenz ist offensichtlich, dass sie sich auf eine stetige Transformation der einzelnen Zufallsvariablen u ¨bertr¨agt: Wenn Xn → X f.-s. und G : Rk −→ R` stetig, dann G ◦ Xn → G ◦ X f.s. Die Voraussetzung der Stetigkeit von G auf ganz Rk ist unn¨ otig resrriktiv; man zeigt leicht (“CMT” f¨ ur fast-sichere Konvergenz”, vergl. Theorem 5.3 unten) : Wenn Xn → X f.s. und G : (Rk , Bk ) −→ (R` , B ` ) mit P( X ∈ CG ) = 1 , dann

G ◦ Xn → G ◦ X f.s. ; © ª dabei bezeichnet: CG := x ∈ Rk : G ist stetig im Punkt x .

Norbert Gaffke: Vorlesung “Einf¨ uhrung in die Wahrscheinlichkeitstheorie und Statistik”, Sommersemester 2010

Kapitel 5: Konvergenz von Folgen von Zufallsvariablen

34

Angemerkt sei, dass in der Tat die Menge CG (Menge aller Stetigkeitspunkte von G) eine Borel’sche Menge ist, was man aus der folgenden Darstellung von (CG )c (Menge aller Unstetigkeitspunkte von G) sieht: F¨ ur alle m, n ∈ N ist n o 1 Am,n := x ∈ Rk : ∃ y, z ∈ Rk mit |y − x| < n1 , |z − x| < n1 , kG(y) − G(z)k ≥ m eine offene Teilmenge von Rk , und es gilt (CG )c =

∞ ³ \ ∞ [ m=1

´ Am,n .

n=1

Theorem 5.5 (CMT fu ¨ r stochastische Konvergenz) st

st

Wenn Xn → X und G : (Rk , B k ) −→ (R` , B` ) mit P( X ∈ CG ) = 1 , dann G ◦ Xn → G ◦ X .

Korollar 5.6 st

st

Wenn Xn → X (Rk -wertige ZV’en auf Ω), Yn → Y (R` -wertige ZV’en auf Ω) und H : (Rk+` , B k+` ) −→ (Rm , Bm ) mit P( (X, Y ) ∈ CH ) = 1 ,

5.2

st

dann H ◦ (Xn , Yn ) → H ◦ (X, Y ) .

Schwaches Gesetz der Großen Zahlen

Zur Motivation der Problemstellungen, die wir in diesem und auch im darauf folgenden Abschnitt (Starkes Gesetz der Großen Zahlen) betrachten werden: Seien x1 , . . . , xn beobachtete Werte von u.i.v. reellen Zufallsvariablen X1 , . . . , Xn , also xi = Xi (ω) , n P i = 1, . . . , n , f¨ ur ein ω ∈ Ω. Dann sollte f¨ ur großes n approximativ gelten: x := n1 xi ≈ β , wobei i=1

β den (identischen) Erwartungswert der Zufallsvariablen Xi bezeichnet (die P-integrierbar seien). Das Schwache Gesetz der Großen Zahlen (engl. Weak Law of Large Numbers, WLLN) pr¨ azisiert dies als n P st stochastische Konvergenz X n := n1 Xi → β , das Starke Gesetzes der Großen Zahlen (engl. Strong i=1

Law of Large Numbers, SLLN) als fast-sichere Konvergenz X n → β f.s.

Wir bemerken noch, dass die Beschr¨ankung auf reelle Zufallsvariablen im Vergleich zur Situation von Rk -wertigen Zufallsvariablen f¨ ur die genannten Fragestellungen nichts ausmacht, da letztere Situation auf die (reellen) Komponentenvariablen zur¨ uckgef¨ uhrt werden kann. Im Folgenden sei (Ω, A, P) ein W-Raum. Lemma 5.7 (Tchebychev-Ungleichung) Sei X eine quadrat-P-integrierbare reelle Zufallsvariable auf Ω. Dann gilt f¨ ur jedes ε > 0 : ³ ´ Var(X) P | X − E(X) | ≥ ε ≤ . ε2

Norbert Gaffke: Vorlesung “Einf¨ uhrung in die Wahrscheinlichkeitstheorie und Statistik”, Sommersemester 2010

Kapitel 5: Konvergenz von Folgen von Zufallsvariablen

35

Korollar 5.8 Sei Yn (n ∈ N) eine Folge quadrat-P-integrierbarer reeller Zufallsvariablen auf Ω mit E(Yn ) = 0 st ∀ n ∈ N und mit lim Var(Yn ) = 0 . Dann gilt Yn → 0 . n→∞

Theorem 5.9 (Schwaches Gesetz der Großen Zahlen) Sei Xi (i ∈ N) eine Folge quadrat-P-integrierbarer und paarweise unkorrelierter reeller Zufallsvariablen n P auf Ω. Bezeichne X n := n1 Xi ∀ n ∈ N. Es gilt: i=1

Wenn

lim

n→∞

n 1 X Var(Xi ) = 0 , n2

¡ ¢ st dann X n − E X n → 0 .

i=1

Korollar 5.10 (WLLN fu ¨ r identisch verteilte ZV’en) Sei Xi (i ∈ N) eine Folge quadrat-P-integrierbarer, identisch verteilter und paarweise unkorrelierter reeller Zufallsvariablen auf Ω. Dann gilt, mit β := E(Xi ) : st

Xn → β .

5.3

Starkes Gesetz der Großen Zahlen

Lemma 5.11 (Hilfsresultate: Toeplitz- und Kronecker-Lemma) Sei xi (i ∈ N) eine reelle Zahlenfolge. (a) Wenn

lim xi = x ∈ R , dann

lim

n→∞

i→∞

(b) Wenn die Reihe

n X i=1

n 1 X xi = x . n i=1

xi , (n ∈ N), in R konvergiert, dann i

n 1 X lim xi = 0 . n→∞ n i=1

Im Folgenden sei (Ω, A, P) ein W-Raum. Lemma 5.12 (Borel-Cantelli-Lemma) Sei eine Folge von Ereignissen An ∈ A (n ∈ N) gegeben. Bezeichne A := lim sup An = n→∞

(a) Wenn

∞ X

∞ ³ [ ∞ \ n=1

´ Am

=

©

ω ∈ Ω : ω ∈ An f¨ ur unendlich viele n ∈ N

ª

m=n

P(An ) < ∞ , dann gilt P(A) = 0 .

n=1

(b) Wenn die Ereignisse An (n ∈ N) stochastisch unabh¨ angig sind (d.h. f¨ur jedes N ∈ N sind ∞ X A1 , . . . , AN stochastisch unabh¨angig) und wenn P(An ) = ∞ , dann gilt P(A) = 1 . n=1

.

Norbert Gaffke: Vorlesung “Einf¨ uhrung in die Wahrscheinlichkeitstheorie und Statistik”, Sommersemester 2010

Kapitel 5: Konvergenz von Folgen von Zufallsvariablen

36

Lemma 5.13 (Kolmogorov-Ungleichung) Seien Y1 , . . . , Yn stochastisch unabh¨angige quadrat-P-integrierbare reelle Zufallsvariablen auf Ω mit E(Yi ) = 0 ∀ i = 1, . . . , n. j X Bezeichne Sj := Yi f¨ ur j = 1, . . . , n. Dann gilt f¨ ur jedes ε > 0 : i=1

³ P

n ´ ¯ ¯ 1 X ¡ 2¢ max ¯ Sj ¯ ≥ ε ≤ 2 E Yi . 1≤j≤n ε i=1

Lemma 5.14 (Kolmogorov & Khinchin) Sei Yi (i ∈ N) eine Folge stochastisch unabh¨ angiger quadrat-P-integrierbarer reeller Zufallsvariablen auf Ω mit E(Yi ) = 0 ∀ i ∈ N . (Die stochastische Unabh¨angigkeit der Yi (i ∈ N) bedeutet, dass die Zufallsvariablen Y1 , . . . , Yn stochastisch unabh¨angig sind, f¨ ur jede Wahl von n ∈ N).

Es gilt: ∞ n X X ¡ 2¢ Wenn E Yi < ∞ , dann konvergiert die Partialsummenfolge Sn := Yi , (n ∈ N), fast-sicher i=1

i=1

gegen eine reelle Zufallsvariable S auf Ω.

Theorem 5.15 (Starkes Gesetz der Großen Zahlen von Kolmogorov) Sei Xi (i ∈ N) eine Folge stochastisch unabh¨ angiger quadrat-P-integrierbarer reeller Zufallsvariablen n 1 P auf Ω. Bezeichne X n := n Xi , (n ∈ N) . Es gilt: i=1

Wenn

∞ X Var(Xi ) i=1

i2

< ∞,

dann

¡ ¢ X n − E X n → 0 f.s.

Wenn die Xi (i ∈ N) stochastisch unabh¨angig und identisch verteilt sowie quadrat-P-integrierbar sind, dann haben wir σ 2 := Var(Xi ) (konstant und endlich) und daher ∞ X Var(Xi ) i=1

i2

= σ2

∞ X 1 < ∞, i2 i=1

so dass mit Theorem 5.15 folgt (wobei β := E(Xi ) ) : ¡ ¢ X n − E X n → 0 f.s. , d.h. X n → β f.s. Hierf¨ ur reicht schon die P-Integrierbarkeit (statt der quadrat-P-Integrierbarkeit) der u.i.v. Zufallsvariablen Xi (i ∈ N) aus, und auch schon die Existenz des Erwartungswertes β = E(Xi ) ∈ R : Theorem 5.16 (SLLN f¨ ur eine Folge von u.i.v. reellen ZV’en mit Erwartungswert) Sei Xi (i ∈ N) eine Folge stochastisch unabh¨ angiger und identisch verteilter reeller Zufallsvariablen auf Ω mit existierendem Erwartungswert β := E(Xi ) ∈ R . Dann gilt X n → β f.s.

Norbert Gaffke: Vorlesung “Einf¨ uhrung in die Wahrscheinlichkeitstheorie und Statistik”, Sommersemester 2010

Kapitel 5: Konvergenz von Folgen von Zufallsvariablen

5.4

37

Konvergenz empirischer Verteilungsfunktionen

Zur Motivation: Seien x1 , . . . , xn beobachtete Werte von u.i.v. reellen Zufallsvariablen X1 , . . . , Xn , also xi = Xi (ω) , i = 1, . . . , n , (f¨ ur ein ω ∈ Ω). Die empirische Verteilungsfunktion o¯ 1 ¯¯ n ¯ Fbx1 ,...,xn (x) := ¯ i ∈ {1, . . . , n} : xi ≤ x ¯ ∀ x ∈ R n sollte f¨ ur großes n approximativ mit der “wahren” Verteilungsfunktion F (die Verteilungsfunktion von PXi ) u ¨bereinstimmen: Fbx1 ,...,xn (x) ≈ F (x) ∀ x ∈ R . Das Starke Gesetz der Großen Zahlen (Theorem 5.16) ergibt eine erste Pr¨ azisierung; dabei setzen wir im Folgenden voraus: Seien (Ω, A, P) ein W-Raum und Xi (i ∈ N) eine Folge von u.i.v. reellen Zufallsvariablen auf Ω. Betrachte zu gegebenem x ∈ R die Zufallsvariable auf Ω : o¯ 1 ¯¯ n ¯ Fbn (x) : ω 7−→ ¯ i ∈ {1, . . . , n} : Xi (ω) ≤ x ¯ , n

n

1X 1 (−∞ , x ] ◦ Xi . d.h. Fbn (x) = n i=1

Mit Theorem 5.16 : Fbn (x) → F (x) f.s. ∀ x ∈ R ,

(wobei F die Verteilungsfunktion von PXi ).

Beachte: Eine mit dieser fast-sicheren Konvergenz implizierten Menge Ω0 ∈ A mit P(Ω0 ) = 1 wird von x abh¨angen: Ω0 = Ω0 (x) , x ∈ R. Der nachfolgende Satz von Glivenko-Cantelli versch¨arft aber die Konvergenzaussage in zweierlei Hinsicht: Zum einen gibt es eine “simultane” Teilmenge Ω0 ∈ A mit P(Ω0 ) = 1, so dass die Konvergenz Fbn (x)(ω) → F (x) f¨ ur alle ω ∈ Ω0 und alle x ∈ R g¨ ultig ist. Zum anderen ist die Konvergenz f¨ ur jedes ω ∈ Ω0 sogar gleichm¨ aßig in x.

Bezeichne, f¨ ur jedes n ∈ N : ¯ ¯ ¯ ¯ Dn (ω) := sup ¯ Fbn (x)(ω) − F (x) ¯ ∀ ω ∈ Ω , x∈R ¯ ¯ ¯ ¯ kurz: Dn = sup ¯ Fbn (x) − F (x) ¯ . x∈R

Mit der rechtsseitigen Stetigkeit der Verteilungsfunktion F und der empirischen Verteilungsfunktion x 7→ Fbn (x)(ω) f¨ ur jedes feste ω ∈ Ω sieht man, dass die oben definierte Funktion Dn : Ω −→ R messbar ist, also eine reelle Zufallsvariable auf Ω ist. Theorem 5.17 (Glivenko & Cantelli) F¨ ur eine Folge Xi (i ∈ N) von u.i.v. reellen Zufallsvariablen auf Ω gilt: Dn → 0 f.s.

(f¨ ur n → ∞) .