Vorlesung "Mathematik und Statistik" WS 2006 / 2007

Teil II

Statistik und Stochastik

Oktober 2006

Dozent: Dr. Norbert Marxer

2

Skript Statistik und Stochastik

0. Inhaltsverzeichnis 0. Inhaltsverzeichnis .................................................................................................

2

1. Einleitung ..................................................................................................................

7

Vorbemerkung ............................................................................................... Einleitung .......................................................................................................... Referenzen ......................................................................................................

7 7 9

2. Wahrscheinlichkeitstheorie .............................................................................. 10

Was ist Wahrscheinlichkeit? ................................................................. 10 Ergebnisraum und Ereignisraum .......................................................... 11 Zufallsexperiment ......................................................................................... 11 Illustration: Drei Mal eine Münze Werfen ................................................. 12 Illustration: Zwei Mal Würfeln ................................................................ 12 Empirisches Gesetz der grossen Zahlen ....................................................... 13

Kolmogorov'sches Axiomensystem ..................................................... 13 Eigenschaften von Wahrscheinlichkeitsmassen ............................................ 14 Beispiel 1 .............................................................................................. 14 Beispiel 2 .............................................................................................. 14 Venn Diagramme .......................................................................................... 15

3. Elementare Kombinatorik .................................................................................. 16

Einleitung .......................................................................................................... 16 Laplace Experimente .................................................................................. 16 Laplace Wahrscheinlichkeit ......................................................................... Mehrstufige Laplace Experimente - Baumdiagramme .................................

Bernoulli Experimente ................................................................................ Summenregel ................................................................................................. Produktregel .................................................................................................... Permutationen und Binomialverteilung ..............................................

16 17

17 17 18

18 Einleitung ..................................................................................................... Kombinatorik ........................................................................................ Mengenlehre .......................................................................................... Ohne Zurücklegen - alle verschieden ........................................................... Beispiel ................................................................................................. Ohne Zurücklegen - mehrere Klassen ........................................................... Ohne Zurücklegen - mit 2 Klassen ...............................................................

18 18 19 19 19 19 20

Urnenexperimente bei verschiedenen Elementen ....................... 20 Urnenexperimente ........................................................................................ Mit Zurücklegen und Geordnet (k-Tupel) .................................................... Beispiel ................................................................................................. Mit Zurücklegen und Ungeordnet (k-Repetition) ......................................... Beispiel ................................................................................................. Ohne Zurücklegen und Geordnet (k-Permutation) ....................................... Beispiel ................................................................................................. Ohne Zurücklegen und Ungeordnet (k-Kombinationen) ..............................

20 20 21 21 21 21 22 22

3

Skript Statistik und Stochastik

Beispiel .................................................................................................

Zusammenfassung - Ziehen mit verschiedenen Elementen ...........................

22 22

Verteilungen in Behälter ............................................................................ 23 Beispiel .................................................................................................

23

Urnenexperimente bei teilweise gleichen Elementen ................. 24 Einleitung ..................................................................................................... 24 Ziehen mit Zurücklegen - Variationen und Kombinationen ......................... 24 Beispiel ................................................................................................. 25 Beispiel ................................................................................................. 25 Ziehen ohne Zurücklegen - Variation und Kombination .............................. 25 Beispiel ................................................................................................. 25 Beispiel ................................................................................................. 25

4. Bedingte Wahrscheinlichkeiten ...................................................................... 26

Einleitung .......................................................................................................... 26 Bedingte Wahrscheinlichkeit .................................................................. 26 Beispiel .................................................................................................

27

Stochastische Unabhängigkeit .............................................................. 27 5. Zufallszahlengenerator ....................................................................................... 28

Einleitung .......................................................................................................... 28 6. Zufallsvariablen und ihre Verteilungen ........................................................ 29

Einleitung .......................................................................................................... 29 PDF und CDF ................................................................................................. 30 Diskrete Verteilung ................................................................................

33

Erwartungswert .............................................................................................. 33 Beispiel Würfeln ..........................................................................................

34

Diskrete Verteilungen ................................................................................. 34 Einleitung ..................................................................................................... Gleichverteilung (DiscreteUniformDistribution) .......................................... Einleitung .............................................................................................. Eigenschaften ........................................................................................ Bernoulli Verteilung (BernoulliDistribution) ............................................... Einleitung .............................................................................................. Eigenschaften ........................................................................................ Binomial Verteilung (BinomialDistribution bzw. BINOMVERT) ............... Einleitung .............................................................................................. Eigenschaften ........................................................................................ Die Anzahl der Erfolge beim n-maligen Münzen werfen. ........................... Beispiel 1 .............................................................................................. Beispiel 2 .............................................................................................. Beispiel 3 .............................................................................................. Poisson Verteilung (PoissonDistribution bzw. POISSON) .......................... Einleitung .............................................................................................. Eigenschaften ........................................................................................

34 35 35 36 36 36 37 38 38 39 39 39 40 40 41 41 41

Stetige Verteilungen .................................................................................... 41 Einleitung ..................................................................................................... 41 Normalverteilung (NormalDistribution bzw. NORMVERT, STANDNORMVERT) ....................................................................................................................... 42

4

Skript Statistik und Stochastik

Einleitung .............................................................................................. Eigenschaften ........................................................................................ Standardnormalverteilung .......................................................................

c2 Verteilung (ChiSquareDistribution bzw. CHIVERT) ............................. Einleitung .............................................................................................. Eigenschaften ........................................................................................ Student t Verteilung (StudentTDistribution bzw. TVERT) .......................... Eigenschaften ........................................................................................

42 43 43 44 44 44 44 45

Zentraler Grenzwertsatz ............................................................................ 46 Einleitung ..................................................................................................... Experiment ................................................................................................... Kugeln aus einer Urne ziehen .......................................................................

46 46 47

7. Statistik und empirische Daten ....................................................................... 49

Einleitung .......................................................................................................... 49 Datentypen ...................................................................................................... 50 8. Beschreibende Statistik ...................................................................................... 51

Einleitung .......................................................................................................... 51 Graphische Darstellungen ....................................................................... 52 Einleitung ..................................................................................................... Diskrete Datenreihe (n klein) ................................................................... Diskrete Daten (n gross: 1000) ................................................................ Stetige Daten (n gross: 1000) .................................................................. 8i, xi < ............................................................................................................. Diskrete Daten (n klein) .......................................................................... Diskrete Daten (n gross) ......................................................................... Stetige Daten (n gross) ............................................................................ 8i, xsort,i < ........................................................................................................ Diskrete Daten (n klein) .......................................................................... Diskrete Daten (n gross) ......................................................................... Stetige Daten (n gross) ............................................................................ Häufigkeitsfunktionen: 8xsort,i , ni 1) beträgt. k2

Wenn wir Informationen über die Verteilung haben, können wir in der Regel viel engere Intervalle (als das durch die Chebyshev Ungleichung angegebene) angeben. Die Wichtigkeit dieser Ungleichung rührt jedoch daher, dass sie für jede Verteilung - unabhängig davon wie die Daten verteilt sind - gilt.

Formmasse Der arithmetische Mittelwert und die Varianz beschreiben nicht immer genügend genau die Verteilung der Beobachtungen. Beispielsweise werden bei der Berechnung der Varianz die Abweichungen vom Mittelwert quadriert, weshalb wir nicht wissen, ob die grossen Abweichungen ein positives oder negatives Vorzeichen haben. Wir müssen deshalb neben den Lokalisations- und Streuungsmassen weitere Masse einführen, um weitere Eigenschaften einer Verteilung (mit einer Zahl) zu beschreiben. Ein wichtiger Punkt ist die Symmetrie von Verteilungen. Bei einer symmetrischen Verteilung ist jede Seite der Verteilung (um den Mittelwert) ein Spiegelbild der anderen Seite. Eine nichtsymmetrische Verteilung kann mit Hilfe der sogenannten zentralen Momente definiert weden. 1 Das r-te zentrale Moment ist definiert als mr = ÅÅÅÅ Hx - êêx Lr n ⁄i i

Wichtig sind vor allem das 2. (Varianz), das 3. (Schiefe) und das 4. (Wölbung) zentrale Moment. m3 xi -x Die Schiefe S (englisch Skewness, Skew) ist definiert als S = ÅÅÅÅ ÅÅÅÅ = ÅÅÅÅ1n ‚ I ÅÅÅÅÅÅÅÅ ÅÅÅÅ M , wobei m3 das dritte zentrale Moment ist. s3 s i êê 3

Für eine Stichprobe verwendet man S =

êê 3 xi -x n ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ ÅÅÅÅÅÅÅÅÅÅÅ I ÅÅÅÅÅÅÅÅ ÅÅÅÅ M . Hn-1L Hn- 2L ‚i s

Es gilt: † Die Schiefe ist ein (einheitenloses) Mass für die Symmetrie der Wahrscheinlichkeitsverteilung zum Mittelwert. † Eine symmetrische Verteilung hat die Schiefe 0. Eine Schiefe von 0.5 wird (bei mehr als 100 Datenpunkten) als gross betrachtet. † Ist die Schiefe > 0, so überwiegen die Summanden mit Hx - êêx L3 > 0, andernfalls umgekehrt. i

† Ist die Schiefe > 0, wird die Verteilung als rechtsschief (linkssteil), andernfalls als linksschief (rechtssteil) bezeichnet.

† Eine rechtsschiefe Verteilung hat viele kleine Abweichungen nach unten und wenige grosse Abweichungen nach oben (und damit einen langen Schwanz auf der rechten Seite). † Es gilt für eine rechtsschiefe unimodale Verteilung: Modus  Median  Mittelwert Es gilt für eine linksschiefe unimodale Verteilung: Mittelwert  Median  Modus Für Investoren ist eine rechtsschiefe unimodale Verteilung interessant, da der Mittelwert (der Returns) über dem Median liegt. Wenige grosse Gewinne überwiegen im Vergleich mit den vielen kleinen Verlusten. † Da die Normalverteilung die Schiefe Null hat (sie ist immer symmetrisch zum Mittelwert), ist die Schiefe auch ein geeignetes Werkzeug, um eine beliebige Verteilung mit der Normalverteilung zu vergleichen. † Da die Schiefe mit den standardisierten Daten definiert wird, ist sie invariant gegenüber Transformationen des Nullpunkts und der Masseinheit (d.h. xi Ø a + b xi ). † Die Schiefe hat den Nachteil, dass sie nicht normiert ist, und beliebig grosse positive und negative Werte annehmen kann. † Die Schiefe hat den Nachteil, dass sie empfindlich auf Ausreisser reagiert.

72

Skript Statistik und Stochastik

n † Für eine Stichprobe ist die Stichprobenstandardabweichung s und der Faktor ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ ÅÅÅÅÅÅÅÅÅÅ (statt ÅÅÅÅ1n ) zu verwenden: Hn- 1L Hn- 2L xi -x n Schiefe = ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ ÅÅÅÅÅÅÅÅÅÅ H ÅÅÅÅÅÅÅÅ ÅÅÅÅ L . Für grosse n führt dies auf den gleichen Wert. Hn- 1L Hn- 2L ‚i s êê 3

Hx0.75 -x0.5 L-Hx0.5 -x0.25 L Die Quartilsschiefe wird definiert als ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ ÅÅÅÅÅÅ Å xè -xè è

è

è

0.75

è

0.25

Für die Quartilsschiefe gilt: † Sie ist weniger empfindlich auf Ausreisser als die Schiefe.

† Sie ist ausserdem normiert und auf das Intervall @-1, 1D beschränkt.

† Sie ist invariant gegenüber Transformationen des Nullpunkts und der Masseinheit (d.h. xi Ø a + b xi ). † Die Berechnung der Quartilsschiefe ist einfach und benötigt nur drei Quartile.

† Sie beträgt bei einer symmetrischen Verteilung gleich 0. Die Schiefe ist ein Mass für die Abweichung einer Verteilung von der Symmetrie, wie sie beispielsweise für die Normalverteilung gilt. Eine Verteilung kann jedoch noch in einer anderen Weise von einer Normalverteilung abweichen. Es können z.B. mehr Beobachtungen (als in der Normalverteilung) in der Nähe des Mittelwerts (d.h. hoher Peak) und gleichzeitig mehr Beobachtungen weit entfernt vom Mittelwert (d.h. fetter Schwanz) haben. Um diese Charakteristik zu beschreiben wird die Wölbung verwendet. m4 xi -x ÅÅ Å = ÅÅ1nÅÅ ‚ I ÅÅÅÅÅÅÅÅ Die Kurtosis oder Wölbung ist definiert als: ÅÅÅÅ ÅÅÅÅ M , wobei m4 das vierte zentrale Moment ist. s4 s i êê 4

m4 xi -x Die Excess Kurtosis oder Excess ÅÅÅÅ ÅÅ Å - 3 = ÅÅÅÅ1n ‚ I ÅÅÅÅÅÅÅÅ ÅÅÅÅ M - 3 ist die Kurtosis relativ zur Normalverteilung. s4 s i êê 4

nHn+1L xi -x 3 Hn-1L Für eine Stichprobe verwendet man für die Excess Kurtosis ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ ÅÅÅÅÅÅÅÅÅ I ÅÅÅÅÅÅÅÅ ÅÅÅÅ M - ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ ÅÅÅÅÅÅÅÅÅÅ . Hn- 1L Hn- 2L Hn- 3L ‚i Hn-2L Hn-3L s êê 4

2

Es gilt: † Die Standard Normalverteilung hat die Wölbung 3. Die Excess Kurtosis beschreibt die Abweichung des Verlaufs der gegebenen Wahrscheinlichkeitsverteilung zum Verlauf einer Normalverteilung. † Ist die Excess Kurtosis einer Verteilung gross, so kommt ein höherer Anteil der Varianz von Ausreissern als bei einer Verteilung mit geringer Excess Kurtosis. † Eine Verteilung mit Excess Kurtosis < 0 heisst flachgipflig (platycurtic). Eine Verteilung mit Excess Kurtosis = 0 heisst normalgipflig (mesocurtic). Eine Verteilung mit Excess Kurtosis > 0 heisst steilgipflig (leptocurtic). † Eine Excess Kurtosis von 1.0 wird (bei mehr als 100 Datenpunkten) als gross betrachtet. † Da die Wölbung mit den standardisierten Daten definiert wird, ist sie invariant gegenüber Transformationen des Nullpunkts und der Masseinheit (d.h. xi Ø a + b xi ). † Die meisten Return Verteilungen sind leptocurtic. Wenn diese fetten Schwänze bei der statistischen Analyse nicht berücksichtigt werden, wird die Wahrscheinlichkeit eines sehr guten oder sehr schlechten Ausgangs unterschätzt.

Zentrierung und Standardisierung Wichtige Rechenoperationen sind die Zentrierung und Standardisierung. Sie werden verwendet, um Daten von zwei (oder mehr) Merkmalen zu vergleichen. Will man von deren unterschiedlicher Lage absehen und nur die übrigen Aspekte wie Streuung und allgemeine Form der Verteilung berücksichtigen, so untersucht und vergleicht man die zentrierten Daten. Zentrierte Daten werden gebildet, indem der arithmetische Mittelwert abgezogen wird: xi Ø xi - êêx

73

Skript Statistik und Stochastik

Will man zusätzlich auch noch von der unterschiedlichen Streuung absehen, werden standardisierte Daten verwendet. êê

xi -x Standardisierte Daten werden gebildet, indem man die zentrierten Daten durch die Standardabweichung teilt: xi Ø ÅÅÅÅÅÅÅÅ ÅÅÅÅ s x

Wichtige Masszahlen wie Schiefe und der Korrelationskoeffizient sind so definiert, dass sie nur von den standardisierten Daten abhängen. Sie beschreiben Aspekte der Daten, die nichts mit ihrer Lage und ihrer Streuung zu tun haben.

èè Additionssätze für x und s2 Wir wollen in diesem Abschnitt den Fall untersuchen, dass die Grundgesamtheit G in J Teilgesamtheiten G1 , G2 , ... GJ zerfalle. Für diese J Grundgesamtheiten seien die Mittelwerte êêx 1 , êêx 2 , ... êêx J sowie die Varianzen s21 , s22 , ... s2J bekannt, wobei die Teilgesamtheiten n1 , n2 , ... nJ Daten enthalten. Es gilt (ohne Herleitung) n Der Mittelwert der Grundgesamtheit beträgt: êêx = ⁄ Jj=1 êêx j ÅÅÅÅnÅjÅ .

Die Varianz der Grundgesamtheit führt auf den sogenannten Varianzzerlegungssatz und beträgt: n nj êê - êêxL2 ÅÅÅÅ s2 = ⁄ Jj=1 s2j ÅÅÅÅnÅjÅ + ⁄ Jj=1 Hx ÅÅ = s2 +s2 ´¨¨¨¨¨¨¨¨¨¨¨¨≠¨¨¨¨¨¨¨¨¨¨Æ ´¨¨¨¨¨¨¨¨¨¨¨¨¨¨¨¨¨¨¨¨j¨≠¨¨¨¨¨¨¨¨¨¨¨¨¨¨¨¨n¨¨Æ int ext s2int

s2ext

Die Gesamtstreuung besteht demnach aus zwei Teilen: † der internen Varianz: d.h. gewichtetes Mittel aus den Streuungen der Teilgesamtheiten. s2int = 0 heisst: in jeder Teilgesamtheit sind alle Merkmalswerte gleich. † sowie der externen Varianz: d.h. gewichtetes Mittel der quadratischen Abweichungen der Mittelwerte der Teilgesamtheiten vom Gesamtmittel. s2ext = 0 heisst: alle Teilgesamtheiten haben den gleichen Mittelwert êêx j = êêx . Mit Hilfe des Varianzzerlegungssatz kann eine weitere Masszahl definiert werden. s2

Das Bestimmtheitsmass B ist definiert als B = ÅÅÅÅsext Å2ÅÅÅÅ Es gibt den Anteil der externen Streuung an der Gesamtstreuung. Dieser Anteil ist auf die Einteilung der Grundgesamtheit in Teilgesamtheiten zurückzuführen.

Daten mit diskreter Klassierung und Stetig klassierte Daten Daten mit diskreter Klassierung Wenn die Daten in diskreter Klassierung vorliegen, können die Formeln für die metrischen Daten folgendermassen angewandt werden. Arithmetisches, harmonisches und geometrisches Mittel können auch einfach berechnet werden, wenn nur eine diskrete Klassierung der Daten mit J Ausprägungen (d.h. 8x1 , n1