Elektrotechnik und Informationstechnik Institut für Automatisierungstechnik, Professur Prozessleittechnik

Bayes'sche Netze

VL PLT2 Professur für Prozessleittechnik Prof. Leon Urbas, Dipl. Ing. Johannes Pfeffer

Thomas Bayes Thomas Bayes [bɛi:z] * um 1702 in London † 17. April 1761 •

Bayestheorem (Satz von Bayes)

•

Bayesscher Wahrscheinlichkeitsbegriff

•

Bayessche Statistik

•

Bayes-Klassifikator

•

Bayessches Filter

•

Bayes'sches Netz

•

Bayessche Ökonometrie

•

Perfektes Bayessches Gleichgewicht (Spieltheorie)

1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

2

Problemstellung • Wie kann Wissen über zufällige Ereignisse und kausale Zusammenhänge zwischen diesen mathematisch effizient gefasst werden um – aus Beobachtung auf die Wahrscheinlichkeit einer Folge zu schließen (Deduktion) – aus Beobachtung (Symptomen) auf die Wahrscheinlichkeit bekannter Ursachen zu schließen (Induktion) – aus Beobachtungen und grundlegendem Wissen über Zusammenhänge die Verbundwahrscheinlichkeit zu lernen?

1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

3

Übersicht • Bayes'sche Netze – – – –

Einführung Modellierungsansatz Berechnung Typische Fragestellungen an ein Bayes'sches Netz

• Dynamische Bayes'sche Netze – Erweiterung um die Dimension Zeit – Modellierungsansatz – DBN = Generalisierung von Markov Modellen und Hidden Markov Modellen 1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

4

Bayes'sche Netze

„Sssst“ 0,05

kein „Sssst“ 0,95

Chinesische Vase auf schiefer Ebene

• Graphentheorie + Wahrscheinlichkeitsrechnung • Gerichteter azyklischer Graph (DAG) mit – Knoten: diskretwertige Zufallsvariablen – Kanten: direkte stochastische Abhängigkeiten zwischen Variablen • Knoten ohne Eltern: – Wahrscheinlichkeit: P(A=i) ∀ i (i z.B. true, false oder Ssst, kein Ssst)

„Bumm“

• Knoten mit Eltern: – Bedingte Wahrscheinlichkeit: P(A=i|B=j,C=k) ∀ i,j,k

1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

5

Beispiel (Beobachtungsszenario) • Ich wohne in Philippsburg und bin nicht zu Hause. • Mein Nachbar Harald ruft mich an, um mir mitzuteilen, dass in meinem Haus die Alarmanlage angegangen ist. • Meine Nachbarin Stefanie ruft an und teilt mir dasselbe mit. • Aber: – Die Alarmanlage wird manchmal auch durch leichte Erdbeben ausgelöst. – Harald verwechselt schon mal das Geräusch meines Telefons mit dem Geräusch der Alarmanlage.

• Variablen: – Erdbeben, Einbruch, Alarm, Anruf Stefanie und Anruf Harald 1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

6

Modellierung • Erdbeben & Einbruch sind unabhängig – P(Erdbeben|Einbruch) = P(Erdbeben) – P(Einbruch|Erdbeben) = P(Einbruch)

• Kausale Zusammenhänge – Erdbeben oder Einbruch führen unabhängig voneinander mit bestimmten Wahrscheinlichkeiten zu einem Alarm – Alarm/Kein Alarm führen mit bestimmten Wahrscheinlichkeiten zu Anrufen der Nachbarn.

1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

7

Bayes'sches Netz

1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

8

Probabilistische Inferenzen • Diagnostische Inferenz:

– Geg: Effekt – Ges: Ursache – P(Alarm | Anruf Stefanie)

• Kausale Inferenz:

– Geg: Ursache – Ges: Effekt – P(Anruf Stefanie | Einbruch)

• Interkausale Inferenz:

– Geg: eine mögliche Ursache, Effekt – Ges: andere Ursache – P(Einbruch | Anruf Stefanie, Erdbeben)

• + Kombination aus 1-3 1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

9

Inferenz nach Beobachtungen • Diagnostisch

Kausal

Interkausal

? Einbruch

Erdbeben

Einbruch

Erdbeben

Einbruch

Erdbeben

? Alarm

Anruf Harald

1.6.2011

Alarm

Anruf Stefanie

Anruf Harald

Alarm

?

Anruf

Stefanie

Anruf Harald

PLT2 (c) 2009-2011, Urbas, Pfeffer

Anruf Stefanie

10

Neues einfaches Beispiel • Hebebühne – Batterie, hebbares Teil – Batterieanzeige (Gauge), Bewegung

1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

11

(Evidenz)

? (Query) Kausale Inferenz

• Wie wahrscheinlich ist es, dass wir das Teil heben können, wenn es hebbar ist? • P(M|L) • Allgemeiner Ansatz (Produktregel) – Q=Query, E=Evidenz – P(Q|E)=ΣP(Q,R=ri|E) mit R = Eltern(Q), ohne Evidenzen – ΣP(Q,R=ri|E) = ΣP(Q|R=ri,E)P(R=ri|E) 1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

12

(Query)

?

(Evidenz)

Diagnostische Inferenz • Wie wahrscheinlich ist es, dass das Teil zu schwer ist, wenn wir sehen, dass sich nichts bewegt? • P(M|L) • Allgemeiner Ansatz (Bayes'sche Regel) – P(Q|E)= P(E|Q)P(Q)/P(E)

1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

13

(Query)

(Evidenz)

?

(Evidenz)

Interkausale Inferenz • Wie wahrscheinlich ist es, dass das Teil nicht angehoben werden kann, wenn wir sehen, dass sich nichts bewegt und die Gauge eine leere Batterie anzeigt? • P(¬L|¬G, ¬M) • Ansatz wie bei kausaler Inferenz 1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

14

Berechnung d. bedingten Wahrscheinlichkeit eines Knotens in einem einfach verbundenen Netz (1/2)

• Gesucht: P(X|E) • Vereinfachung: Netz nur einfach verbunden (Polytree) • Aufteilung in diagnostische und kausale Evidenz (unabhängig!) P(X|E) = α P(E-|X) P(X|E+) 1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

15

Berechnung der bed. WS eines Knotens in einem einfach verbundenen Netz (2/2)

• … • Berechnung diagn.Evidenz P(X|E+) – Alle Kombinationen der Werte der Elternknoten gemäß WSTabelle von X betrachten und mit ihren WS gewichten, die rekursiv auf gleiche Weise berechnet werden.

• Berechnung kausalen Evidenz P(E-|X) – Alle Kombinationen der Werte der Kindknoten gemäß WSTabelle von X betrachten und mit ihren WS gewichten, die rekursiv auf gleiche Weise berechnet werden.

• Algorithmus 1.6.2011

Є

O(n)

PLT2 (c) 2009-2011, Urbas, Pfeffer

16

Belief-Net-Ask-Algorithmus • Beiträge von E+ und E– P(X|E+,E-) = (P(E-|X,E+)+P(X|E+))/P(E-|E+)

• X d-separiert E+ und E– Exkurs Abhängigkeit in BN, d-separation  F. 24ff – P(X|E) = a P(E-|X) P(X|E+)

1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

17

Topologie: Mehrfach verbundene Netze • Ursache kann mehrere Effekte bewirken.

1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

18

Effizienzsteigerung • Cluster Methode

1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

19

Konditionierung • Wertebelegung

1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

20

Abhängigkeiten in Bayes'schen Netzen • Definition | : Bei gegebenem Y sind X und Z bedingt unabhängig

• | JA

1.6.2011

| Nein | Ja PLT2 (c) 2009-2011, Urbas, Pfeffer

21

Kausale Verbindungen in BN • Seriell – B bekannt  A,C unabhängig

A

B C

• Divergent – A bekannt  B,C bedingt unabhängig

A

• Konvergent – C unbekannt  A,B unabhängig – C bekannt  A,B bedingt abhängig 1.6.2011

C

B B C

A

PLT2 (c) 2009-2011, Urbas, Pfeffer

22

D-Separation - Begriff / Definition D-Separation erlaubt eine allgemeine Aussage darüber, ob eine Knotenmenge X unabhängig von einer Knotenmenge Y ist (bei gegebener Evidenzknotenmenge E) • Zwei verschiedene Variablen X und Y sind d-separated (directiondependent-separated), falls auf allen (ungerichteten) Pfaden zwischen X und Y eine Variable Z existiert, so dass entweder – die Verbindung seriell oder divergent und Z ein Evidenzknoten ist oder – die Verbindung konvergent und weder Z noch Z's Nachfahren Evidenzknoten sind

• Sind zwei Knoten nicht d-separated, werden sie auch als dconnected bezeichnet 1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

23

Topologische Interpretation • Jeder (ungerichtete) Pfad von X nach Y ist blockiert wenn er eine Evidenz enthält. • Ein Pfad ist blockiert durch einen Knoten z, wenn – z ∈ E und z ein- und ausgehenden Unterpfad hat – z ∈ E und beide Unterpfade ausgehend sind – z ∉ E, beide Pfade eingehend und ∀ Nachfolger z‘ von z gilt: z‘ ∉ E

1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

24

D-Separation - Beispiel A

F C

B

G D

H

E

Welche Aussagen sind wahr? F d-separated von H bei geg. G C d-separated von G bei geg. F A d-separated von B bei geg. D A d-separated von B D d-separated von F bei geg. C, G 1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

25

Literatur & Bibliotheken • Literatur

– Pearl, J. (1988) Probabilistic Reasoning in Intelligent Systems. Morgan Kaufmann – Charniak, E. (1991) Bayesian Networks without Tears. AI Magazine. 1991. 50-63. – Korb, K. and Nicholson, A. (2003) Bayesian Artificial Intelligence, Chapman&Hall

• Bibliotheken

– Kevin Murphy's Bayesian Network Toolbox for MatLab: http://bnt.sourceforge.net – Lernen von Bayesschen Netzen in R http://www.mascherini.org/Mastino.html – Bayesian network tools in Java: http://bnj.sourceforge.net/ – Tutorial: http://aispace.org/bayes/ – AIspace Java-Applet: http://aispace.org/bayes/

1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

26

Grundlagen - Unbedingte/Bedingte WSK • Unbedingte WS: P(A) • Bedingte WS: P(B|A) – WS des Ereignisses B unter der Bedingung, dass A bereits eingetreten ist – Rechenregeln: • PB∣A=P A∧B/ P A • Allgemeiner Multiplikationssatz für 2 Ereignisse:

P  A∧B  =P  A⋅P  B∣A =P  B ⋅P  A∣B 

• Allgemeiner Multiplikationssatz für n Ereignisse:

  n

P

¿ Ai = P  A1 ⋅P  A 2∣ A1 ⋅P  A3∣ A1∧ A2 ⋅⋅P  An ∣A 1 ∧∧ A n−1 

i=1

1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

27

¿

Grundlagen – Totale WSK / Bayes-Satz •Formel der totalen Wahrscheinlichkeit: n

P  B  =∑ P  B∣Ai ⋅P Ai  •Der Bayes'sche Satz:

P  Ak ∣B =

1.6.2011

i=1

P  B∣ Ak ⋅P  Ak  P  B

=

P  B∣ Ak ⋅P  Ak  n

∑i=1 P  B∣Ai ⋅P  Ai 

PLT2 (c) 2009-2011, Urbas, Pfeffer

28

Darstellung kausaler Beziehungen durch bed. WS.

• Produktregel: Von der Ursache zur (wahrscheinlichen) Wirkung • P(A,B|C)= P(A|B,C)*P(B|C) = P(B|A,C)*P(A|C)

• Bayes'sche Regel: Von der Wirkung zur (wahrscheinlichen) Ursache • P(B|A,C)= P(A|B,C)*P(B|C) / P(A,C)

1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

29

1.6.2011

PLT2 (c) 2009-2011, Urbas, Pfeffer

30