Grundlagen der Technischen Informatik Informationsgehalt Kapitel 4.1
Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design
Grundlagen der Technischen Informatik
Technische Informatik - Meilensteine Informationstheorie Claude Elwood Shannon (geb. 1916) Quelle
Sender
Kanal
Senke
Rauschen
Empfänger
Blockdiagramm des Kommunikationsprozesses [Fig. 0]
Grundlagen der Technischen Informatik 2
Informationsgehalt •
Neben Darstellung von Zeichen: Aussage über Informationsgehalt eines Zeichens interessant Zeichen quantitativ im Vergleich zu anderen Zeichen oder im Hinblick auf technischen Darstellungsaufwand zu bewerten
•
Ermittlung des Informationsgehalts I(x) eines Zeichens x
•
Annahme: ein Zeichen trägt umso mehr Information, je seltener es beim Empfänger eintrifft!
Grundlagen der Technischen Informatik 3
Informationsgehalt Beispiele: Kartenspiel mit 32 Karten
[Fig. 1]
p() = 8/32 = 1/4
p() = 1/4
p()= 1/4
p()= 1/4
“As” p(„As“) = 4/32 = 1/8
“kein As” p(„kein As“) = 28/32 = 7/8
Also: Informationsgehalt I(x) eines Zeichens x steigt mit abnehmender Auftrittswahrscheinlichkeit p(x) dieses Zeichens Grundlagen der Technischen Informatik 4
Informationsgehalt •
Voraussetzung: Beobachtete Zeichen voneinander unabhängig
•
Definition: Informationsgehalt eines Zeichens x
1 I ( x ) ld ld p( x ) p( x ) • •
Einheit, wie beim Binärsignal bereits eingeführt: bit 1 bit entspricht der elementaren Entscheidung zwischen zwei gleichwahrscheinlichen Möglichkeiten p(x) = 0,5
Frage? Ja
Nein
Grundlagen der Technischen Informatik 5
Informationsgehalt Beispiele: Kartenspiel mit 32 Karten gleich-
bzw.
ungleichwahrscheinliche Symbole
p() = 1/4
p(„As“) = 1/8
p(„kein As“) = 7/8
p()= 1/4 p() = 1/4
p()= 1/4
I()= 2 bit
I() = 2 bit I() = 2 bit
“As” I(„As“) = 3 bit
“kein As” I(„kein As“) = 0,2 bit
I()= 2 bit
Informationsgehalt in bit: • Anzahl elementarer Ja/Nein-Fragen (beide Antworten mit gleicher Wahrscheinlichkeit), mit denen das Zeichen codiert werden kann. Für p(x) > 0,5 ist I(x) < 1 bit Grundlagen der Technischen Informatik 6
Informationsgehalt •
Definition: Informationsgehalt eines Zeichens x
Informationsgehalt I(x) in bits
I ( x ) ld
1 p( x )
Wahrscheinlichkeit p(x) Grundlagen der Technischen Informatik 7
Informationsgehalt •
Betrachtung nichtgleichwahrscheinlicher Zeichen:
•
Frage: -Informationsgehalt eines Zeichens in einer Zeichenfolge
•
Für Alphabet mit N Zeichen gilt: N
p x 1 i
i 1
•
In einer Zeichenfolge mit L Zeichen ist die zu erwartende Häufigkeit eines speziellen Zeichens xi:
L p x i
Grundlagen der Technischen Informatik 8
Informationsgehalt 4 Kartendecks. Aus jedem Deck wird eine Karte gezogen
2 Quellen geben uns Informationen darüber, welche Karten gezogen wurden als Zeichenfolgen mit L=4 Zeichen ihres Alphabets.
[Fig. 1]
Quelle 1 Alphabet: {,,,}
Quelle 2 Alphabet: {“As”, “kein As”}
erwartete Häufigkeiten 1 : 4 · : 4 ·
1
: 4 ·
1
: 4 ·
1
erwartete Häufigkeiten “As”: 4 · 0,5 “kein As”: 4 ·
• Welche Quelle liefert uns mehr Information? Grundlagen der Technischen Informatik 9
3,5
Informationsgehalt •
Alle beobachteten Zeichen des Typs xi liefern insgesamt den Informationsgehalt
1 L px i I x i L px i ld p x i
zu erwartende Häufigkeit
•
Informationsgehalt des Zeichens
Wenn alle N Zeichen des Alphabets zusammen betrachtet werden, ist der Informationsgehalt der Quelle: N
1 px i ld p x i i 1 •
Man nennt Entropie der Quelle
•
Weitere quantitative informationstheoretische Betrachtungen moderne Informationstheorie (C. Shannon) Grundlagen der Technischen Informatik 10
Informationsgehalt •
Welche Quelle liefert uns mehr Information? Quelle 1
[Fig. 1]
Alphabet: {,,,}
Entropie ·2 Η
·2
·2
Quelle 2 Alphabet: {“As”, “kein As”}
Entropie Η ·3 Grundlagen der Technischen Informatik 11
· 0,2
,
·2
Abbildungsverzeichnis • [Fig. 0] Claude Shannon 1776. Von DobriZheglov, Wikimedia Commons, lizensiert durch CC BY‐SA 4.0, URL: https://commons.wikimedia.org/w/index.php?curid=48459872 • [Fig. 1] Playing cards. Von Christian Gidlöf, Public Domain, URL: https://commons.wikimedia.org/w/index.php?curid=597083
Grundlagen der Technischen Informatik 12