Grundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1

Grundlagen der Technischen Informatik Informationsgehalt Kapitel 4.1 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Grundlage...
6 downloads 0 Views 586KB Size
Grundlagen der Technischen Informatik Informationsgehalt Kapitel 4.1

Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design

Grundlagen der Technischen Informatik

Technische Informatik - Meilensteine Informationstheorie Claude Elwood Shannon (geb. 1916) Quelle

Sender

Kanal

Senke

Rauschen

Empfänger

Blockdiagramm des Kommunikationsprozesses [Fig. 0]

Grundlagen der Technischen Informatik 2

Informationsgehalt •

Neben Darstellung von Zeichen:  Aussage über Informationsgehalt eines Zeichens interessant  Zeichen quantitativ im Vergleich zu anderen Zeichen oder im Hinblick auf technischen Darstellungsaufwand zu bewerten



Ermittlung des Informationsgehalts I(x) eines Zeichens x



Annahme: ein Zeichen trägt umso mehr Information, je seltener es beim Empfänger eintrifft!

Grundlagen der Technischen Informatik 3

Informationsgehalt Beispiele: Kartenspiel mit 32 Karten

[Fig. 1]

 p() = 8/32 = 1/4

 p() = 1/4

 p()= 1/4

 p()= 1/4

“As” p(„As“) = 4/32 = 1/8

“kein As” p(„kein As“) = 28/32 = 7/8

Also: Informationsgehalt I(x) eines Zeichens x steigt mit abnehmender Auftrittswahrscheinlichkeit p(x) dieses Zeichens Grundlagen der Technischen Informatik 4

Informationsgehalt •

Voraussetzung: Beobachtete Zeichen voneinander unabhängig



Definition: Informationsgehalt eines Zeichens x

1 I ( x )  ld  ld p( x ) p( x ) • •

Einheit, wie beim Binärsignal bereits eingeführt: bit 1 bit entspricht der elementaren Entscheidung zwischen zwei gleichwahrscheinlichen Möglichkeiten  p(x) = 0,5

Frage? Ja

Nein

Grundlagen der Technischen Informatik 5

Informationsgehalt Beispiele: Kartenspiel mit 32 Karten gleich-

bzw.

ungleichwahrscheinliche Symbole

p() = 1/4

p(„As“) = 1/8

p(„kein As“) = 7/8

p()= 1/4 p() = 1/4





p()= 1/4



 I()= 2 bit

I() = 2 bit I() = 2 bit

“As” I(„As“) = 3 bit

“kein As” I(„kein As“) = 0,2 bit

I()= 2 bit

Informationsgehalt in bit: • Anzahl elementarer Ja/Nein-Fragen (beide Antworten mit gleicher Wahrscheinlichkeit), mit denen das Zeichen codiert werden kann.  Für p(x) > 0,5 ist I(x) < 1 bit Grundlagen der Technischen Informatik 6

Informationsgehalt •

Definition: Informationsgehalt eines Zeichens x

Informationsgehalt I(x) in bits

I ( x )  ld

1 p( x )

Wahrscheinlichkeit p(x) Grundlagen der Technischen Informatik 7

Informationsgehalt •

Betrachtung nichtgleichwahrscheinlicher Zeichen:



Frage: -Informationsgehalt eines Zeichens in einer Zeichenfolge



Für Alphabet mit N Zeichen gilt: N

 p x   1 i

i 1



In einer Zeichenfolge mit L Zeichen ist die zu erwartende Häufigkeit eines speziellen Zeichens xi:

L  p x i 

Grundlagen der Technischen Informatik 8

Informationsgehalt 4 Kartendecks. Aus jedem Deck wird eine Karte gezogen

2 Quellen geben uns Informationen darüber, welche Karten gezogen wurden als Zeichenfolgen mit L=4 Zeichen ihres Alphabets.

[Fig. 1]

Quelle 1 Alphabet: {,,,}

Quelle 2 Alphabet: {“As”, “kein As”}

erwartete Häufigkeiten 1 : 4 · : 4 ·

1

: 4 ·

1

: 4 ·

1

erwartete Häufigkeiten “As”: 4 · 0,5 “kein As”: 4 ·

• Welche Quelle liefert uns mehr Information? Grundlagen der Technischen Informatik 9

3,5

Informationsgehalt •

Alle beobachteten Zeichen des Typs xi liefern insgesamt den Informationsgehalt

1 L  px i   I x i   L  px i  ld p x i 

zu erwartende Häufigkeit



Informationsgehalt des Zeichens

Wenn alle N Zeichen des Alphabets zusammen betrachtet werden, ist der Informationsgehalt der Quelle: N

1    px i   ld p x i  i 1 •

Man nennt  Entropie der Quelle



Weitere quantitative informationstheoretische Betrachtungen  moderne Informationstheorie (C. Shannon) Grundlagen der Technischen Informatik 10

Informationsgehalt •

Welche Quelle liefert uns mehr Information? Quelle 1

[Fig. 1]

Alphabet: {,,,}

Entropie ·2 Η

·2

·2

Quelle 2 Alphabet: {“As”, “kein As”}

Entropie Η ·3 Grundlagen der Technischen Informatik 11

· 0,2

,

·2

Abbildungsverzeichnis • [Fig. 0] Claude Shannon 1776. Von DobriZheglov, Wikimedia Commons, lizensiert durch CC BY‐SA 4.0, URL: https://commons.wikimedia.org/w/index.php?curid=48459872  • [Fig. 1] Playing cards. Von Christian Gidlöf, Public Domain, URL:  https://commons.wikimedia.org/w/index.php?curid=597083 

Grundlagen der Technischen Informatik 12