Graphische Datenverarbeitung

Grundlagen des digitalen Bildes und der Bilderzeugung

Prof. Dr.-Ing. Detlef Krömker Goethe-Universität, Frankfurt Graphische Datenverarbeitung

Übersicht 1. 2. 3. 4. 5. 6.

Die Plenoptische Funktion Bildrepräsentationen: Charakterisierung und Beispiele Austauschformate, Kompression, Kodierung Programmierschnittstellen Eine spezielle Funktion Der Diracsche Deltaimpuls Abtastung Rekonstruktion ‹ ‹ ‹ ‹ ‹

Das Abtasttheorem: Die Theorie Aliasing Ideale Abtastung und Rekonstruktion Reale Abtastung und Rekonstruktion Charakterisierung und Bewertung der unvermeidbaren Fehler

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

2

SS 2005

Übersicht (Fortsetzung) 7. 8. 9. 10.

Zusammenfassung Glossar Weitere Informationen Ausblick – Nächste Schritte

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

3

SS 2005

Die Plenoptische Funktion “Der Mensch ist ein Augentier.” Die plenoptische Funktion beschreibt die für einen (menschlichen) Beobachter visuell erfassbaren Informationen an jedem Ort und zu jeder Zeit. Idealisierung des potentiell Sichtbaren.

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

4

SS 2005

Die plenoptische Funktion [Adelson, Bergen] P = f (θ, φ, I(λ), t, Pb) θ, φ Raumwinkel

I (λ λ) t Pb

© Prof. Dr.-Ing. Detlef Krömker

Lichtintensität als Funktion der Wellenlänge Zeit Position und Blickrichtung des Beobachters 6 Freiheitsgrade!

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

5

SS 2005

Die plenoptische Funktion

Grundgrößen der visuellen Wahrnehmnung Wahrnehmungsprimitive

Der Mensch wertet die Parameter dieser Funktion simultan aus: T

T

FORMSEHEN TEXTURSEHEN

θ, φ durch die flächige Anordnung von Rezeptoren in der Retina I(λ) 3 Abtastungen durch unterschiedliche Rezeptoren

T

t

Zeit

T

Pb

2 Abtastung

BEWEGTBILDSEHEN

zusätzlich sukzessiv durch Augen-, Kopf- und Körperbewegung

© Prof. Dr.-Ing. Detlef Krömker

FARBSEHEN

STEREOSEHEN TIEFEN- und RAUMSEHEN

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

6

SS 2005

Spezialisierungen der plenoptischen Funktion Î technisch realisierbare Bilder • Pb: eine Abtastung • t:

Î zwei Abtastungen Î freie Bewegung Î geführte Bewegung Î wenige Abtastungen Î eine Abtastung Î

• I(λ):3 Abtastungen

1 Abtastung extrem quantisiert

Î Î Î

(Monokulares) Bild Stereo Bild Virtual Reality Film / Video Bewegtbild Festbild Farbbild Grauwertbild schwarz/weiß Bild

Erkenntnis: Reize lassen sich stark reduzieren (diskretisieren und quantisieren) © Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

7

SS 2005

Identifikation von Grundproblemen ‹

Das visuelle System tastet die Plenoptische Funktion in allen Parametern ab, diskretisiert sie: Abtastung: - Zeit - Ort - Spektrum

‹

Fragen: Was sind die Abtastraten? Sind sie regulär, äquidistant? Welche Quantisierungen erfolgen?

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

8

SS 2005

Visionen ‹

Technologie soweit entwickeln, daß künstliche Reize (Szenen) von realen Reizen (Szenen) nicht unterscheidbar sind:

„Photorealismus“ ‹

Ivan Sutherlands Vision (1963)

„The screen is a window through which one sees a virtual world. The

challenge is to make that world

look real, act real, sound real, feel real. ”

Immersion Î Virtual Reality © Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

9

SS 2005

Ziele ‹

Optimale Gestaltung der Schnittstelle Mensch – Computer

‹

Maximale Kommunikationsqualität T T

Grad des Erreichens des kommunikativen Ziels Verhältnis von wahrgenommener Information zu präsentierter Information

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

10

SS 2005

Folgerungen ‹

Grundverständnis zur visuellen Wahrnehmung erwerben Î Kapitel 2. T

T T T

Unterschied Reiz (physikalisch, extern) .... Wahrnehmung (nervös, intern) Leistungsfähigkeit des visuellen Systems Effekte Täuschungen

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

11

SS 2005

Übersicht 1. Die Plenoptische Funktion 2. Bildrepräsentationen: Charakterisierung und Beispiele 3. Austauschformate, Kompression, Kodierung 4. Programmierschnittstellen 5. Eine spezielle Funktion Der Diracsche Deltaimpuls 6. Abtastung Rekonstruktion

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

12

SS 2005

dynamische Modelle

‹

Symbolisch

Graphik

Animation

‹

Geometrie & Merkmal

Digitales Bild

Digitalvideo

‹

Diskret, Quantisiert

‹

(Elektrisch (optisch))

Analog Video

im Computer

statische Modelle

Bildrepräsentationen Charakterisierung und Beispiele

immer weniger bedeutsam, entfällt!

Reiz

© Prof. Dr.-Ing. Detlef Krömker

‹

Optisch (unmittelbar wahrnehmbar)

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

13

SS 2005

Methoden der GDV Statische Modelle Visualisierung

Dynamische Modelle Bildverstehen

Animation

Graphik Rendering

Merkmalsextraktion

Digitales Bild

Digital-Video

Rekonstrukion Das Problem bleibt, wird in die Anzeige verschoben

Abtastung Video

Anzeige

Aufnahme Reiz

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

14

SS 2005

Methoden der GDV Statische Modelle

Dynamische Modelle

Graphikbearbeitung Animation

Graphik Bildbearbeitung

Digitales Bild Digital-Video Videobearbeitung (Schnitt) AnalogVideo

Reiz © Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

15

SS 2005

Schwerpunkte in dieser Veranstaltung Statische Modelle

Dynamische Modelle

Visualisierung

Graphikbearbeitung Graphik

Animation

Rendering Digitales Bild Rekonstrukion Anzeige

© Prof. Dr.-Ing. Detlef Krömker

Digital-Video Digitalisieren Analog-Video

Reiz

Entfällt immer häufiger

(Aufnahme/Sensorik)

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

16

SS 2005

Bildmodelle Herleitung aus der plenoptischen Funktion zunächst Festbilder (statische Bilder)

P = f (θ, φ, I(λ), t, Pb) Spezialisierung

G = f ( x, y) →

F = f ( x, y) partielle Funktionen: ( x, y ) ∈ X © Prof. Dr.-Ing. Detlef Krömker

Graubild Farbbild ×Y ⊂ ℜ × ℜ

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

17

SS 2005

h

Exkurs: Sehwinkel

α s

Sehwinkel α = arctan h/s 1o Sehwinkel =ˆ 0,3 mm auf der Retina 1' Sehwinkel =ˆ 5 µm auf der Retina =ˆ Zapfenstärke 1o Sehwinkel =ˆ 10,5 mm in 60 cm Abstand © Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

18

SS 2005

Digitales Bild kontinuierliches Bild (Bildfunktionen) ‹

diskretisieren (abtasten) DIGITALES BILD

(Ortskoordinaten) ‹

quantisieren (Signalamplitude)

‹

Sonderfall: analoges Videosignal Nur vertikal abgetastet; horizontal nur gewandelt

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

19

SS 2005

Beispiel: kontinuierliche 2D-Bildfunktion

45

40

35

30

40-45 35-40 30-35

25

25-30 20-25 15-20

20

10-15 5-10

15

0-5 4

10 3 5 2 0 0

1

2

1 3

4

© Prof. Dr.-Ing. Detlef Krömker

5

6

7

8

0 9

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

20

SS 2005

Beispiel: diskretes Bild

45 40 35 30 0

25

1 2

20

3 4

15 4

10 3 5

2

0 0

1 1

2

0 1 2 3 4 5 6 7 8 9

© Prof. Dr.-Ing. Detlef Krömker

3

0 30 25 20 15 10 5 3 2 1 5

4

5

6

1 35 30 25 20 15 10 5 3 2 4

0 7

8

9

2 40 32 26 22 18 16 12 17 22 15

3 42 38 29 25 22 19 17 16 17 18

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

4 42 38 36 34 28 25 23 22 22 23

21

SS 2005

Beispiel: quantisiertes diskretes Bild Digitales Bild (Rasterbild)

40

30

0 1

20

2 3 4

10

4 3 2

0 0

1 1

2

0 1 2 3 4 5 6 7 8 9

3

4

0 30 30 20 20 10 10 0 0 0 10

© Prof. Dr.-Ing. Detlef Krömker

5

0

6

7

1 40 30 30 20 20 10 10 0 0 0

8

9

2 40 30 30 20 20 20 10 20 20 20

3 40 40 30 30 20 20 20 20 20 20

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

4 40 40 40 30 30 30 20 20 20 20

22

SS 2005

Noch ein Beispiel: Analogvideo

45 40 35 30

0

25

1 2

20

3

15

4

10

3

5

2

0 0

© Detlef Krömker

4

1 1

2

3

horizontal: vertikal:

© Prof. Dr.-Ing. Detlef Krömker

4

5

0 6

7

8

9

kontinuierlich - analog diskret - Zeilen Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

23

SS 2005

Bildsignale Ein einkanaliges Bild B (z.B. Grauwertbild) wird als reelle Funktion mit 2-dimensionalen Definitionsbereich

B = f ( x, y ) mit x, y , B ∈ ℜ / modelliert. x,y i.d.R kartesische Ortskoordinaten manchmal auch Winkel, dann (x,y) Î (θ,φ) (θ Theta φ Phi) f(x,y) nennt man (kontinuierliche) Bildfunktion.

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

24

SS 2005

Bildsignale (2) Oft haben wir es mit endlichen Bildern zu tun, d.h. es gilt zusätzlich:

f ( x, y ) ≠ 0 nur für − Lx ≤ x ≤ Lx − Ly ≤ y ≤ Ly Auch der Wertebereich ist oft beschränkt:

0 ≤ B = f ( x, y ) ≤ Bmax Für Grauwertbilder gilt dann i.d.R. folgende Entsprechung: 0: schwarz Bmax: weiß © Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

25

SS 2005

Bildsignale (3) Multispektrale Bilder werden als Vektor repräsentiert, mit

­ F1( x, y ) °F ( x, y ) ° 2 M=® ° ... °¯Fn ( x, y ) © Prof. Dr.-Ing. Detlef Krömker

Farbbilder als dreidimensionaler Vektor, z.B. mit

­R ( x, y ) ° C = ®G( x, y ) ° B ( x, y ) ¯

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

26

SS 2005

Weitere Bildmodellierungen ‹

funktionales Bildmodell -- lineare Systeme T T

kontinuierlich -- diskret -- quantisiert Ortsbereich -- Frequenzbereich z.B. ‹ ‹

‹

alternative Beschreibungsformen sind: T T

‹

Fouriertransformation Cosinustransformation

fraktale Bildmodelle -- nichtlineare Systeme statistische Bildmodelle

Erweiterung: Volumenbilder

V = f ( x, y, z ) © Prof. Dr.-Ing. Detlef Krömker

Volumenrendering

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

G = f (x, y) 27

SS 2005

Probleme und Fragen

Wie hängen kontinuierliche Bilder und Digitale Bilder zusammen?

Abtastung (Diskretisierung) Rekonstruktion ‹ ‹ ‹ ‹ ‹

Das Abtasttheorem: Die Theorie Ideale Abtastung und Rekonstruktion Reale Abtastung und Rekonstruktion Charakterisierung und Bewertung der unvermeidbaren Fehler ...

später, noch in dieser Vorlesung

Quantisierung

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

28

SS 2005

Geometrie und Merkmalsebene Beschreibt ein Bild (2D) oder eine Szene (3D) durch T

T

T

Ensemble von geometrischen Objekten (Punkte, Linien, Flächen, Körper) Erscheinungsattribute (Farbe, Struktur, Textur, Parametern von Beleuchtungsmodellen, ... ) Betrachtungsbedingungen

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

29

SS 2005

Geometrie und Merkmalsebene Wichtige Unterscheidung Definitionsbereich: 2D oder 3D y 2D: ggf Ausschnitt aus Definitionsbereich darstellen: streng: Window (Teilmenge des Definitionsbereichs) Viewport (Teil des Bildschirms) Window-Viewport Transformation 3D: Szene wird durch virtuelle Kamera (Viewing Transformationen, perspektivische Transformation) auf 2D abgebildet

x y

z -z

x

Übersicht 1. Die Plenoptische Funktion 2. Bildrepräsentationen: Charakterisierung und Beispiele 3. Austauschformate, Kompression, Kodierung 4. Programmierschnittstellen 5. Eine spezielle Funktion Der Diracsche Deltaimpuls 6. Abtastung Rekonstruktion

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

31

SS 2005

Speicher- und Austauschformate Kompression und Kodierung Prinzipiell auf jeder Ebene möglich: „ „ „ „

Speichern

Austauschen

„

Daten / Informationen Graphik/Animation (Digitale) Bilder/Video Analog-Video „Papierausdruck“

Format: Syntax und Semantik einer Sprache Kodierung Abbildung auf ein Alphabet, Serialisierung Kompression Reduzierung der Datenmenge (verlustbehaftet oder verlustfrei) Austauschen: oder © Prof. Dr.-Ing. Detlef Krömker

Übertragen eines Speicherinhaltes Streaming Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

32

SS 2005

Beispiele für Austauschformate Analogvideo ‹

Basis des Standardfernsehen (Zeilenzahl/Halbbild-Frequenz) T

625/50

Europa

T

525/60

USA, Japan

Zwischenzeilenverfahren /Interlaced

zusätzlich ggf. Angabe der Farbcodierung

‹

T

Komponenten

(RGB, YIQ, YUV, YCRCB, ..YC)

T

Composite

(NTSC, SECAM, PAL)

Videosignale T

‹

‹

(FBAS)

RS 170, RS 170A, ...

Speziell: Videobandformate für Recorder T

VHS, S-VHS

T

Betacam, Betacam SP, ...

Details in Multimedia und Animation

Computervideo kein genereller Standard gebräuchlich. Details siehe 4. Graphische Systeme

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

33

SS 2005

Beispiele für Austauschformate Digitale Bilder (Rasterfiles) ‹

BMP

‹

Windows Bitmap Format

Microsoft

Fax Group 3 oder Fax Group 4

CCITT (ITU)

‹

GIF

Graphics Interchange Format

‹

JFIF

JPEG File Interchange Format

‹

PBM

Portable Bitmap

‹

PNG

Portable Network Graphics

‹

TGA

Targa File Format

‹

TIFF

Tag Image File format

‹

u.v.a.m. , insbesondere proprietäre Produktformate

© Prof. Dr.-Ing. Detlef Krömker

ISO/IEC

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

34

SS 2005

Beispiele für Austauschformate Digitalvideo ‹

CCIR 601

Basis des Digitalfernsehen

(CCIR) ITU

‹

H.261

Videokonferenzstandard

(CCITT) ITU

‹

M-JPEG

Motion JPEG

ISO/IEC/ITU

‹

MPEG Motion Picture Expert Group

ISO/IEC/ITU

‹

QT

Apple

‹

AVI

Quicktime

Microsoft

Sonderform: ‹

QTVR

Quicktime VR Details in Multimedia und Animation

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

35

SS 2005

Beispiele für Austauschformate Geometrie und Merkmalsebene 2D Vector Files „Zeichnungen“, CAD ‹

HPGL HP Graphics Language (Plottersprache)

Hewlett-Packard

‹

DXF

Autodesk

Drawing eXchange Format (original 2D später auf 3D erweitert)

Metafiles ‹

(Raster & Vektorgraphik)

CGM Computer Graphic Metafile

ISO/IEC

Page Description Language (Seitenbeschreibungssprachen) ‹ ‹

PS (EPS) (Encapsulated) PostScript PDF Portable Document Format © Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

Adobe 36

SS 2005

Beispiele für Austauschformate Geometrie und Merkmalsebene 3D CAD Formate ‹ ‹

IGES STEP

Initial Graphics Exchange Specification Standard for the Exchange of Product Data

Szenen- und Objektbeschreibungssprachen ‹ ‹ ‹ ‹ ‹

VRML RIB FLT OBJ MAX

Virtual Reality Modeling Language Renderman Interface Bytestream MultiGen Flight Wavefront Object 3D Studio Max

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

ISO/IEC Î Animation Alias (Wavefront) Kinetix

37

SS 2005

Übersicht 1. Die Plenoptische Funktion 2. Bildrepräsentationen: Charakterisierung und Beispiele 3. Austauschformate, Kompression, Kodierung 4. Programmierschnittstellen 5. Eine spezielle Funktion Der Diracsche Deltaimpuls 6. Abtastung Rekonstruktion

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

38

SS 2005

Programmierschnittstellen Beispiel: Geometrie und Merkmalsebene JAVA 3D Performer (SGI) Open SG

API: Application Programmers Interface ‹ Funktionale Spezifikation und ‹ Spracheinbindung

Szenengraph (Open) GL Direct X Direct 3D

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

39

SS 2005

Zwischen - Zusammenfassung Plenoptische Funktion ‹ Verschiedene Bildrepräsentationen statische dynamische symbolische Ebene Modelle Modelle Geometrie + Merkmale Animation Graphik Digitales Digitaldiskret + quantisiert ‹

Bild

video

Video Reiz

Bildaustauschformate ‹ Programmierschnittstellen ‹

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

40

SS 2005

Jetzt wird es theoretisch 1. Die Plenoptische Funktion 2. Bildrepräsentationen: Charakterisierung und Beispiele 3. Austauschformate, Kompression, Kodierung 4. Programmierschnittstellen 5. Eine spezielle Funktion: Der Diracsche Deltaimpuls 6. Abtastung Rekonstruktion

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

41

SS 2005

Eine spezielle Funktion Der Diracsche Deltaimpuls

(Diracfunktion, Deltafunktion, Nadelimpuls nach Paul Dirac 1930) wird über ihre Haupteigenschaften definiert:

δ ( x ) := 0 für x ≠ 0

δ ( x, y ) := 0 für x, y ≠ 0

+∞

+ ∞+ ∞

−∞

− ∞− ∞

³ δ ( x )dx = 1

³³

δ ( x, y )dxdy = 1

δ ( x, y ) = δ ( x )δ ( y ) Streng: Es gibt keine klassische Funktion δ mit diesen Eigenschaften. δ ist streng genommen eine Distribution (verallgemeinerte Funktion).

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

42

SS 2005

Der Diracsche Deltaimpuls Die Deltafunktion läßt sich als Grenzwert einer Familie von Funktionen definieren, z.B: 1 recta,b ( x, y )mit 4a ⋅ b a, b → 0

δ ( x, y ) ≡ lim

­1 für x ≤ a und y ≤ b recta,b ( x, y ) = ® ¯ 0 sonst

anschaulich: eine Rechteckfunktion mit unendlich kleiner Impulsbreite und unendlicher Impulshöhe im Ursprung Î Nadelimpuls © Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

43

SS 2005

Die Ausblendeigenschaft (Siebeigenschaft; sifting property) der Deltalfunktion: +∞

³ f ( x )δ ( x − x

0

)dx = f (x0 )

−∞

Dieses Integral blendet an der Stelle x0 den Funktionswert f(x0) aus:

f (x ) x0

© Prof. Dr.-Ing. Detlef Krömker

x

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

44

SS 2005

Diracfolge und Diracfeld T(x)

Diracfolge x

∆x y

+∞

S( x ) =

¦ δ ( x − m∆x )

m = −∞

Diracfeld

S(x,y)

∆y S( x, y ) =

+∞

+∞

¦ ¦

δ ( x − m∆x, y − n∆y

m = −∞ n = −∞

x ∆x © Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

45

SS 2005

Übersicht 1. Die Plenoptische Funktion 2. Bildrepräsentationen: Charakterisierung und Beispiele 3. Austauschformate, Kompression, Kodierung 4. Programmierschnittstellen 5. Eine spezielle Funktion: Der Diracsche Deltaimpuls 6. Abtastung Rekonstruktion

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

46

SS 2005

Abtastung -- Rekonstruktion diskretes Bild

Rekonstruktion

Abtastung

kontinuierliche Bildfunktion

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

47

SS 2005

Zwischenruf: Fouriertransformation als Integraltransformation ‹

Operationen nach ihrer Schwierigkeit geordnet: T T T

‹

Addition und Subtraktion Multiplikation und Division Differentiation und Integration

Allgemeine mathematische Strategie: Durch Transformationen lassen sich ggf. Schwierigkeiten reduzieren: T T

Logarithmieren: Multiplikation Î Addition Integraltransformationen: Differentiation Î Multiplikation © Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

48

SS 2005

Fouriertransformation 2D

F ( u, v ) =

∞

∞

³ ³

f ( x , y )e − j ( ux +uy ) dxdy

−∞ −∞ ∞

© Detlef Krömker

1 f ( x, y) = 2 ³ 4π −∞ Ortsraum Ortsfunktion f(x,y) i.d.R. reell

∞

j ( ux+vy ) F ( u , v ) e dudv ³

−∞

Frequenzraum Frequenzspektrum F(u,v) i.d.R. komplexwertig

Eigenschaften der 2D-Fourriertransformation ‹

Es sei f(x, y) die Funktion der Intensität im Punkt (x, y).

‹

Dann sind ξ1 , ξ 2 die zugehörigen Ortsfrequenzen von f(x, y).

© Detlef Krömker

‹

Zwischen den stetigen Funktion f(x, y) und F (ξ1 , ξ 2 ) besteht eine eineindeutige Beziehung.

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

50

SS 2005

Transformationstabelle f ( x, y)

F (ξ1 , ξ2 ) 1

δ ( x, y)

δ ( x ± x0 , y ± y0 )

exp( ± j 2πxη1 ) exp( ± j 2πyη2 )

[

exp − π ( x 2 + y 2 )

rect[ x, y] tri( x, y)

comb( x, y)

© Prof. Dr.-Ing. Detlef Krömker

]

exp( ± j 2πx0ξ1 ) exp( ± j 2πy0ξ2 )

δ (ξ1 ± η1 ,ξ2 ± η2 )

[

]

exp − π (ξ12 + ξ2 2 ) sinc(ξ1 , ξ2 )

sinc2 (ξ1 , ξ2 )

comb(ξ1 , ξ2 )

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

51

SS 2005

Transformation spezieller Funktionen 1 ∆x

1 § x · re c t ¨ ¸ © ∆x ¹ ∆x

−

∆x 2

∆x 2

1.0

sinc

( )

ξ1 sinc ξ x0

4ξ x 0

§¨ ξ2 ·¸ © ξ y0 ¹

1 ∆x

1 § x · tri ¨ ¸ © ∆x ¹ ∆x

∆x

∆x

1.0

ª § ξ1 · § ξ2 · º « sinc ¨© ξ x0 ¸¹ sinc ¨© ξy0 ¸¹ » ¬ ¼

2

4ξ x 0

1.0

1 2πσ

2

e

−

x2 2σ 2

2σ e

§ · − 2 π 2 σ 2 ¨¨© ξ 2 + ξ 2 ¸¸¹ 1 2

1 ∆x

1 § x · sin c ¨ ¸ © ∆x ¹ ∆x

2∆x

© Prof. Dr.-Ing. Detlef Krömker

1.0

rect

( )

ξ1 rect ξ x0

§¨ ξ2 ·¸ © ξy0 ¹

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

2ξ x 0

52

SS 2005

Rechenregeln Eigenschaft

Funktion f ( x , y )

Fourier Transformation F (ξ1 , ξ2 )

Rotation

f ( ± x ,± y )

F ( ± ξ1 ,± ξ2 )

Linearität

a1 f 1 ( x , y ) + a2 f 2 ( x , y )

a1 F1 (ξ1 , ξ2 ) + a 2 F2 (ξ1 , ξ2 )

Konjunktion

f *( x, y)

F * ( − ξ1 ,− ξ2 )

Unabhängigkeit

f1( x ) f 2 ( y )

F1 (ξ1 , ξ2 ) F2 (ξ1 , ξ2 )

Skalierung

f ( ax , by )

F (ξ1 / a , ξ2 / b ) ab

Verschiebung

f ( x ± x0 , y ± y0 )

exp ± j 2π ( x0ξ1 + y0ξ2 ) F (ξ1 , ξ2 )

Modulation

exp ± j 2π (η1 x + η2 y ) f ( x , y )

F (ξ1 ± η1 , ξ2 ± η2 )

Faltung

g ( x , y ) = h( x , y )∗ f ( x , y )

G (ξ 1,ξ 2 ) = H (ξ 1,ξ 2 )F (ξ 1,ξ 2 )

Multiplikation

g ( x , y ) = h( x , y ) f ( x , y )

G (ξ1 , ξ2 ) = H (ξ1 , ξ2 ) * F (ξ1 , ξ2 )

[

© Prof. Dr.-Ing. Detlef Krömker

]

[

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

]

53

SS 2005

Abtasttheorem Shannon (1949) (Originalformulierung): “If a function f(t) contains no frequencies higher than W cps, it is completely determined by giving ist ordinates at a series of points spaced 1/2 W seconds apart.” The function can be simply reconstructed from the samples by using a pulse of the type

sin 2 π W t 2π W t Vorarbeiten durch H. Nyquist (1924) und J.M. Whittaker (1935).

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

54

SS 2005

Abtasttheorem (1): Abtastung Ein bu , bv bandbegrenztes Bild f(x,y), das orthogonal mit Abtastintervallen ∆ x , ∆ y abgetastet wird, kann fehlerfrei rekonstruiert werden, wenn die Abtastfrequenzen größer als die Nyquist-Frequenzen us ,vs sind.

© Detlef Krömker

1 1 = us > 2bu , = vs > 2bv ∆x ∆y mit

F (ξ , η ) = 0,

ξ > bu ,

η > bv

Abtasttheorem (2): Rekonstruktion Ein diskretes Bild f d ( x , y ) läßt sich mit Hilfe eines (idealen) Tiefpasses mit der Übertragungsfunktion

H

TP

( u , v ) = ∆ x ∆ y r e c t ξη ( u , v )

m it

bu < ξ < ∆ u − bu u n d bv < η < ∆ v − bv hTP ( x , y ) = ∆ x ∆ y s in c ( x ξ ) s in c ( y η )

© Detlef Krömker

rekonstruieren, so daß dieses mit dem ursprünglichen Signal identisch ist. Das rekonstruierte Bild ist dann

x sin( − m)π ∞ ∞ ∆x f ( x , y ) = ¦ ¦ f ( m ∆x , n∆y ) x m = −∞ n = −∞ ( − m)π ∆x

y − n )π ∆y y ( − n )π ∆y

sin(

Abtastung -- Rekonstruktion diskretes Bild

Rekonstruktion

Abtastung

kontinuierliche Bildfunktion

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

57

SS 2005

Ideale Abtastung Jetzt sind wir in der Lage, die Abtastung formal zu fassen und zu beschreiben: Gegeben: ‹

kontinuierliche Bildfunktion

50 40 40-50

f (x, y)

30

30-40

20

20-30

0

Diracfeld

s( x , y ) =

∞

0-10

2

0

‹

10-20

4

10

1

2

3

4

5

6

7

8

0 9

∞

¦ ¦ δ ( x − m∆x, y − n∆y)

m=−∞ n =−∞

1

0,9

0,8

0,7

0,6

0,5

0,4 R5 0,3 R4 0,2 R3 0,1 R2

0 1

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

2

58

3

R1 4

5

6

7

SS 2005

Abtaster

f ( x, y)

fs ( x , y )

s (x,y) Diracfeld

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

59

SS 2005

Ideale Abtastung Wir definieren als abgetastetes Bild:

f s = f ( x, y) ⋅ s( x, y) = f ( x, y) ⋅ ¦

© Detlef Krömker

=¦

∞

¦δ ( x − m∆x, y − n∆y)

m,n=−∞

∞

¦ f ( x, y) ⋅δ ( x − m∆x, y − n∆y)

m,n=−∞

f ( x, y) für x = m∆x, y = n∆y ­ = f (m∆x, n∆y) = ® ¯ 0 sonst

Ideale Abtastung Um mehr über die Eigenschaften des abgetasteten Signals zu erfahren, führen wir eine Fouriertransformation aus:

f s = f ( x , y ) ⋅ s( x , y )

© Detlef Krömker

FS (u, v) = F (u, v) ⊗ S (u, v) ∞ ∆u∆v F (u − k∆u, v − l∆v) = 2 ¦ ¦ 4π k ,l =−∞

wobei ∆u = 2π / ∆x und ∆v = 2π / ∆y

Veranschaulichung der idealen Abtastung

y

v

F ( u, v )

s( x , y )

∆y x v

∆x

© Detlef Krömker

Fs ( u , v )

bv

bu

u

∆v =

u ∆u =

2π ∆x

2π ∆y

Veranschaulichung der idealen Abtastung

y ∆y

x ∆x

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

63

SS 2005

Veranschaulichung der idealen Rekonstruktion v y

∆u

bu ∆v

∆y

bv

x

© Detlef Krömker

∆x f(x,y) kann durch einen idealen Tiefpaß mit

H ( u , v ) = ∆ x ∆ yrect ξη ( u , v ) mit bu < ξ < ∆ u − bu und bv < η < ∆ v − bv rekonstruiert werden.

u

Abtasttheorem (1) Ein bu , bv bandbegrenztes Bild f(x,y), das orthogonal mit Abtastintervallen ∆ x , ∆ y abgetastet wird, kann fehlerfrei rekonstruiert werden, wenn die Abtastfrequenzen größer als die Nyquist-Frequenzen us,vs sind.

1 1 = us > 2bu , = vs > 2bv ∆x ∆y mit

F (ξ , η ) = 0,

ξ > bu ,

η > bv

Abtasttheorem (2) Ein diskretes Bild f d ( x , y ) lässt sich mit Hilfe eines (idealen) Tiefpasses mit der Übertragungsfunktion

H

TP

( u , v ) = ∆ x ∆ y r e c t ξη ( u , v )

m it

bu < ξ < ∆ u − bu u n d bv < η < ∆ v − bv hTP ( x , y ) = ∆ x ∆ y s in c ( x ξ ) s in c ( y η ) rekonstruieren, so daß dieses mit dem ursprünglichen Signal identisch ist. Das rekonstruierte Bild ist dann

x sin( − m)π ∞ ∞ ∆x f ( x, y) = ¦ ¦ f (m∆x, n∆y) x m=−∞ n =−∞ ( − m)π ∆x

y sin( − n)π ∆y y ( − n)π ∆y

sinc-Funktion-1D

1,25

sin x f ( x) = x

1

0,75

0,5

© Detlef Krömker

0,25

0

−2π

π

−π -0,25

2π

3π

4π

2D-Sinc - Die ideale Rekonstruktionsfunktion

sin x sin y f ( x, y) = ⋅ x y 0,9-1 0,8-0,9 0,7-0,8 0,6-0,7 0,5-0,6 0,4-0,5 0,3-0,4 0,2-0,3 0,1-0,2 0-0,1 -0,1-0 -0,2--0,1

© Detlef Krömker

9,425

6,283

7,854 6,283 4,712 -4,712

-3,142

-1,571

3,142 0,000

1,571

3,142

4,712

1,571 6,283

7,854

9,425

0,000

-0,3--0,2

2D-Sinc - Die ideale Rekonstruktionsfunktion

sin x sin y f ( x, y) = ⋅ x y 0,9-1 1 0,9

0,000 1,571

4,712

0,6-0,7

0,7

0,5-0,6

0,6

0,4-0,5

0,5

0,3-0,4

0,4

0,2-0,3

0,3

0,1-0,2

0,2

0-0,1

0,1

-0,1-0

0

-0,2--0,1

-0,1

-0,3--0,2

-4,712

-3,142

-1,571

0,000

1,571

3,142

4,712

6,283

7,854

9,425

9,425

10,996

7,854

-6,283

-0,3

6,283

0,7-0,8

0,8

-0,2

12,566

© Detlef Krömker

3,142

0,8-0,9

© Detlef Krömker

Reale Abtastung und Rekonstruktion Die Forderungen des Abtasttheorems sind in realen Systemen nicht zu erfüllen. Im einzelnen: z Bandbegrenzung: Reale Bildvorlagen sind nicht bandbegrenzt Aliasing (1.Art) z ideale Abtastung (mit Diracimpuls): Reale Abtaster haben endliche Apertur Unschärfe z ideale Rekonstruktion (mit sinc-Funktion): Real nur Approximationen möglich Aliasing (2.Art) Ursachen - Effekte -Maßnahmen

Aliasing 1. Art: Veranschaulichung im 1D 1,25

Ortsraum

1

0,75

0,5

0,25

0 0

15

30

45

60

75

90

105

120

135

150

165

180

-0,25

-0,5

-0,75

-1

© Detlef Krömker

-1,25

Frequenzraum

bu Bandgrenze

Nyquistfrequenz

us Abtastfrequenz

Aliasing 1. Art: Unterabtastung 1,5

Ortsraum

1

0,5

0 0

15

30

45

60

75

90

105

120

135

150

-0,5

-1

© Detlef Krömker

-1,5

Frequenzraum

bu Bandgrenze us Abtastfrequenz Nyquistfrequenz

165

180

Aliasing 1. Art: Veranschaulichung im 1D 1 ,2 5

Ortsraum

1 0 ,7 5 0 ,5 0 ,2 5 0 -0 ,2 5 -0 ,5 -0 ,7 5 -1

© Detlef Krömker

-1 ,2 5

ALIAS Doppelgänger

Aliasing 1. Art im 2D

y ∆y

x

© Detlef Krömker

∆x

ALIASING

Aliasing 1. Art - Ursachen und Artefakte

Ursache: Unterabtastung, Überlappung der Spektren ‹ Durch nachträgliche Filterung nicht korrigierbar! ‹ Artefakte: ‹

T T

© Detlef Krömker

T

Moirees Perlschnüre Aufblitzen (Szintilation) nur in Bewegtbildern

Moiree

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

76

SS 2005

Moiree (Resampling 1:2)

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

77

SS 2005

Moiree (Resampling 1:4)

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

78

SS 2005

Veranschaulichung Szintilation

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

79

SS 2005

Aliasing 1. Art - Maßnahmen ‹

Bandbegrenzung des abzutastenden Bildes durch z.B. T

bei der Aufnahme durch optische Unschärfe ‹ ‹ ‹ ‹

T

endliche Abtastapertur

© Detlef Krömker

‹

T

einfach, adhoc einsetzbar wenig effektiv, weil Filterflanken nicht steil genug erfordert Abtastraten deutlich über Nyquistfrequenz deutlich sichtbare Unschärfe hat Tiefpaßwirkung

beim Rendering sehen wir später!

Reale Bildrekonstruktion - Anzeige Ideale Rekonstruktion mit sinc-Funktion ist praktisch nicht realisierbar ‹ praktische Lösungen: ‹

T T

Rechteckausgaben (zero-order hold) Artifakte: ‹ ‹

T

in der Praxis auf CRT teilweise gemildert durch: ‹ ‹ ‹

T

Treppenstufen Aliasing 2. Art Ameisenkrabbeln (ant crawling) nur im Bewegtbild horizontal: Tiefpaßwirkung des Videoverstärkers vertikal: Gaußfunktion des Elektronenstrahls hochfrequentes “Rauschen” durch Lochrastermaske

auf LCDs deutlich sichtbar!

Übersicht Rekonstruktion Ortsfunktion

Frequenzfunktion

1 ∆x

1 § x · re c t ¨ ¸ © ∆x ¹ ∆x

−

∆x 2

∆x 2

1.0

sinc

( )

§¨ ©

ξ1 ξ2 sinc ξ x0 ξ y0

4ξ x 0

·¸ ¹

1 ∆x

1 § x · tri ¨ ¸ © ∆x ¹ ∆x

∆x

∆x

1.0

ª § ξ1 · § ξ2 · º « sinc ¨© ξ x0 ¸¹ sinc ¨© ξy0 ¸¹ » ¬ ¼

4ξ x 0

2

1.0

1 2π σ

2

e

−

x2 2σ 2

2σ

§ · − 2 π 2 σ 2 ¨¨© ξ 2 + ξ 2 ¸¸¹ 1 2 e

1 ∆x

1 § x · sin c ¨ ¸ © ∆x ¹ ∆x

2∆x

© Prof. Dr.-Ing. Detlef Krömker

1.0

rect

( )

ξ1 rect ξ x0

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

§¨ ξ2 ·¸ © ξy0 ¹

2ξx 0

82

SS 2005

Das Rekonstruktionsdilemma ‹

‹ ‹ ‹

Sinc-Funktion als Rekonstruktionsfunktion ist praktisch nicht möglich (negatives Licht). Fehler sind also unvermeidbar! Rekonstruktionsfunktion Auflösungsfehler Interpolationsfehler Sinc 0% 0% Rechteck (bei LCD-Displays) 26,9% 15,7% Gauss (bei CRTs) σW=T/2 54,6% 2,0% variabel! σW=3T/8 38,6% 10,3%

Im Frequenzraum

1,25

Ideal Sync-Funktion im Ortsbereich Rechteck im Frequenzbereich

1

Auflösungsfehler

0,75

Rechteck im Ortsbereich

0,5

Sync im Frequenzbereich

05

0

-0,25

Interpolationsfehler

Rekonstruktion auf LCD-Displays = Rechteck! Auflösungsverlust: minimal !!! ‹ Interpolationsfehler: maximal !!! ‹

T T

Treppenstufen Ameisenkrabbeln

Theoretisch ist Verbesserung möglich durch eine entsprechende optische Filterung (Mattscheibe – kein idealer TP!) ‹ Glücklicherweise ist das Visuelle System auch ein wirksamer Tiefpaß ‹

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

84

SS 2005

Rekonstruktion auf CRT-Displays Vergleichsweise gute Annäherung an SincFunktion im Zentralimpuls = Rechteck in der Fouriertransformierten ‹ Î Auflösungsverlust fast so gering wie bei LCDDisplay ‹ Î Interpolationsfehler geringer Î „friedlich“ ‹

‹

Notwendig: korrekte Strahlfokussierung

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

85

SS 2005

Zusammenfassung Abtastung: theoretisch bandbegrenztes Bildsignal erforderlich – in der Praxis nicht realisierbar ‹ Rekonstruktion auch nicht ideal möglich ‹ Î unvermeidbare Fehler – nur Minimierung möglich: ‹

Aliasing 1. Art: Abtastfehler Î Moiree, Scintillation,... Aliasing 2. Art: Rekonstruktion Î Treppenstufen,...

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

86

SS 2005

Glossar Plenoptische Funktion Bildrepräsentationen Digitales Bild Rasterformat-Dateien Vektorformat-Dateien Metafiles CAD-Dateien Szenenbeschreibung Programmierschnittstellen

© Prof. Dr.-Ing. Detlef Krömker

Plenoptic Function Image Representation digital image raster files vector files metafiles CAD files scene description application programmers interface API

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

87

SS 2005

Glossar (2) Bildbearbeitung (auch Bildverarbeitung) Abtastung Aufnahme Anzeige (Display) Videosignal Rasterfile (-formate) Beispiele Szenen- und Objektbeschreibungsformate (-sprachen)

© Prof. Dr.-Ing. Detlef Krömker

image processing sampling recording display video signal raster formats scene files

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

88

SS 2005

Glossar (3) Abtasttheorem Bandbegrenztes Bildsignal Rekonstruktion Aliasing Interpolationsfehler Auflösungsfehler

© Prof. Dr.-Ing. Detlef Krömker

sampling theorem bandlimited Image signal reconstruction aliasing interpolation error resolution error

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

89

SS 2005

Weitere Informationen ‹

Übersicht zu Graphics File Formats ftp://rtm.mit.edu/pub/usenet/news.answers/ graphics/fileformats-faq/ Mehr als 100 verschiedene Formate werden vorgestellt. Links zu Format-Spezifikationen. Viele praktische Hinweise zur Formatwandlung und Problemlösungen. Leider seit 1997 nicht mehr aktualisiert.

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

90

SS 2005

Ausblick – Nächste Schritte

Bilder werden für Menschen erzeugt. Wir müssen (besser) verstehen, wie Menschen Bilder wahrnehmen.

© Prof. Dr.-Ing. Detlef Krömker

Graphische Datenverarbeitung 1. Grundlagen des Digitalen Bildes

91

SS 2005