Teil IV-A: Signal- und Bildverarbeitung – Methoden 1. Aufgaben der Signal- / Bildverarbeitung 2. Elementare Verarbeitungsmethoden 3. 2D Fourier-Transformation und Faltung
Aufgaben der Signal- / Bildverarbeitung Signalveränderung / -transformation
§
Verbesserung Rauschunterdrückung, Verbesserung des Signal-Rausch-Verhältnis, Kontrast, ...
§
Anpassung Registrierung mehrerer Signale zwecks Vergleich, ...
Aufgaben der Signal- / Bildverarbeitung Signalveränderung / -transformation
§
Verbesserung Rauschunterdrückung, Verbesserung des Signal-Rausch-Verhältnis, Kontrast, ...
§
Anpassung Registrierung mehrerer Signale zwecks Vergleich, ...
Signalverarbeitung
§
Detektion von Kontrasten Bestimmung von Randkonturen, ...
§
Segmentierung und Extraktion von Merkmalen Regionenbestimmung, Merkmale für Klassifikation, ...
Elementare Verarbeitungsmethoden Punktoperationen zur Grauwertransformation Transformation von Intensitätswerten auf der Basis individueller Bildpunkte
T(g) = g* Invertierung, Streckung, Stauchung, globale Schwellwerte Schema:
direkte Zuordnung von Ein-/Ausgabe-Wertepaaren hier: Grauwerte ~ Intensitäten
Invertierung
gout
gout
255
T(gin)
Streckung, Stauchung
Schwellwert
gout
255
255
g*2 T(g in )
0 0
255
gin
g*
1 0 0
g1 g2
255
gin
T(g in ) 0 0
gT
255
gin
Bsp. 1:
Invertierung Röntgenbild
(J.C. Rush. The image processing handbook, 3rd ed. CRC Press, 1999)
Bsp. 2:
Bild „Tomo1451.jpg“, Streckung mittlerer Grauwerte (mittels ‚xv‘, UNIX)
Beobachtung:
Struktur im mittleren Grauwertbereich wird besser sichtbar; Details in dunklen und sehr hellen Bereichen gehen verloren
Bsp. 3:
Bild „Cell.jpg“, Binarisierung (mittels ‚xv‘, UNIX)
Beobachtung:
Die Bildstruktur wird in zwei Klassen eingeteilt: schwarz - Zellkerne weiss - Rest
Eigenschaften:
i.
Plazierung von ( g1, g1* ) und ( g2 , g2* ) legt die Form der Streckung Stauchung
ii.
T‘( . ) > 1 bzw. T‘( . ) < 1 fest
Lineare Abschnitte der Transformation T( . ) mit T‘([ga .. ge]) > 0
è Erhaltung der Ordnung der Funktionswerte iii.
mit g1 = g2
und g1* = 0, g2* = Imax
è T( . ) definiert Schwellwertfunktion mit globaler Schwelle T = gl zur Erzeugung von Binärbildern
Histogramm-Linearisierung (für diskretes Grauwertspektrum) Diskrete Intensitätswerte mit relativen Häufigkeiten:
, g k = 0,1,K ,255 Histogramm:
ρ g (g k )
relative Summenhäufigkeit
gk relative Summenhäufigkeit (~ Wahrscheinlichkeitsdichtefunktion, pdf)
g
Bsp. :
(aus R.C. Gonzalez, P. Wintz. Digital image processing, Addison-Wesley, 1977)
geg. :
64 x 64 Bild, mit b = 3 : G = {0, 1, ..., 23 - 1 = 7} Grauwertverteilung (normiert : [0, 1]) :
g g0 = 0 g1 = 1/7 g2 = 2/7 g3 = 3/7 g4 = 4/7 g5 = 5/7 g6 = 6/7 g7 = 1
anz( gk ) 790 1023 850 656 329 245 122 81
ρg
( gk ) = anz( gk ) / ( 642 ) 0.19 0.25 0.21 0.16 0.08 0.06 0.03 0.02
Transformationsfunktion mittels relativer Summenhäufigkeit und Abbildung auf normierte Funktionswerte Gnorm = {0, 1/7, 2/7, ..., 1} :
. .
Anmerkung :
k
sk
0 1 2 3 4 5 6 7
0.19 0.44 0.65 0.81 0.89 0.95 0.98 1.00
norm
gk (1/7 ~ 0.14)
diskretes Histogramm ~ Approximation einer pdf à perfekte lineare Histogramme sind eher selten ... !
1/7 3/7 5/7 6/7 6/7 1 1 1
≈ ≈ ≈ ≈ ≈
0.143 0.429 0.714 0.857 0.857
Grauwertabbildung :
Abbildung : gk g0 = 0 g1 = 1/7 g2 = 2/7 g3 = 3/7 g4 = 4/7 g5 = 5/7 g6 = 6/7 g7 = 1
: 790 : 1023 : 850 : 656 : 329 : 245 : 122 : 81
sk s0 = 1/7 : 790 s1 = 3/7 : 1023 s2 = 5/7 : 850 s3 = 6/7 : 985 s4 = 1
: 448 (R.C. Gonzalez, R.E. Woods. Digital image processing. Addison-Wesley, 1993)
Anwendungsbeispiel :
(J.C. Rush. The image processing handbook, 3rd ed. CRC Press, 1999)
(Lineare) Filterung Primäre Zielsetzung bei der Bildfilterung
Filterverfahren
Bildverbesserung
Merkmale
Bildglättung
Kontrastdetektion
meist linear auch nicht-linear
meist linear auch nicht-linear
Verfahren / Methoden
Lineare Filter und ihre Eigenschaften Aufgabe :
Abschwächung oder Betonung bestimmter Bereiche des Frequenzspektrums einer Signal- / Bildfunktion
Generelles Ziel (der ersten Verarbeitungsschritte) :
Extraktion relevanter Bildinhalte
Lineare Filterung und (diskrete) Faltung zur Rauschunterdrückung §
Problem:
Elimination von Störungen (~ hochfrequentes (additives) Rauschen)
§
Ansatz:
Beseitigung der lokalen Variationen („Ausreisser“) durch Mittelung benachbarter Funktionswerte
Konzept:
• diskrete (numerische) Maske benachbarter Funktionswerte • Maske wird zeilenweise in allen Spalten, d.h. an jedem Bildpunkt, angewendet (à Behandlung der Ränder)
§
Box-Filter (3 x 3 Maske) Koeffizienten :
g*(x, y) diskrete Faltung ( Bild : f(x, y) ) :
x = 0, 1, ..., M-1; y = 0, 1, ..., N-1
Verallgemeinerung (m x m Matrix) :
m
m = 2k + 1 Diskrete Faltung (für beliebige Maskengrössen) :
Box-Tiefpass Filter unterschiedlicher Grössen – Beispielanwendung
N x N Maske, N = {3, 5, 7, 15, 25}
(R.C. Gonzalez, R.E. Woods. Digital image processing. Addison-Wesley, 1993)
2D Fourier-Transformation und Faltung 2D Transformationspaar Kontinuierlicher Fall geg. : 2D Signalfunktion (Ortsbereich) f(x, y) à
entsprechend der 1D Fourier-Transformation gelten die Transformationspaare (hier: balancierte Notation durch Aufteilung der Skalierungsfaktoren !):
Transformation vom Orts- in den Frequenzraum
mit
u = fx , v = fy ; ω x = 2 π / Tx = 2 π u , ω y = 2 π / Ty = 2 π v mit
λ
2D Cosinus-Welle
y
Ψ
Ψ
x
λ = Tx cos Ψ
Tx = l / cos Ψ
λ = Ty cos(90 – Ψ )
Ty = l / sin Ψ
sin Ψ
Ty
λ
Ψ
Tx
Diskreter Fall 1.
Transformation vom Orts- in den Frequenzraum: i.
Matrix mit N x M Bildpunkten
Zeilen Transformation Spalten für u = 0, 1, ..., M-1 und v = 0, 1, ..., N-1 Abtastabstände: ii.
∆u
= 1 / (M ∆x) und ∆v = 1 / (N ∆y)
2 quadratische Matrix mit N Bildpunkten (M = N)
2.
Rücktransformation i.
für N x M Matrix
ii.
für quadratische Matrix (N
2
Bildpunkte)
Fourier- / Amplituden-Spektrum Bildbeispiele von Amplitudenspektren verschiedener Eingangssignale
Isotropie: Frequenzen in alle Richtungen
Unschärfeprinzip: Frequenzen orthogonal zum Strukturverlauf
(R.C. Gonzalez, R.E. Woods. Digital image processing. Addison-Wesley, 1993)
Eigenschaften Visualisierung von Fourier-Spektren
à
Häufig hoher Dynamikbereich in Fourier- (Amplituden-) Spektren durch Dominanz des Gleichanteils, (u, v) = (0, 0)
„Trick“ für Visualisierung:
D(u , v ) = c ⋅ log[1 + F (u , v ) ]
(R.C. Gonzalez, R.E. Woods. Digital image processing. Addison-Wesley, 1993)
Parameter der Fourier-Transformation Signalparameter §
§
Für 1-dimensionale Signale s(t) •
Mittels Fourier-Analyse wird deren Darstellung in Form eines trigonometrischen Polynoms gezeigt
•
Die einzelnen harmonischen Komponenten werden durch 3 Parameter eindeutig repräsentiert: i.
Amplitude (~ Fourier-Koeffizienten)
ii.
Frequenz
iii.
Phase (~ Phasenverschiebung)
Für 2-dimensionale Signale f(x, y) à weiterer Parameter: iv.
§
Richtung (~ Richtung einer Wellenfront in der Bildebene)
Spektren: a)
Amplituden- oder Magnitudenspektrum
b)
Phasenspektrum
| F(u) |
bzw.
Φ (u)
bzw.
| F(u, v) | Φ (u,
v)
Bestimmung der Parameter aus F(u, v) ∈ C – Spektral-Eigenschaften 1.
Frequenz
Repräsentiert eine Schwingung, die mit 4 Parametern eindeutig bestimmt ist !
v tiefe mittlere
vi
u ui
(aus den Koordinaten !)
hohe
Frequenzen
Charakteristische Filtereigenschaften a)
Tiefpass :
Unterdrückung hoher Frequenzanteile, niederfrequente Anteile passieren weitgehend ungehindert
Funktion: Bildstörungen (~ Rauschen) sind hochfrequent, daher dienen Tiefpassfilter zur Rausch-Unterdrückung (~ Bildglättung)
b)
Hochpass :
Unterdrückung niedriger Frequenzanteile, hohe Frequenzen passieren weitgehend ungehindert
Funktion: Hervorhebung von Kontrasten (Kanten) der Signalfunktion; Nachteil: Störungen erscheinen wesentlich verstärkt
c)
Bandpass :
Kombination von Hoch- und Tiefpassfilter
Funktion: Hervorhebung bestimmter Frequenzanteile; Betonung von Kontrasten (Kanten) in verrauschten Daten
2.
Amplitude
|F(u, v)|
vi
Im Re
|F(.)| ui Länge des Vektors (= Skalar) der komplexen Zahl an (ui, vi)
è Amplitudenspektrum (~ Magnituden- / Leistungsspektrum) : Beträge (~ Längen) der Vektoren für (alle) Frequenzen des Fourier-Spektrums
3.
Phase
code{ Φ } vi
Im Re
ui
Φ
Phasenlage (Phasenwinkel) des (komplexen) Funktionswertes
è Phasenspektrum : Phasenwinkel (ε [- π, π]) für das gesamte Fourier-Spektrum (in geeigneter Codierung zur Darstellung)
4.
Richtung
v vi
u ui
Ψ
Richtungswinkel des Ortsvektors in Polarkoordinaten-Darstellung
Beispiel :
a) b) c)
Transformation einer verschobenen Box-Funktion
2D Signalfunktion Betrag des Fourier-Spektrums |F(u, v)| helligkeits-codierte Betragsfunktion (R.C. Gonzalez, R.E. Woods. Digital image processing. Addison-Wesley, 1993)
Eigenschaften Linearität a)
Superposition
:
b)
Homogenität
:
Ähnlichkeit (Dehnung, Stauchung)
Translation im Orts- und Frequenzbereich 1.
Verschiebung im Frequenzbereich
2.
Verschiebung im Ortsbereich
è
Verschiebung der Funktion im „Ziel“-Raum bewirkt lineare Phasendrehung im Komplementär-Raum !
Periodizität und konjugierte Symmetrie (diskrete Fourier-Transformation) diskrete Bildfunktion mit homogener Abtastung, ∆ x, ∆ y, und rechteckiger Fensterfunktion
geg.:
§
diskrete Fourier-Transformation und ihre Inverse sind periodisch mit den achsenspezifischen Periodenlängen N bzw. M
v
§
für reelle f(x, y) gilt (* : komplex Konjugierte) :
M
u
bzw.
N
§
Periodenverschiebung bei diskreter Transformation Formulierung der diskreten Fourier-Transformation für Werte
u ε [0, N-1] Ergebnis :
è
§
und
v ε [0, M-1]
v
Transformierte erscheint mit jeweils 2 aneinandergrenzenden Halbperioden
Zur Darstellung einer vollen Periode können die jeweils diagonal gegenüberliegenden Quadranten (mit je einer Halbperiode) vertauscht werden !
0
u
1D Fall :
0
(R.C. Gonzalez, R.E. Woods. Digital image processing. Addison-Wesley, 1993)
Rotation §
Rotation eines Bildsignals f(x, y) um θ 0 bewirkt eine entsprechende Rotation des Spektrum F(u, v)
§
Beispiele:
(R.C. Gonzalez, R.E. Woods. Digital image processing. Addison-Wesley, 1993)
Differentiation §
Allgemein
§
Beispiele: a) Ableitung 1. Ordnung
b) Ableitung 2. Ordnung
c) Laplace-Operator
Kreis-Funktion r 2
2D Faltung (Konvolution) und Korrelation Faltung geg. : 2 analoge / diskrete 2D Signalfunktionen f(x, y) und g(x, y)
§
Faltungsintegral
2D Faltung (Konvolution) und Korrelation Faltung geg. : 2 analoge / diskrete 2D Signalfunktionen f(x, y) und g(x, y)
§
Faltungsintegral
§
Faltungssumme (sequentielle Faltung) geg.: diskrete begrenzte Bildfunktionen und Masken Problem:
Was passiert an den Rändern ?
?
?
•
Periodenanpassung („extended sequences“)
B AxB
D CxD
A N M
und
( à Dirichlet‘sche vs. Neumann‘sche Randbedingungen )
Maske, g(x, y) •
Diskretes Faltungsprodukt
für x = 0, 1, ..., M-1 und y = 0, 1, ..., N-1
C
Faltungstheorem Es gilt:
a) für analoge Funktionen
F{f(x, y) * g(x, y)} = F{f(x, y)} . F{g(x, y)} b) für diskrete Funktionen („extended sequences“)
F{fe[x, y] * ge[x, y]} = F{fe[x, y]} . F{ge[x, y]}
F{.} f(x, y)
F(u, v) g(x, y)
OrtsBereich
G(u, v)
.
*
FrequenzBereich
F -1{.} f(x, y) * g(x, y)
F(u, v)
. G(u, v)
Korrelation §
Korrelationsintegral
§
Korrelationssumme („extended sequences“)
für x = 0, 1, ..., M-1 und y = 0, 1, ..., N-1
è für
Autokorrelation Kreuzkorrelation
§
Zusammenhang mit Faltung und Fourier-Transformation i.
Beziehung zur Faltung
ii.
Beziehung zur Fourier-Transformation
f*(x, y) (komplex Konjugierte) Hinweis:
Beziehungen gelten sowohl für analoge als auch für diskrete Funktionen („extended sequences“) !
Separierte Faltung geg. :
§
f (und x, y )
g ( x , y ) = k ( x ) ⋅ h( y )
Faltungsintegral
1D-Faltung è Zwischenergebnis
§
Faltungssumme (mit
f e [x, y ], g e [x, y ] = k e [x ]⋅ )he [ y ]
1D-Faltung è N Zeilenvektoren
Berechnungsaufwand (Zeitkomplexität) Faltung und Fourier-Transformation §
2D Faltung
•
M Spalten, N Zeilen
•
für jeden Punkt (x, y): M x N
(komplexe) Multiplikationen (M x N) 2 ~
§
O (N 4 )
2D Fourier-Transformation • •
Transformation Filterung
(M x N) 2 . M 2N M 2N M 2N
.(M x N) 2 2 2
4 . M 2N 2 ~
§
O (M 2 N ,2 ) für N = M :
komplexe Multiplikationen F.T. für f(.) und g(.) Multiplikation der Spektren F und G Rücktransformation
O (M 2 N ,2 )für N = M :
O (N 4 )
Separierte Faltung
• •
M Spalten, N Zeilen in N Zeilen, für jede Spalte x in M Spalten, für jede Zeile y
M Mult. N Mult.
2
= M N Multiplikationen = M N 2 Multiplikationen
2 2 M N + M N ~ O (MN
2
) für N > M ,
für N = M :
O (N 3 )
§
Schnelle Fourier-Transformation („Fast Fourier Transform“, FFT) n
à M = N, N = 2 („Radix-2“)
Zeitkomplexität: à
Master-Theorem für Rekursionsgleichungen (siehe T.H. Cormen, C.E. Leiserson, R.L. Rivest. Introduction to algorithms. MIT Press, 1990, p.61ff)
aus der asymptotischen Abschätzung von T(n) folgt:
O (N 2 log N 2 ) = O(N 2 log N ) Hinweis :
Durch Ausnutzung der Struktur 2-dimensionaler Signale kann mittels weiterer Zerlegung der Aufwand auf
3 2 N log N 4 reduziert werden!
Unschärferelation und Gauss-Filter Unschärferelation zwischen Orts- und Frequenzbereich gewünscht :
Möglichst begrenzte, d.h. auf einen lokalen Wirkungsbereich beschränkte, (Filter-) Funktion bei gleichzeitiger Wirkung auf ähnliche, d.h. benachbarte, Frequenzen ! Minimierung der Unschärfe zw. der Lokalisation von Ort und Frequenz
Paare von Fourier-Transformationen (ausgewählte Beispiele) :
(R.N. Bracewell. The Fourier transform and its applications, 2. edition. McGraw-Hill, 1978)
Gauss-Funktion Fourier-Transformation der Gauss-Funktion (1D und 2D)
Ähnlichkeit zwischen Orts-Funktion und Spektrum der Gauss-Funktion
à
wg. der Form des Transformationskerns (exp[-j ω x]) und der Integralbeziehung ergibt sich für Exponentialfunktionen ein ähnlicher Funktionsverlauf zwischen der Funktion im Ort und ihrer Transformierten !