„Graphische Datenverarbeitung und Bildverarbeitung“ Hochschule Niederrhein

Merkmale und Klassifikation

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

1

Einordnung in die Inhalte der Vorlesung • • • •

Einführung mathematische und allgemeine Grundlagen Hardware für Graphik und Bildverarbeitung Graphische Grundalgorithmen (Zeichnen graphischer Primitive, Methoden für Antialaising, Füllalgorithmen) • Bildaufnahme (Koordinatensysteme, Transformation) • Durchführung der Bildverarbeitung und -analyse • • • • • •

Fourier Transformation Bildrestauration Bildverbesserung (Grauwertmodifikation, Filterverfahren) Segmentierung Morphologische Operationen Merkmalsermittlung und Klassifikation

• Erzeugung von Bildern in der Computergraphik • • • • • •

Geometrierepräsentationen Clipping in 2D und 3D Hidden Surface Removal Beleuchtungsberechnung Shading Schattenberechnung

• Volumenrendering als Beispiel für die Nutzung beider Gebiete Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

2

Wiederholung wichtiger Begriffe • Erosion und Dilatation • Opening und Closing • Hit-or-Miss-Operatoren

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

3

16.1 Merkmale Die Klassifikation in Bildern erfolgt anhand von Merkmalen Merkmale können sein: -

Eigenschaften des Bildpunktes

-

Eigenschaften von Segmenten

Bildpunkt

Bounding Box eines Segments

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

4

Entwurf eines Erkennungssystems Aufgabe: Einteilung der Segmente eines Bildes in Klassen Problemanalyse

Merkmalsauswahl

Auswahl des Klassifikationsverfahrens

Qualitätsanalyse

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

5

Merkmale Merkmal: Skalar, das einen bestimmten Aspekt des Segments beschreibt • Merkmale des Segmentinneren • Merkmale des Segmentrandes • Merkmale über Abhängigkeiten zwischen benachbarten Segmenten Merkmalsvektor: lineare Anordnung von n quantitativen Merkmalen m = ( m1 , m2 ,.., mn )T Merkmalsraum: Zuordnung jedes Merkmals zu einer Achse des m n-dimensionalen Raumes 2

m = ( m1 , m2 , m3 )

m3

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

m1

6

Anforderungen an die Merkmale • Gute Unterscheidungsmöglichkeiten • Hohe Zuverlässigkeit • Unabhängigkeit • Geringe Anzahl Gewinnung von Merkmalen häufig heuristisch mit anschließender systematischer Auswahl geeigneter Merkmale Nutzung von normierten Merkmalen

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

7

Postulate der numerischen Klassifikation • Es steht eine repräsentative Stichprobe zur Verfügung. • Ein Muster besitzt Merkmale, die für seine Zugehörigkeit zu seiner Klasse charakteristisch sind. • Die Merkmale bilden für Muster einer Klasse einen einigermaßen kompakten Bereich im Merkmalsraum. Die Bereiche verschiedener Klassen sind getrennt.

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

8

16.2 Merkmale von Bildpunkten • Grauwerte, Farbwerte • Interessant für Segmentierung in mehrkanaligen Bildern, z.B. bilden Farbkanäle einen dreidimensionalen Merkmalsraum

Originalbild

Blauer Kanal

Grüner Kanal

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

9

16.3 Merkmale von Segmenten Grauwertmerkmale: mittlerer Grauwert, Streuung der Grauwerte, minimaler und maximaler Grauwert Texturmerkmale: Merkmale aus der Co-Occurence-Matrix, Merkmale aus dem Frequenzspektrum

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

10

Merkmale von Segmenten Einfache Formbasierte Merkmale: Flächeninhalt F, Umfang U, Ausdehnung des Segmentes entlang seiner Hauptachsen, Größe des kleinsten umschließenden Rechtecks, Flächendifferenz zwischen der Segmentfläche und ihrer konvexer Hülle, Kreisähnlichkeit ( (4Fπ)/U2)

Längste Diagonale

Bounding Box

Differenz zur konvexen Hülle

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

11

Merkmale von Segmenten Kettencode:


Berechnung von Krümmungsmerkmalen

Relativer Kettencode: Abweichung der Richtung um ein Vielfaches von 45° im Uhrzeigersinn (-) oder entgegengesetzt (+)

Fourierdeskriptoren:

− 2πi 1 L −1 L −1 an = x e ∑ m L − 1 m=1 nm

rn =

an + bn 2

2

− 2πi 1 L −1 L −1 bn = y e ∑ m L − 1 m=1 r wn = n r1 nm

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

12

Merkmale von Segmenten Topologische Merkmale: Sie ändern sich auch dann nicht, wenn sich die Form des Objekt verändert, solange es nicht „zerrissen“ oder „geklebt“ wird. Beispiele: • Anzahl der Löcher L • Anzahl C der verbundenen Teile eines Objekts • Eulerzahl: E=C-L

E=0 E=-1

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

13

16.4 Welche Merkmale sind geeignet? Merkmale dienen der Unterscheidung zwischen unterschiedlichen Segmenten. • Falls möglich, sollten Merkmale aus den vermuteten Objekteigenschaften abgeleitet werden. • Wenn n Objekttypen unterschieden werden sollen, dann muß das mdimensionale Histogramm des Merkmalsraums wenigstens n unterscheidbare Häufungspunkte enthalten. • Aus der Nähe im Merkmalsraum sollte auf Ähnlichkeit der Objekte geschlossen werden. • Die Unterscheidbarkeit nach Merkmalswerten nimmt nicht ab, wenn die Dimension des Merkmalsraums erweitert wird. • Je weniger Merkmale zur Unterscheidung notwendig sind, desto effektiver wird die Entscheidungsfindung sein.

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

14

16.5 Dimensionsreduktion im Merkmalsraum Klassifikation wird aufwendiger, je größer die Dimension des Merkmalsraumes ist. Vorhandene Information durch den höherdimensionalen Merkmalsraum wird reduziert Wann kann auf diese Information verzichtet werden? Wenn die Klassifizierung auch nach der Reduktion möglich ist.

Durchschnittliche Abweichung von der Richtung der größten Ausdehnung des Merkmals

Gesucht: • Richtung der größten Ausdehnung • durchschnittliche Abweichung davon

 Kovarianz im Merkmalsraum

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

15

Kovarianzmatrix im Merkmalsraum Die Kovarianzmatrix C ist eine quadratische, symmetrische Matrix bestehend aus allen Varianzen und Kovarianzen zwischen Vektoren m(x1,...,xn) im n-dimensionalen Merkmalsraum:  c11  C=   cn1

c12 ...   ...  ... cnn 

1 ⋅ ∑ (mi − mi )(m j − m j ) i, j M 1 M = ∑ mik mi k M =0

cij =

M: Anzahl der Trainingsdaten i,j: betrachtetes Merkmal Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

16

Eigenvektoren und Eigenwerte der Kovarianzmatrix Eigenvektoren e und Eigenwerte λ einer Matrix M sind diejenigen, für die gilt:

r r Me = λ e

r r ⇔ (M − λI )e = 0 ⇒ det (M − λI ) = 0

m1 Die Eigenwerte beschreiben die Varianz der Werte entlang der jeweiligen Achse Sortierung nach der Größe




Die zu den Eigenwerten korrespondierenden Eigenvektoren der Kovarianzmatrix beschreiben in absteigender Reihenfolge eine Reihe von senkrecht aufeinander stehenden Achsen durch den Schwerpunkt des Systems

 m0

Karhunen-Loeve-Transformation Hauptachsentransformation Hotelling-Transformation

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

17

Hauptachsentransformation Praktische Berechnung: 1. Berechnung der Kovarianzmatrix C der Merkmalsvektoren m der Testdaten 2. Berechnung der Eigenwerte λ und Eigenvektoren e von C 3. Umordnen der Eigenwerte, so dass gilt: λ 0 ≥ λ 1 ≥ ... ≥ λ N −1 gleichfalls Umordnung der Matrix E der Eigenvektoren e 4. Falls ein Eigenwert λn =0 ist, kann die betreffende Hauptachse gestrichen werden. Falls ein Eigenwert λn nahe Null liegt, kann sie unter Informationsverlust gestrichen werden 5. Berechnung der neuen unkorrelierten Merkmale:

r r munkorr = mkorr ⋅ E

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

18

Hauptachsentransformation Resultat der Hauptachsentransformation: Dimensionsreduktion, Dekorrelation der Merkmale m2

mneu2

m1

Achtung!

mneu1

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

19

16.6 Merkmalsbasierte Klassifikation 30 25 20 Häufigkeit

15

10

5 0

Fläche

0

500

1000

1500

2000

Annahme: Wenn die Merkmale von Objekten aus unterschiedlichen Klassen sich unterscheiden, dann sollte dies im Merkmalsraum sichtbar sein Klassifikation: Entscheidungsfunktion auf den Merkmalsvektoren D(m1,...,mn) = i

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

20

Merkmalsbasierte Klassifikation Mehrdimensionaler Merkmalsraum 30

Zweidimensionale Verteilung

25 20

0 ,8

Häufigkeit

15

10

0

Fläche

0

500

1000

1500

2000

30

25

Exzentrizität

0 ,6

5

0 ,4

0 ,2

Häufigkeit

20 15

0

10 5 0

Fläche

0

Exzentrizität

0

0 ,2 .2

0 ,4 .4

0 ,6 .6

0 ,8 .8

1

200

400

600

800

1000

1200

Ziel: Cluster identifizieren, in denen sich die Merkmalsverktoren einzelner Klassen befinden

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

21

Varianten eines Klassifizierungssystems bekannte Stichprobe oder Clusteralgorithmus

unbekannter Merkmalsvektor

t Realisierungen ki der Klassen Ki, i=0,..,t-1

Verbesserung von kj

Minimum-Distance Bayes‘scher Klassifikator neuronale Netze ... ... Klassifizierung

zur Klasse Kj

Strategien der numerischen Klassifikation: • • • •

fest dimensionierte überwachte Klassifikation fest dimensionierte unüberwachte Klassifikation überwacht lernende Klassifikation unüberwacht lernende Klassifikation Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

22

16.6.1 Quadermethode Direkter Weg für zweidimensionale Merkmalsräume:

0 ,6 Exzentrizität

Die Grenzen der Cluster um ein Clusterzentrum werden interaktiv bestimmt.

0 ,8

0 ,4

0 ,2 Fläche

0 0

200

400

600

800

1000

1200

Linsen Pfeffer Sonnenblumenkerne

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

23

Quadermethode Sonnenblumenkerne

Linsen

Pfeffer

sonstiges Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

24

16.6.2 Minimum-Distanz-Klassifikator 0,8

Exzentrizität

0,6 0,4 0,2 Fläche

0 0

200

400

600

800

1000

1200

Jeder Merkmalsvektor wird demjenigen Cluster zugeordnet, zu dessen Zentrum er am nächsten liegt.

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

25

Algorithmus Gegeben: klassifizierte Stichprobe Vorgehensweise: 1. Berechne die Klassenmittelpunkte im Merkmalsraum für alle in der Stichprobe vorkommenden Klassen. 2. Berechne für zu klassifizierende Objekte anhand des ermittelten Merkmalsvektors den Abstand zu allen Klassenmittelpunkten. 3. Ordne das Objekt der Klasse zu, zu der der kürzeste Abstand auftrat.

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

26

16.6.3 kNN-Klassifikation (k-Nearest Neighbour Classification) Gegeben: klassifizierte Stichprobe Regel:

Ordne das Muster der Klasse zu, zu der sein nächster Nachbar auch gehört bzw. die Mehrzahl seiner k nächsten Nachbarn

Vorteil: Man erhält im allgemeinen relativ komplizierte nichtlineare Trennflächen Nachteil:hoher Speicher und Berechnungsaufwand kNN - Klassifikator

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

27

16.6.4 Klassifikationsfehler Merkmal 2

Merkmal 1

• •

Fehler 1. Art: Bereich, der zum Muster gehört, aber nicht in der Stichprobe erfaßt wurde Fehler 2. Art: Bereich, der nicht zum Muster gehört, aber in der Stichprobe erfaßt wurde Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

28

16.6.5 Clustering durch Agglomeration (Bottom-up, Merging) Annahmen: Die Anzahl der Cluster ist nicht bekannt. Distanz zum Cluster-Zentrum soll minimiert werden Gesucht:

Anzahl der Cluster und Lage der Cluster-Zentren

1. Schritt:

Jeder Merkmalsvektor bildet das Zentrum eines Clusters 2. Schritt: Suche die beiden am dichtesten liegende Clusterzentren und vereinige die beiden Cluster. Berechne ein neues Clusterzentrum

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

29

Clustering durch Agglomeration Wiederhole Schritt 2 solange, bis nur noch ein Cluster übrigbleibt. Speichere die Zusammenfassung der Cluster in einem Baum

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

30

Clustering durch Agglomeration Hierarchisches Clustering Verfahren: Auswahl der Anzahl der Cluster durch Wahl der Hierarchiestufe Resultat der vorletzten Stufe der Clustering-Hierarchie

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

31

16.6.6 Divisives Clustering Verfahren (Top-down, Splitting)

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

32

16.6.7 Partitional Clustering Annahmen:

Die Anzahl der Cluster ist in der Regel bekannt. Distanz zum Cluster-Zentrum soll minimiert werden

Gesucht:

Lage der Cluster-Zentren (kein Aufbau einer Hierarchie)

Initialisierung: Cluster-Zentren setzen (beliebig oder anhand von identifizierten Segmenten/Pixeln Iterationsschritt: Berechne für jeden Merkmalsvektor das am dichtesten liegende Clusterzentrum, klassifiziere es entsprechend, berechne neue Clusterzentren. Abbruchbedingung: keine Neu- oder Umklassifizierungen beim Iterationsschritt

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

33

Zusammenfassung Klassifikation •

Ziel einer Klassifikation ist die Zuordnung von Bedeutung anhand ausgewerteter Merkmale Quader-Methode, Minimum-DistanzKlassifikation, kNN-Klassifikation

•

Die Klassifikation ist umso einfacher, je geringer die Anzahl der Merkmale ist

•

Eine Merkmalsreduktion kann mit Hilfe der Karhunen-Loeve-Transformation erfolgen, wobei zu beachten ist, daß nur die Repräsentation aller Klassen, nicht aber die Trennbarkeit der Klassen optimiert wird.

•

Die Zuordnung nach Klassen kann auch durch einer Cluster-Analyse erfolgen.

•

Cluster sind Gebiet im Merkmalsraum, in denen eine Häufung von Merkmalsvektoren vorliegt.

•

Clustering-Verfahren können (müssen aber nicht) die Kenntnis der Anzahl der Klassen voraussetzen.




Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

34

Stufen der Bildverarbeitung

Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation

35