Allgemeine Nachrichtentechnik Prof. Dr.-Ing. Udo Zölzer

3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe

41. Treffen der ITG-Fachgruppe “Algorithmen für die Signalverarbeitung”

HSU Hamburg 24. Februar 2006

Inhalt

™ Motivation – 3D-Modelle – Herausforderung Schiffsbilder

™ Automatische Konturlinien – Hough-Transformation – MorphCut

™ Modellerstellung ™ Zusammenfassung

3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe

Seite 2 HSU, Hamburg, 24.02.2006

Motivation - wofür 3D-Modelle? Unser Schiffserkennungssystem – IRAD, ReuSe, KEOD, UNbiS, UKIDuO, … – Merkmals- und Konturklassifikation • basiert auf 3D-Datenbank • Modellerstellung bislang „per Hand“ (Dauer: ca. 1-2 Wochen pro Modell) – Erweiterung auf Handelsschiffe • Vielzahl neuer Modelle müssen generiert werden ¨(halb-) automatische Modellierung

3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe

Seite 3 HSU, Hamburg, 24.02.2006

Motivation - Herausforderung Schiffsbilder Farbbilder, aber – „wenig“ Farben – alles grau-blau bis grün-blau Weiteres Problem: hohe Kontrastwerte durch – Wellen im Wasser – Reflektionen und Schattenwurf von Sonnenlicht – Schaumkronen ¨ Standardalgorithmen versagen!

3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe

Seite 4 HSU, Hamburg, 24.02.2006

Automatische Konturlinien - Hough-Transformation Transformation von Bild- in Parameterebene – z.B. Darstellung als Überlagerung gerader Linien (-stücke) – Ziel: einfache Extraktion von geraden Linien Aber: „passende“ Vorverarbeitung ist nötig – z.B. Kantendetektion ¨ Probleme bei Schiffsbildern Mögliche Verbesserungen – „gewichtete“ statt binärer Kanten (siehe nächste Folie) – Nutzung von Farbinformationen

3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe

Seite 5 HSU, Hamburg, 24.02.2006

Automatische Konturlinien - gewichtete Hough-Transformation -

¨

¨

3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe

Seite 6 HSU, Hamburg, 24.02.2006

Automatische Konturlinien - aktuelle Verfahren „Snakes“ bzw. „Active Contours“ – Energieminimierung auf Gradientenbasis (entlang von Kanten) ¨ Nachteil: Gradienten (alleine) sind unbrauchbar „KnockOut 2“ – Corel (2002) – nur der Übergang („alpha-Kanal“) wird geschätzt – sicherer Vorder- & Hintergrund muss vorgegeben werden ¨ Nachteil: keine „automatische Kontur“ „SIOX“ – GIMP (2005) – reine Farbselektion (im LAB-Farbraum) – Zugehörigkeit zu Objekt/Hintergrund wird „bewertet“ ¨ Nachteil: „zerklüftetes“ Ergebnis

3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe

Seite 7 HSU, Hamburg, 24.02.2006

Automatische Konturlinien - „GrabCut“ Kombination von Farb- und Gradienteninformation – Farbverteilung wird mit „Gauß-Mixturen“ modelliert – Modellanpassung durch „Erwartungswert-Maximierung“ (EM) ¨ Iterative Optimierung Segmentierung als Energieminimierungsproblem – Aufbau eines „S/T-Graphen“ ¨ Lösung durch „minCut/maxFlow“-Algorithmus Nutzervorgaben – sicherer Hintergrund (explizit) – Vordergrundbereiche sind optional

3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe

Seite 8 HSU, Hamburg, 24.02.2006

Automatische Konturlinien - Aufbau eines S/T-Graphen Pixel sind Knoten – Kantengewichte

aus Gradient

Zwei spezielle Knoten – Objekt – Hintergrund – Kantengewichte aus Histogramm-Wahrscheinlichkeiten ¨ „minCut/maxFlow“ liefert den optimalen Schnitt (bzw. maximalen Fluss) – Schnittlinie entspricht der Konturlinie

3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe

Seite 9 HSU, Hamburg, 24.02.2006

Automatische Konturlinien - „MorphCut“ Nachteil des „GrabCut“ – Schiffsbilder enthalten „zu wenig“ Farben – Iterationsschritte sind „Einbahnstraßen“ ¨ Kontur schließt sich „zu schnell“ Anpassung an Schiffsbilder – künstliche Erweiterung der Kontur (Dilation) nach jedem Iterationsschritt Vorteile ¨ mehr Zeit (Iterationen) für EM-Anpassung ¨ kleinere Löcher werden wieder geschlossen ¨ getrennte Bereiche können vereint werden 3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe

Seite 10 HSU, Hamburg, 24.02.2006

Modellerstellung - Volumetrisch Volumetrische Berechnung der konvexen Hülle – Konturlinie ist äußere 2D-Einhüllende eines Objektes – Kontur wird in die dritte Dimension erweitert („Röhre“) – Überlagerung mehrerer „Röhren“ (aus verschiedenen Blickwinkeln)

3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe

Seite 11 HSU, Hamburg, 24.02.2006

Modellerstellung - Volumetrisch Vorteile – Ergebnis ist direkt als Volumenmodell verfügbar – Umwandlung Volumen- ¨ Flächenmodell ist einfach – Fehlereinfluss der Kameraorientierung ist gering Nachteile – Konturlinien finden ist auch nicht einfach ¨ siehe vorherige Folien! – Einkerbungen/Löcher können nicht modelliert werden (Konturlinie ist nur der „Schattenriss“) ¨ für die spätere Konturextraktion nicht wichtig! – sehr speicher- und rechenintensiv ¨ aber kürzer als 1-2 Wochen! 3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe

Seite 12 HSU, Hamburg, 24.02.2006

Modellerstellung - Ergebnis -

3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe

Seite 13 HSU, Hamburg, 24.02.2006

Zusammenfassung

Schiffsbilder ¨ (die meisten) Standard-Bildanalyseverfahren versagen ¨ Anpassungen sind nötig Automatische Konturlinien ¨ gewichtete Hough-Transformation ¨ „MorphCut“-Algorithmus Modellerstellung ¨ der volumetrische Ansatz ist robust ¨ und passend für unseren Anwendungsfall

3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe

Seite 14 HSU, Hamburg, 24.02.2006