Bildanalyse in der Photogrammetrie – Stand und Perspektiven
Christian Heipke Institut für Photogrammetrie und GeoInformation - IPI Leibniz Universität Hannover
Institut für Photogrammetrie und GeoInformation
Inhalt
• Einleitung • Bildanalyse – DIE Herausforderung • Beispiele (aus Arbeiten am IPI) – Qualitätskontrolle von GIS-Daten – Straßenextraktion – Integration von 2D GIS-Daten und DGMs • Zusammenfassung und Ausblick
Institut für Photogrammetrie und GeoInformation
Einleitung - Vorbemerkung warum ein Photogrammeter zu Ihnen spricht
- Trends in Datenerfassung und - verarbeitung Institut für Photogrammetrie und GeoInformation
Veränderungen in unserem Bereich • Informations- und Kommunikationstechnologie: – Internetzeit, ständige Verfügbarkeit von Produkten und Diensten notwendig
– 24/7, „I want it NOW“
• Google und Microsoft haben die Bühne betreten • Fahrzeugnavigation, virtuelle Welten, globaler Wandel • „GI is big business“ (spatial is not special any more) – globale GI-Verbünde, z. B. • Hexagon: Leica, Intergraph, Z/I, Erdas, … • Trimble: Applanix, inpho, Rolleimetric, Toposys, Definions… • Blom: NOR, DK, SWE, GB, ITA, D, SF, ROM, BUL, … – GI als Zulieferer in globalen Firmenverbünden, z. B. • Vexcel / Microsoft (US) • Earthdata / Fugro (NL) • Teleatlas / TomTom (NL) • Navteq / Nokia (SF)
Institut für Photogrammetrie und GeoInformation
• Rolta (IND) •…
Einige Konsequenzen • Zusammenwachsen der Pixel- und Vektorwelten für raumbezogene Daten und Informationen • Zusammenwachsen der Pixel-/Vektorwelt mit Ort und Zeit (mobile mapping, …) • Zusammenwachsen von Datenerfassung und Weiterverarbeitung/ Analyse (Navigation, Echtzeitanwendungen in Handys und PDAs, LBS, …) • Außensicht: Erfassung, Speicherung, Analyse, Präsentation und Verteilung raumbezogener Informationen gehören zusammen – Indiz: ein Gang durch die Ausstellung der INTERGEO
Institut für Photogrammetrie und GeoInformation
Ph & FE – Kartographie • es geht um dieselben Objekte • in der Auswertung werden sehr ähnliche Methoden verwendet (gemeinsamer Forschungsbedarf) – – – –
Objekt- und Szenenmodelle / Ontologien Zuordnung, Korrespondenzproblem / Datenintegration Klassifikation / data mining Suchverfahren, Optimierung, maschinelles Lernen
• immer öfter wird ein gemeinsames System genutzt (bildbasierte Navigation, Geosensornetze, mapping on demand, 3D Rekonstruktion aus Bilddatenbanken, …) • alles hängt zunehmend am Web (Standards, GDI) Institut für Photogrammetrie und GeoInformation
Ph & FE – Kartographie • Geoinformatik/Mapping: M-EVAP-V Modellierung, Erfassung, Verwaltung, Analyse, Präsentation Verteilung von Geoinformation
• Pragmatischer Ansatz zur „Arbeitsteilung“ – Ph & FE: – Geoinformatik: – Kartographie:
Rasterdaten primär (Erfassung, BildAnalyse) Vektordaten primär (Verwaltung, Analyse, Verteilung) Darstellung primär (Analyse, Präsentation)
– Treffpunkt:
Modellierung, Methodik der Analyse, Datenbank
Photogrammetrie, Fernerkundung und Kartographie gehören eng zusammen Institut für Photogrammetrie und GeoInformation
Ph & RS - mapping
processing
analysis, prediction
analysis, GIS-data base prediction cartographic
result of planning
terrestrial data acquisition object information
cartographic representation
Institut für Photogrammetrie und GeoInformation
images 2D/3D interpretation
realisation of plans
non-contact image recording (EMR)
measurement
physical world, environment
object information
Trends in der Datenerfassung • bessere und neue Sensoren, Sensorkombinationen – immer höhere geometrische Auflösung der Weltraumbilder – Nadir- und Schrägaufnahmen aus der Luft – Bildsequenzen zur Überwachung dynamischer Prozesse – verschiedene Sensorgeometrien und -optiken – 3D Kameras, Full waveform Laser, Texturprojektion, ... – Bilddatenbanken, das Web (insbes. für Crowd Sourcing) – “all in one”: Smart phones, Laserscanner + Kamera, Videotheodolit, ... – kooperative Sensoren, Geosensornetze
• unkonvent. Plattformen: UAV, mobile mapping, ... Institut für Photogrammetrie und GeoInformation
Trends in der Datenerfassung • bessere und neue Sensoren, Sensorkombinationen – immer höhere geometrische Auflösung der Weltraumbilder – Nadir- und Schrägaufnahmen aus der Luft
n: e an s ) s s – verschiedene Sensorgemetrien und –optiken e e yt o Tag erg b v a t u eLaser, Texturprojektion, pr z – 3D tKameras, Full waveform ... P ) l h d e l c x i a i n b das Web (insbes. P für Crowd Sourcing) .. – Bilddatenbanken, e s ( a te n ( t y rainb one”: – r“all Smart ” D phones, Laserscanner + Kamera, n e e T Videotheodolit, ... m m u “–dkooperative Sensoren, Geosensornetze
– Bildsequenzen zur Überwachung dynamischer Prozesse –
• unkonvent. Plattformen: UAV, mobile mapping, ... Institut für Photogrammetrie und GeoInformation
1st Pléiades Satellit, Start am 16.12. 2011
Die ersten Bilder von Pléiades
Paris, Louvre et Place de la Concorde - „naturellement“ Institut für Photogrammetrie und GeoInformation
Nadir- und Schrägaufnahmen aus der Luft
© TrackAir
© Pictometry
Institut für Photogrammetrie und GeoInformation
Mobile mapping Systeme
© Streetmapper, UK
Institut für Photogrammetrie und GeoInformation
Trends in der Datenverarbeitung • Veränderungen – Überwachung von Prozessen, inkl. Vorhersagen – Datenbank-Aktualisierung
• Echtzeitanforderung (Navigation, Fahrerassistenz, Verkehrsüberwachung, Sicherheitsanwendungen, …) •
Detailreiche Oberflächen (Luftbilder und terrestrische Bilder, Kombination von Indoor- und Outdoor Szenarien)
•
Verteilte Verarbeitung (Geschwindigkeit, Integrität, Skalierbarkeit)
•
Crowd sourcing: neue Mechanismen für Vertrauen und Zuverlässigkeit
•
Höherer Automationsgrad (schlichte Notwendigkeit)
•
…
Institut für Photogrammetrie und GeoInformation
Veränderung der Küstenlinie
Juist, Westteil © Thorenz, NLWK 2005
Coast line approx. 1960
Institut für Photogrammetrie und GeoInformation
Echtzeit in neuen Märkten: Es gab ...
kein Tor
Schiedsrichter Jorge Larrionda, Uruguay (27.6. 2010): http://www.sportschau.de/sp/fifawm2010/news201006/27/wembley_tor.jsp Institut für Photogrammetrie und GeoInformation
.. schon immer etwas zu tun
kein Tor
University of Oxford (1990‘s): http://www.youtube.com/watch?v=HeXWEVXhdUo (2006 veröffentlicht)
Institut für Photogrammetrie und GeoInformation
Bildanalyse - DIE Herausforderung
Institut für Photogrammetrie und GeoInformation
Stand von Photogrammetrie & Fernerkundung • digitale Bildaufnahme, verschiedene Sensoren und Plattformen, Einzelbilder und Sequenzen • automatische Bildzuordnung und Orientierung, Bündel, direkte Lösungen, Zusatzdaten (GPS, IMU, …) • automatische Oberflächenableitung mittels stereo, Laserscanning, InSAR, PMD – auch Fusion • automatische Berechnung von Orthophotos und Mosaiken (auch „true ortho“) • automatische hochgenaue Punktbestimmung und Punktverfolgung, auch in Echtzeit (v. a. im Nahbereich) ---------------------------------------------------------------------------------
• manuelle inhaltliche Bildauswertung, mono und stereo Institut für Photogrammetrie und GeoInformation
Bildanalyse • Typische Fragestellungen – Wo sind die Straßen? – Welches Gebäude ist das? – Wie viele Menschen wohnen hier? – Was ist das für ein Tier? – zu diesem Thema möchte ich ein Bild haben
„Photogrammetrie“
– zu dem Planetarium in Jena brauche ich weitere Bilder
Identifikation, Ortsbestimmung, Typisierung, Erkennung, Suche Erkennung setzt ein Modell des Objekts voraus Institut für Photogrammetrie und GeoInformation
Herausforderung Repräsentation
123 214
34
76 200
45
21 216 156 132 100
31 200
99 137 188 176 155 139
55 177
81
59
99
76 105
31 188 187 186 188 165
79 87
90
99
44 132 135 140 141 136 244 240 239 231 177
99
94 106 162 179 210 199 217 204 249 255 255 255 123 56
42 173 137 146 123 214
21 216 156 132 100 155 139
99
76 105
187 186 188 165
34
76 200
45
79 31 200
99 137 188 176
87 55 177
81
59
31 188
90
99 44 132 135 140 141 136
244 240 239 231 177
99 94 106 162 179 210 199
Institut für Photogrammetrie und GeoInformation
Herausforderung Kontext
Institut für Photogrammetrie und GeoInformation
Bildanalyse - Definition Automatische Generierung einer expliziten Beschreibung für den in Bildern dargestellten Ausschnitt der realen Welt mit Hilfe eines Computers (Rosenfeld, 1982)
Model der realen Welt
Reale Welt
Bilder
Beschreibung
Institut für Photogrammetrie und GeoInformation
Bildanalyse - Szenenmodelle • geometrisch • parametrisch (Größe und Form von Objekten) • topologisch (Nachbarschaft von Dach, Wand, Tür, …) • radiometrisch (appearance based) • Helligkeit, Farbe, Textur • Bewegung, Veränderung (bei dynamischen Szenen) • Relationen zwischen Objekten und Objektteilen • deterministisch – probabilistisch • Integration von Vorwissen und Beobachtungen • Auflösen von Widersprüchen • Maschinelles Lernen (Training) Institut für Photogrammetrie und GeoInformation
Bildanalyse - Wissensrepräsentation • regelbasiert • Wenn .. , dann – „wenn hoher NDVI, dann Vegetation“ • auf Logik basierend • Aussagenlogik – „Dächer sind rot“ • Prädikatenlogik – „es gibt rote Dächer“ ---------------------------------------------------------------------------------
• graphbasiert • Semantische Netze • Zufallsfelder • Bayesnetze • Markov-Zufallsfelder (MRF) • Conditional Random Fields (CRF) Institut für Photogrammetrie und GeoInformation
Beispiele
Institut für Photogrammetrie und GeoInformation
Beispiel I: Qualitätskontrolle von GISDaten
Institut für Photogrammetrie und GeoInformation
Qualitätskontrolle von GIS Datenbanken Geodaten in DB
Realität (Orthophoto)
semi-automatischer Vergleich
Institut für Photogrammetrie und GeoInformation
Qualitätskontrolle von GIS Datenbanken
Siedlung Wiese Acker
Institut für Photogrammetrie und GeoInformation
Arbeitsablauf Visualisierung Orthophoto GeoDB
Entscheidung durch den Menschen
Ampeldiagnose Bildanalyse
Institut für Photogrammetrie und GeoInformation
o.k.
Beispiel Straßen (ländlicher Raum) Extrahierte Straßenstücke (Stegeroperator) Linienverarbeitung (Wiedemann)
Extrahierte Straßen Institut für Photogrammetrie und GeoInformation
Beispiel Straßen
Daten aus DB
Ikonos Bild Institut für Photogrammetrie und GeoInformation
Diss. M- Gerke, IPI 2006 – Pulfrichpreis 2007
Ergebnisse
Hierarchische Texturklassifikation 5 Pyramidenebenen, nachfolgend Kombination der Ergebnisse Klassen: Industrie Siedlung Original
1.25m
2.5m
Wald Landwirtschaft
5m
10m
20m
Institut für Photogrammetrie und GeoInformation
Diss. S- Müller, TNT 2007 – Pulfrichpreis 2007
Beispiel Flächenobjekte
Institut für Photogrammetrie und GeoInformation
Evaluation mit verschiedenen Daten ...
Institut für Photogrammetrie und GeoInformation
Ergebnisse • ca. 2/3 aller Objekte der untersuchten Objektklassen können automatisch verifiziert werden • Rate unentdeckter Fehler bei < 1% für Straßen, etwas höher für Flächenobjekte • Geschwindigkeitssteigerung um Faktor 3 • Systementwicklung mit finanzieller Unterstützung von BKG und AGeoBW • System ist dort auch installiert
Institut für Photogrammetrie und GeoInformation
Beispiel II: Straßenextraktion in urbanen Gebieten
Institut für Photogrammetrie und GeoInformation
Straßenextraktion aus hoch aufgelösten Bildern urbaner Gebiete
Verdeckungen und Schatten von Gebäuden und Bäumen
Kurze Straßen, Sackgassen
besondere Herausforderungen Objekte, die ähnlich wie Straßen aussehen Institut für Photogrammetrie und GeoInformation
Segmentierung • Segmentierung: Gruppierung in nicht-überlappende Gebiete auf der Grundlage eines Ähnlichkeitsmaßes • Grundvoraussetzung zur Objektextraktion
Region growing
Æ für komplexe Szenen sind einfache Ansätze nicht ausreichend Institut für Photogrammetrie und GeoInformation
Segmentierung mit Normalized cuts • Methode der Graphentheorie: Pixel = Knoten, Kantengewichte = Pixelähnlichkeiten • Segmentierung mittels NC Kriterium: Ncut ( A, B ) =
link ( A, B ) link ( A, B ) + → min link ( A,V ) link ( B,V )
link ( A, B) =
∑w
p∈A ,q∈B
pq
w pq : weight between pixels p and q
• Vorteile: – Kombination mehrerer Ähnlichkeitskriterien – Berücksichtigung lokaler und globaler Aspekte Institut für Photogrammetrie und GeoInformation
zur Minimierung s. Shi, Malik, T-PAMI (2000)
Ähnlichkeitskriterien Kantenintensität zwischen Pixeln Distanz zweier Pixel im Farbraum Unterschied im Farbton Unterschied im NDVI
Institut für Photogrammetrie und GeoInformation
Ergebnisse
Hohe Korrektheit, aber Vollständigkeit verbesserungswürdig - Fusion mehrerer Straßenmodelle - separate Betrachtung von Straßenkreuzungen
Institut für Photogrammetrie und GeoInformation
Institut für Photogrammetrie und GeoInformation
Snakes (parametrische aktive Konturen) v(s ) = (x(s ), y (s ))
• Repräsentation
s: Bogenlänge; x und y: Bildkoordinaten • Energieminimierung * Esnake = ∫ [Eimg (v (s )) + Eint (v (s ))] ds → Min 1
0
• Versch. Ansätze für Bild- und interne Energie, z. B. E img (v (s )) = − ∇I (v (s ))
2
E int (v(s )) = 12 ⎛⎜ α (s )⋅ v s (s ) ⎝
2
2 + β (s )⋅ v ss (s ) ⎞⎟ ⎠
• Minimierung mittels Variationsrechnung (Aufstellen der Eulergleichungen, Linearisierung, iterative Lösung) Institut für Photogrammetrie und GeoInformation
Institut für Photogrammetrie und GeoInformation
Institut für Photogrammetrie und GeoInformation
Beispiel III: Integration von 2D GISDaten und DGM/DOM
Institut für Photogrammetrie und GeoInformation
Integration von 2D GIS-Daten und DGM Brücke
Straße
Daten DGK 5 ATKIS® DGM 5 ©2001 Keith Murray, Ordnance Survey
Institut für Photogrammetrie und GeoInformation
Integration von 2D GIS-Daten und DGM
Institut für Photogrammetrie und GeoInformation
Semantik in der Geländemodellierung Objektrepräsentation horizontale Ebenen - ansteigendes Gelände außerhalb geneigte Ebenen - max. Neigung und Krümmung Höhenrelationen
Institut für Photogrammetrie und GeoInformation
Lösung 1: Ausgleichung n.d.M.d. Kl. Q. • Straßennetz: lineares Objekt • Pufferbildung – horizontale Profile – geneigte Ebenen
• Kreuzungsgebiete – horizontale Ebenen – durch horizontale Profile begrenzt Institut für Photogrammetrie und GeoInformation
Ergebnisse vor der Integration
Daten ATKIS® Basis-DLM ATKIS® DGM 5 Institut für Photogrammetrie und GeoInformation
Ergebnisse nach der Integration
σplane = 0.1 m
Daten ATKIS® Basis-DLM ATKIS® DGM 5 Institut für Photogrammetrie und GeoInformation
Ergebnisse vor der Integration
Daten ATKIS® Basis-DLM ATKIS® DGM 5
20 Institut für Photogrammetrie und GeoInformation
Ergebnisse nach der Integration
σplane = 0.1 m
Daten ATKIS® Basis-DLM ATKIS® DGM 5 Institut für Photogrammetrie und GeoInformation
Ergebnisse Brücke - vorher
Daten ATKIS® Basis-DLM ATKIS® DGM 5 Institut für Photogrammetrie und GeoInformation
- nachher
Lösung 2: Netzwerk-Snakes • DOM = • 2D GIS-Daten =
Bild Netzwerk-snake, soll sich den Höhendaten „anschmiegen“
• Topologie der GIS-Daten bleibt erhalten • Geradlinigkeit, minimale Krümmung und Abweichung von den Näherungswerten als innere Energie • Kontextobjekte als abstoßende und anziehende Kräfte (Gebäude: abstoßend; Brücken: anziehend) Institut für Photogrammetrie und GeoInformation
Integration von 2D GIS-Daten und DGM
Institut für Photogrammetrie und GeoInformation
Integration von 2D GIS-Daten und DGM
Institut für Photogrammetrie und GeoInformation
Integration von 2D GIS-Daten und DGM
Institut für Photogrammetrie und GeoInformation
Zusammenfassung und Ausblick
Institut für Photogrammetrie und GeoInformation
Zusammenfassung und Ausblick • Gute Ergebnisse für einfache Szenen – Straßen in offenem Gebiet (tlw. auch in Vorstädten) – einfach Gebäude
• Gute Ergebnisse für spezielle(re) Aufgaben – Verifikation vorhandener Daten
• Erste kommerzielle Systeme sind auf dem Markt
Institut für Photogrammetrie und GeoInformation
Building footprints in Google Maps • 25 million new building footprints added to Google Maps. • footprints, complete with height detail, were created by taking aerial imagery and using computer vision techniques. http://google-latlong.blogspot.de/2012/10/expanded-coverage-of-building.html, (Oct. 18, 2012)
Institut für Photogrammetrie und GeoInformation
Zusammenfassung und Ausblick
Institut für Photogrammetrie und GeoInformation
Zusammenfassung und Ausblick • Herausforderungen in der Forschung – sinnvolle Auswahl von Datenquellen und Sensoren • Bilddaten, Punktwolken, … – Auswahl und Repräsentation des relevanten Vorwissens und Kontextes • auch unscharfes Wissen – Erhöhung der Korrektheit und Vollständigkeit der Ergebnisse • probabilistische Ansätze, Auflösung von Konflikten • machine learning zur Parameterschätzung Institut für Photogrammetrie und GeoInformation
Zusammenfassung und Ausblick • Herausforderungen in der Forschung – sinnvolle Verarbeitungsstrategien • 2D vs. 3D
Viola, Jones, 2001
• diskrete (NC) und kontinuierliche (snakes) Ansätze • Kombination lokaler und globaler Information – Zeitliche Dimension: Prozess, Veränderungen, Echtzeit Institut für Photogrammetrie und GeoInformation
