Research Collection

Doctoral Thesis

Multiphoto geometrically constrained matching Author(s): Baltsavias, Emmanuel P. Publication Date: 1991 Permanent Link: https://doi.org/10.3929/ethz-a-000617558

Rights / License: In Copyright - Non-Commercial Use Permitted

This page was generated automatically upon download from the ETH Zurich Research Collection. For more information please consult the Terms of use.

ETH Library

17. Dez, 1991 DISS. ETH Nr. 9561

Multiphoto Geometrically Matching

Constrained

ABHANDLUNG Zur Erlangung des Titels

DOKTOR DER TECHNISCHEN WISSENSCHAFTEN

der

EIDGENÖSSISCHEN TECHNISCHEN HOCHSCHULE

ZÜRICH

vorgelegt von EMMANUEL P. BALTSAVIAS

Dipl. Ing., Metsovion

Nationale Technische Universität (Ethnikon

Polytechnion), Athen, Griechenland

Master of Science, Ohio State

geboren von

am

4.

September

University, Columbus, USA

1957

Griechenland

Angenommen

auf Antrag

von:

Prof. Dr. A. Gruen, Referent Prof. Dr. B. P. Wrobel, Korreferent

Zürich, 1991

IV

ABSTRACT

problems

One of the central

digital photogrammetry, Computer and

Correspondence is necessary for 2-D object detection, Classification and decades has been devoted

to

this

and 3-D measurements and very often

Although research

identification.

problem,

was to

examining the Performance

applicability of

and

images.

prerequisite for

more

than three

image

and reliable

Contents, does not exist yet. The

scene

in the above aspects

improve matching

a

for

fully automated, precise

a

matching method, able to adapt to different image and aim of this research

machine vision is

features in different

automatically finding corresponding

of

problem

the

in

a new

by developing

algorithm

called

and

Multiphoto

Geometrically Constrained Matching (MPGC). MPGC is

extension of Least

an

matching method establishing two

a

fit between small

image patches by

two new

(i) the exploitation of any

elements:

constrain the Solution and (ii) the simultaneous

accuracy and

of the

especially the

success rate

algorithm is formulated in

Observation

equations

that express the

geometric

and

a

use

research

are

systematic

the

The

errors,

assuming permits

Additionally, through the

of

determination of Z

a

over

images).

connection of

image

and

and

are

fixed in

not as

presented.

The

and those

related to each other

through

After

derive the

a

the

to

iterations. As

reference

images

before

flexibility

and

matching.

determination

are

and

algorithm.

the

treated

pyramid generation

based

are

as are

speed, radiometric to use a

Wallis

matching.

Since MPGC is based

knowledge

image pyramid

be

must

The Wallis filter has also

necessary for accurate

requires

a

can

(template) image),

geometric constraints

analysis of the required quality

approximations by

Different kerneis for the

analysed:

alternative, it is proposed

three aspects of the

theoretical

one

increase

an

high contrast being

placed on

object coordinates.

space, any number of were

sensors are

strict conditions. The radiometric parameters

equalisation of the images

has been

object

flexibility

nonlinear least Squares estimation, it

to

matching

object coordinates (match point position

For greater

been used to enhance contrast,

approximations.

being

Two measurement modes

fixed X, Y

applied during the

radiometric

Emphasis

the grey level

adjustment.

constraints that have been used in this

geometric

included in the mathematical model; instead

filter for

search), improve the

simultaneous determination of pixel and

a

weighted Observation equations

are

1-D

to

(more than two) of

combined least Squares

a

the two parts

object coordinates (match points

corrections

(conditional

information

that the interior and exterior orientation of the

simultaneously accommodated.

estimated in all

geometric

collinearity conditions extended by additional parameters modelling

known. Thus, MPGC

of X, Y, Z

known

of any number

equations formulating

geometric constraints,

unknown parameters.

priori

and reliability of matching. The mathematical model

terms

consist of the

common

method

a

These elements reduce the search space

images.

not

affine

an

area-based

an

parameter linear radiometric transformation. MPGC considerably improves LSM by

using

be

which is

Squares Matching (LSM),

of

on a

reasonably precise

of the

approximations,

a

(coarse-to-fine) approach is

compared, problems occuring

at

image borders

treated, geometric relations between pyramid levels

are

for the choice of

appropriate matching parameters in addition to

pyramid approach,

being

increases the convergence radius (in

at

each level

efficient way

an

practical

tests

are

image

approximate values,

up to 70

parallaxes

The

proposed.

derive

to

derived and criteria

are

pixels

have been

handled), convergence rate and computational speed, and can be exploited for a better quality

self-adaptivity of the algorithm.

control and

been achieved, in

cases, for errors in the

some

optimally these approximate values

determinable. The

image edges

vertical

parameters

in all

can

be

of selected

pyramid

points is fulfüled.

levels

They

that the selection of

are

Methods

are

are

but

pixels,

which should be

in the reference

considered good lie

by

a

The

operator's

is reduced and the

required

the existence of the selected a

on

direction selective

derivatives.

"noisy" pixels

to ensure

points

derived

intensity

MPGC is

proposed. Thus,

10-20

good match points

levels. Points which

the first and/or the second

adapted so

to

of the surface but also well

points

consists of choosing

pyramid

of up

convergence has

accurate.

is the choice of

constraint line.

geometric

using

interest Operator

pixel

be characteristic

must

them in all

the

to

should be 1

proposed strategy

matching

and

density

points

These

measured.

approximate values

for surface measurement

question

A critical

image pyramid,

Without the

points

combination of area-based and

feature-based, especially edge-based, matching. The third

detection of gross contents

errors

object

and

precision, tests to

of the

major aspect

investigations

and the automatic

check the

determinability

and the

blunder detection

involves

accuracy studies,

test

image patch

size to the

referring

0.2

general

1 um, for

-

surfaces 10

performed tests,

the

-

are

different

image

express the achieved

cases

The percentage of blunders

15 p.m.

depending

of undetected Wunders

was

to

the

problems

distortions in

1%

error rate

like

content

and

of accuracy and

0.05

-

of

whereby was

matching

the

natural

the

precision

points

The

ray based

on a

and the amount of

generally

similar

was even

content

and

was

to

human Operator.

for

good

10

um.

In

the accuracy of manual the manual

from 5%

-

one.

25% of the

surface. The percentage

MPGC

as

being

correct, thus

Further, it is shown how MPGC

multiple Solutions, occlusions,

comparison to other algorithms.

typically

higher than

object

points accepted by

was

2-3 (im, and for natural

pixel spacing

accuracy

image

3% of the a

surface.

The achieved accuracy

pixels.

good

or

accuracy

on

object

object point

automatically detected by MPGC varied

total number of points,

comparable

-

signalised

the

signal

and ways of

presented. The theoretical precision of the shifts, in the

is 0.01

matching

measurements; in certain

reduce

to

adapted to the processed image. Many practical

are

comparison

to a

good targets, typically

planar targets the

algorithm

measures to

each individual

checking

detected and undetected Wunders,

on

of the

significance of the shaping parameters,

combination of criteria, whose thresholds

points

evaluation of the results, the

methods for the automatic detection of Wunders and Observation errors, different

the

of

adaptation

This aspect includes

surfaces.

automatically adapting

case

quality

is the

can

discontinuities and radiometric

VI

Finally,

methods for the reduction of oscillations and

computational aspects

are

treated. Different

applications

divergence problems

and tests

are

presented.

and

vn

ZUSAMMENFASSUNG

digitalen Photogrammetrie, der Computer

Eines der zentralen Probleme in der Machine Vision ist die automatische

notwendig und

ist sehr oft

Objekten. Obwohl

von

Voraussetzung

sich die

gibt

Problem befaßt,

Bildzuordnung

neuen

in

Messung

Detektion, Klassifizierung und Identifikation

dreißig

seit bereits mehr als

Jahren mit diesem

zuverlässige

genaue und

sich unterschiedlichen Bild- und Szeneninhalten anpassen

Forschungsarbeit

Anwendbarkeit eines

zur

Forschung

verbessern durch

zu

und dreidimensionalen

heute keine vollautomatische,

es

Bildzuordnungs-Methode, die kann. Das Ziel dieser

Bestimmung korrespondierender Merkmale

Korrespondenz ist für zwei-

unterschiedlichen Bildern. Die

und

ist

in

es

bezug auf die oben genannten Aspekten

Entwicklung dem

Algorithmus,

und

Untersuchung

Leistung

von

die

und

Multiphoto Geometrically Constrained

Matching (MPGC). MPGC ist eine

Erweiterung

der Korrelation nach der Methode der kleinsten

Quadrate

(Least Squares Matching, LSM). Das LSM ist eine flächengestützte Matching-Methode, die eine

zwischen kleinen Bildausschnitten mittels einer affinen

Anpassung

geometrischen

Transformation und einer linearen, radiometrischen Transformation mit 2 Parametern erzielt. Das MPGC verbessert das LSM durch

Ausnutzung

von

a

einzuschränken und

priori (ii)

bekannter

der simultanen

Elemente reduzieren den Suchraum besonderen die

des

Algorithmus

sind. Die in dieser

aus

Parameter

zur

Objektkoordinaten. die

für

einer

von

geometrischen Bedingungen

Beobachtungsgleichungen mathematische Model

zur

nicht als strenge

sind die

um

erweiterten

des Sensors als von

Pixel-

von

Bildern

möglich.

XYZ-Objektkoordinaten (fester größeren

Bedingungen

Flexibilität werden

sondern als

gewichtete

behandelt. Die radiometrischen Parameter werden nicht in das

einbezogen.

Stattdessen werden

Als Alternative dazu wird

radiometrischen

verknüpft

Bestimmung von Z bei festen XY-Objektkoordinaten (die

Verarbeitungsgeschwindigkeit während angebracht

für

des Bildraumes mit dem

Anzahl

Position des Match-Punktes wird in allen Bildern ermittelt). Zur die

Die

jenen

und

gleichzeitige Bestimmung

beliebigen

Bestimmung

Fehler

Orientierung

Verbindung

im

Das mathematische Model

systematischer

Zusätzlich ist durch die

Match-Punkt im Referenzbild) und

Bilder. Diese

unbekannte Parameter

wobei die innere und äußere

die

der

Lösungsraum

geometrischen Bedingungen

Modellierung

analysiert:

den

Grauwert-Matching

gemeinsame

benutzten

gleichzeitige Verwendung

Zwei Messmodi wurden

um

(i)

Quadrate Ausgleichung formuliert.

Gleichungen

welche über

Forschungsarbeit

Elementen:

Suche), verbessern die Genauigkeit und

1-D

bekannt vorausgesetzt werden. Das MPGC erlaubt die

Objektraum

neuen

Nutzung beliebig vieler (mehr als zwei)

(bedingte

bestehen

Kollinearitätsbedingungen, und

zwei

Information

geometrischer

ist als kombinierte kleinste

geometrischen Bedingungen,

zusätzliche

von

Erfolgsrate und die Zuverlässigkeit des Matching.

Beobachtungsgleichungen die

Nutzung

Angleichung

vor

zur

Erhöhung der Flexibiltät und der

der Iterationen radiometrische Korrekturen

dem

Matching die Verwendung des Wallis-Filters

der Bilder vorgeschlagen. Der Wallis-Filter kann auch

zur

vni

hoher Kontrast ist für genaues

Erhöhung des Kontrastes benutzt werden;

Matching

notwendig.

Aspekte

Auf drei

Algorithmus

des

auf einer nicht linearen kleinste

Quadrate Ausgleichung,

Nach einer theoretischen

verlangt.

wird eine Methode

wurde besonderes Gewicht

Ableitung von Näherungswerten vorgestellt,

zur

("coarse-to-fine" Verfahren) basiert.

Bildpyramiden

werden

Relationen zwischen

Matching

Pyramidenstufen jeder

Bildpyramiden vergrößert kann

zur

besseren

werden. Ohne

Verschiedene

70

zu

den

werden

abgeleitet,

Stufe werden

Filter

die auf

Kriterien

zur

Die

vorgeschlagen.

QualititätskontroUe und Selbstadaption

Frage

zur

in

repräsentieren.

Ableitungen

Interest

1 Pixel genau sein.

ist die Wahl der

Die

zur

Auswahl

vorgeschlagen. Somit

merkmalgestütztem, Der dritte

Suche nach

vor

Aspekt groben

von

Operator kann

besteht

aus

der

der

Untersuchung

Signifikanz der Maßstäbe Fehler

in

bezug

auf

prüft jeden

Schwellwerte dem

zu

ist die

Objektoberflächen. Methoden

Scherungen,

von

von

zur

Dieser

aufgrund

theoretischer und

aufgedeckten groben Fehlern,

verrauschten Pixeln

flächengestütztem

und

werden

im Falle guter Ziele

des

Aspekt

Ergebnisse, die

der

Algorithmus

Prüfung

Wege

zur

auf

beinhaltet Masse

automatischen Detektion

zur

und

Adaption

zur

grober Fehler

der Bestimmbarkeit und

automatischen

Signalinhalt und Objektoberfläche.

Bildstrahl

von

qualitative Auswertung

Der Test

einer Kombination

verarbeitenden Bild angepasst sind. Viele

auf Vergleiche

Verschiebungen liegt

die Wahl

basierendem, Matching.

verschiedene Tests

und der

Die Punkte werden mit

Verteilungsdichte auszuwählen angepasst

Fehlern und die automatische

Beobachtungsfehler,

Bildfenstergröße

um

zur

Punkten, die in allen Pyramidenstufen vorkommen,

allem auf Kanten

Beurteilung der erreichten Genauigkeit,

nicht

die die

der die erste und/oder zweite

ist MPGC eine Kombination

unterschiedliche Bildinhalte und

bezogen

Messpunkte,

vorgeschlagene Strategie

Operator abgeleitet,

der Grauwerte nutzt. Der

werden. Methoden

grober

der

betrug

Diese Punkte müssen sowohl charakteristische Punkte der

reduzieren und Punkte mit einer erforderlichen

und

Tests

von

Als gut werden solche Punkte betrachtet welche auf Kanten senkrecht

richtungsselektiven

werden

Verwendung

sogar für 10 bis 20 Pixel

Linie(n) der geometrischen Bedingungen (z.B. Kernstrahlen) liegen.

zu

geeigneter

guter Matching-Punkte im Referenzbild und dem Matching in allen

Pyramidenstufen. einem

Wahl

Algorithmus ausgenutzt

des

einigen Fällen

Oberflächenvermessung

Oberfläche als auch gut bestimmbar sein.

Auswahl

von

Pixel), die Konvergenzrate und die Rechengeschwindigkeit, und

Näherungswertfehler erreicht, jedoch sollten optimale Näherungswerte Oberfläche

Bildpyramiden

Generierung

zur

Konvergenzradius (in praktischen

Bildpyramide wurde Konvergenz

Eine kritische

Näherungswerte

verglichen, Probleme an Bildrändem werden behandelt, geometrische

Parameter auf

Konvergenzradius bis

die relativ genaue

benötigten Qualität der Näherungswerte,

der

Analyse

Das MPGC basiert

gelegt.

von

Anpassung

zur

der

Aufdeckung

Kriterien, deren

praktische Untersuchungen,

empirischer Genauigkeit und aufgedeckten

dargestellt.

Die theoretische

typischerweise

Genauigkeit

bei 0.01 bis 0.05 Pixel.

zu

der

Die

IX

Genauigkeit beträgt für gute ebene

Ziele 0.2 bis 1 um, für

und für natürliche Punkte auf Oberflächen

Punkte 2 bis 3

um

um, wobei die

Sensorelementgrösse typischerweise 10

Tests

war

Matching-Genauigkeit

die

Messungen.

Die

vom

in

Messpunkte,

aufgedeckter grober

akzeptierten Punkte, vergleichbar radiometrische

Störungen,

Schließlich

wird

Divergenzproblemen Anwendungen

im

eine

betrug

der eines

durchgeführten ausgeführten

Fehler variieren

von

5% bis

1% bis 3% der

Operateurs.

vom

MPGC als korrekt

Weiterhin wird

gezeigt

wie das

Lösungen, Verdeckungen, Diskontinuitäten

Vergleich

zu

Methode

vorgestellt.

In den

bis 15

Abhängigkeit vom Bildinhalt und Objektoberfläche.

anderen zur

und rechentechnische

und Tests

allgemeiner Form 10

betrug.

gefundenen groben

Fehler

MPGC Probleme, wie mehrfache

um

oder gute natürliche

ähnlich oder besser als bei manuell

MPGC automatisch

25% der totalen Anzahl Die Rate nicht

signalisierte

Algorithmen,

Verminderung Aspekte

und

reduzieren kann. von

Oszillationen

und

behandelt und unterschiedliche