Sprungmarken

Servicenavigation

Hauptnavigation

Sie sind hier:

Hauptinhalt

3D Computer Vision

Modul 2-14 im Masterstudiengang Elektrotechnik und Informationstechnik

Modul AR-213 im Masterstudiengang Automation and Robotics

 

Veranstaltungsdaten

Veranstaltung/Dozent

Umfang

Ort

Zeit

Beginn

Vorlesung

Prof. Dr. Christian Wöhler

2 V Raum P1-O4-207 donnerstags, 10:00-12:00 Uhr 04.04.2019
Übung
Marcel Hess
1 Ü Raum P1-01-108a (Retina-Pool) donnerstags, 13:00-14:00 Uhr 11.04.2019

 

 

Prüfungsleistungen für den Erwerb von Kreditpunkten im ECTS

5 Credits bei erfolgreicher Prüfungsteilnahme.

 

Allgemeiner Überblick

Diese Vorlesung behandelt Methoden der 3D-Bildverarbeitung, d. h. der bildbasierten dreidimensionalen Rekonstruktion von natürlichen Szenen und Objekten. Am Beginn der Vorlesung stehen eine Einführung in die räumliche Geometrie auf Basis linearer Algebra, die Theorie der optischen Abbildung sowie grundlegende Methoden der Kalibrierung von Kamerasystemen. Es folgt ein Überblick über die dreidimensionale Rekonstruktion von Szenen mit photogrammetrischen Verfahren anhand mehrerer Aufnahmen, insbesondere mit der klassischen Methode des Bündelausgleichs. Darüberhinaus wird eine Einführung in Verfahren zur Bestimmung der dreidimensionalen Lage und Orientierung von Objekten ("Pose Estimation") anhand von Geometriemodellen gegeben. Weiterhin wird die dreidimensionale Rekonstruktion der Oberfläche von Objekten anhand ihrer physikalischen Eigenschaften (z. B. Shape from Shading) behandelt. Praktische Anwendungsbeispiele aus der aktuellen Forschung illustrieren jeden der betrachteten Themenbereiche.

 

Teil I: Triangulationsbasierte Verfahren

Im ersten Teil der Vorlesung werden zunächst die Grundlagen der optischen Abbildung sowie Abbildungsfehler, inbesondere Schärfe-, Farb- und Verzeichnungsfehler von Objektiven, betrachtet. Am Anfang jeder bildbasierten 3D-Szenenrekonstruktion steht die Kalibrierung der Kamera. Aus diesem Grunde wird zunächst eine Einführung in Methoden der Kamerakalibrierung mittels eines Kalibrierkörpers bekannter Geometrie gegeben.

Eines der wichtigsten Verfahren der dreidimensionalen Szenenrekonstruktion ist die Stereo-Bildanalyse, die auf der Auswertung von Paaren von Bildern einer Szene basiert. In beiden Bildern werden die Positionen von zu Szenenmerkmalen gehörigen Bildpunkten ermittelt; anschließend wird daraus die dreidimensionale Struktur der Szenenmerkmale durch Triangulation bestimmt. An dieser Stelle wird auch eine kurze Einführung in das aus mathematischer Sicht in diesem Kontext durchaus hilfreiche Konzept der projektiven Geometrie gegeben. Die Stereo-Bildanalyse basiert, wie auch komplexere multiokulare dreidimensionale Rekonstruktionsverfahren, auf der Bildung von wechselseitigen Korrespondenzen zwischen Punkten in den Bildern der Szene. Hierfür muss beispielsweise bekannt sein, welche Punkte in Bild 1 mit welchen Punkten in Bild 2 korrespondieren, d. h. welche Bildpunkte jeweils zum selben physikalischen Objekt bzw. Objektteil in der Szene gehören.

Eine Verallgemeinerung der Stereo-Bildanalyse auf im Prinzip beliebig viele Kameras, die die Szene aus unterschiedlichen Positionen betrachten, ist der sogenannte Bündelausgleich (Bundle Adjustment). Hierbei handelt es sich um die Standardmethode der Photogrammetrie, die eine simultane Bestimmung sowohl der internen als auch der externen Kameraparameter sowie der dreidimensionalen Struktur der Szene aus mehreren von verschiedenen Orten aus aufgenommenen Bildern ermöglicht.

Es folgt eine Übersicht über Methoden zur Bestimmung der dreidimensionalen Position und Orientierung von Objekten aus einem oder mehreren Bildern, was auch als Pose Estimation bezeichnet wird. Hierbei wird davon ausgegangen, dass ein Geometriemodell des betreffenden Objekts verfügbar ist.

 

Teil II: Intensitätsbasierte Verfahren

Intensitätsbasierte Verfahren zielen darauf ab, die dreidimensionale Struktur eines Objekts aus der Intensitätsverteilung im Bild abzuleiten. Zunächst werden die wichtigsten radiometrischen Größen eingeführt, und der Bildentstehungsprozeß wird aus physikalischer Sicht nachvollzogen. Hierfür ist die Kenntnis darüber vonnöten, wie einfallendes Licht an der Objektoberfläche gestreut bzw. reflektiert wird. In recht einfacher Weise lassen sich so Oberflächengradienten und daraus Höhenverläufe entlang von Bildzeilen bestimmen (Photoklinometrie). Aus mehreren Bildern einer Szene unter verschiedenen Beleuchtungsbedingungen lässt mit dem Verfahren des photometrischen Stereo ein vollständiges Tiefenbild ableiten.

Ist lediglich ein einzelnes Bild verfügbar, existieren i. a. unendlich viele Lösungen des Rekonstruktionsproblems. Durch die Forderung, dass die rekonstruierte Oberfläche bzw. ihre Gradienten bestimmten Bedingungen genügen müssen (z. B. Glattheit der Oberfläche, Integrabilität der Oberflächengradienten), lässt sich unter bestimmten Voraussetzungen auch aus einem Einzelbild ein vollständiges Tiefenbild der Oberfläche gewinnen.

 

Übungen

Im Rahmen der Vorlesung werden Übungen abgehalten, in denen ausgewählte, zuvor in der Vorlesung behandelte Verfahren anhand praktischer Anwendungsbeispiele von den Teilnehmern in MATLAB zu implementieren sind.

 



Nebeninhalt

Kontakt

Dr.-Ing. Arne Grumpe