Sprungmarken

Servicenavigation

Hauptnavigation


Sie sind hier:

Bereichsnavigation

Hauptinhalt

Methoden der 3D-Objektbildung, Trajektorienklassifikation und Aktionserkennung in der Robotik und für Fahrerassistenzsysteme

Bildbasierte Verfahren zur 3D-Objektbildung, Trajektorienklassifikation und Aktionserkennung sind von hoher Relevanz für die Erkennung von Menschen sowie ihrer Bewegungen und Aktionen in der Nähe von bzw. Interaktionen mit Robotern. Hierzu werden präzise und robuste Methoden zur dreidimensionalen Erkennung und Bewegungsanalyse von Personen und deren Körperteilen unter komplexen Umgebungsbedingungen benötigt. Hierzu kommen multiokulare Bildanalyseverfahren zum Einsatz, aber auch Time-of-Flight-Sensoren und der Kinect-Sensor sind vielversprechende Technologien zur Generierung von 3D-Daten. Aufbauend auf den Ergebnissen der 3D-Szenenrekonstruktion und Bewegungsanalyse werden in den nachfolgenden Erkennungsstufen die messenden Bildverarbeitungsverfahren mit kognitiven Methoden z. B. aus der Mustererkennung kombiniert. Ein erfolgreich eingesetzter Ansatz ist hierbei die Erkennung von Gesten und Aktionen durch Trajektorienanalyse anhand probabilistischer Verfahren zur Modellierung der Wahrscheinlichkeitsverteilung multipler Bewegungshypothesen und ihrer zeitlichen Verfolgung und Prädiktion. Das Ergebnis der Trajektorienklassifikation liefert zum einen eine Aussage darüber, wie weit die jeweilige Aktion fortgeschritten ist, zum anderen lässt sich die zukünftig zu erwartende Bewegung durch Erkennung einer gelernten Aktion präziser vorhersagen als mit Ad-hoc-Bewegungsmodellen.

 

Auch als grundlegende Technologien für Fahrerassistenzsysteme sind derartige Ansätze zur Erkennung von Objekten und zur Prädiktion ihres Bewegungsverhaltens gut geeignet. Zur Generierung einer 3D-Rekonstruktion des Fahrzeugumfelds wird beispielsweise ein fahrzeugbasierter Stereo-Bildsensor verwendet, wobei die 3D-Segmentierung der Szene und zum Tracking der detektierten Objekte insbesondere bei Vorliegen dynamischen Bewegungsverhaltens ein aktuelles Forschungsgebiet ist. Ähnlich wie bei der Analyse menschlicher Bewegungen lassen sich im Fahrzeugumfeld die Trajektorien von Objekten lernen, anhand der gelernten Bewegungsmuster prädizieren und hinsichtlich der durchgeführten Fahrmanöver klassifizieren. Ein weiteres Forschungsfeld ist die Analyse der Relationen zwischen mehreren Objekten in komplexen Straßenverkehrsszenarien anhand des gemessenen und prädizierten Bewegungsverhaltens.

 

depth_image_gesture

Mit einem Kinect-Sensor aufgenommenes Tiefenbild, das eine Person zeigt, die mit der linken Hand eine Geste ausführt. Die weiße Kurve gibt die Trajektorie der Hand wieder (Bild: N. Milani).

 

working actions

Erkennung von Aktionen im Zuge eines industriellen Arbeitsvorgangs unter Verwendung eines nichtstationären Hidden-Markov-Modells. Oben: Raum-zeitliche 3D-Pose-Estimation der Hand und des Unterarms der Person mit dem Shape-Flow-Algorithmus. Unten: Ergebnis der Aktionserkennung. Blau: Transferbewegung; rot: schrauben (Position 1); schwarz: schrauben (Position 2); grün: reinigen; ocker: stecken; weiß: unbekannte Aktion; GT: ground truth (Hahn et al., HCRS 2009).

 

manifold

System zur Bewegungsprädiktion über Zeiträume von mehreren Sekunden, basierend auf einer Mannigfaltigkeit niedriger Dimension, die in einem hochdimensionalen, die Bewegungstrajektorien der Fahrzeuge repräsentierenden Merkmalsraum mit dem Verfahren der Unsupervised Kernel Regression erzeugt wurde (Hermes et al., Dortmunder Auto-Tag 2011).

trajectory prediction

Links: Detektion eines Fahrzeugs mit dem 3D-Mean-Shift-Verfahren (Hahn et al., Sicherheit durch Fahrerassistenz 2010). Rechts: Probabilistische Bewegungsprädiktion mit einem Trajektorien-Partikelfilter (rote Positionen) im Vergleich mit der Ground Truth (grüne Positionen) (Hermes et al., IV 2010).

situation analysis

Beispiel der Erkennung und Prädiktion der Kreuzungssituation "amerikanisches Abbiegen". Die wahre zukünftige Trajektorie der Fahrzeuge ist durch gestrichelte Linien wiedergegeben, die durchgezogenen Linien entsprechen den prädizierten Bewegungshypothesen für die einzelnen Fahrzeuge (Käfer et al., ICRA 2010).

vehicle pose estimation

Segmentierung und 3D-Pose-Estimation eines Fahrzeugs, basierend auf Stereo-Bildanalyse und Bestimmung des optischen Flusses (Barrois et al., IV 2009).