Ziel dieses Projekts, das im Rahmen des Graduiertenkollegs
"Dreidimensionale Bildanalyse und -synthese" durchgeführt
wird, ist die Klassifikation und Lokalisation von dreidimensionalen Objekten in Bildern. Dazu wird ein erscheinungsbasierter Ansatz eingesetzt. Dementsprechend wird kein vorhergehender Segmentierungsprozess benötigt, der geometrische Merkmale wie Kanten oder Ecken detektiert, sondern die Merkmale werden direkt aus den Intensitäten der Bildpunkte bestimmt. Dieser Ansatz verwendet 2-D lokale Merkmale, die von Grauwertbildern mit Hilfe der Wavelet Multi-Skalen-Analyse berechnet werden. Statistische Modellierung der Merkmale mit Hilfe von Dichtefunktionen macht den Ansatz robust gegenüber Beleuchtungsschwankungen und Rauschen.Bei praktisch relevanten Anwendungen sind die Objekte oft partiell verdeckt oder können sich vor beliebigem Hintergrund befinden. Deshalb wird auch der Hintergrund
explizit modelliert und in der Erkennungsphase für jeden Merkmalsvektor entschieden, ob er zum Objekt oder zum Hintergrund gehört.
Auch mehrere Objekte können im Bild auftreten, die lokalisiert und klassifiziert werden sollen. Im Allgemeinen ist die Anzahl der Objekte, die sich im Bild befinden, unbekannt. Auf Basis eines Abbruchkriteriums wird entschieden, wann die Suche nach Objekten beendet werden soll. Ein robustes Kriterium wurde bereits experimentell bestimmt.
Um Objektklassen zu trainieren, werden mehrere Bilder von
Objekten in bekannten Lagen und Orientierungen gebraucht.
Üblicherweise werden die Objekte auf einem Drehteller gestellt, um einen bekannten Winkel gedreht und von einer Kamera, die auf einem Roboterarm montiert ist, aufgenommen.
Bei größeren oder sich bewegenden Objekten ist der Einsatz vom Drehteller nicht möglich. In diesem Falle wird der Aufnahmeprozess mit einer handgeführten Kamera durchgeführt.
Die unbekannten Lagen und Orientierungen von den Objekten, die für das Training benötigt werden, werden mit Hilfe eines
"Struktur aus Bewegung" Algorithmus rekonstruiert.
Zur Evaluierung des Objekterkennungssystems entstand eine
neue umfangreiche Stichprobe 3D-REAL-ENV. Bei über 30000
Trainingsbildern und 8000 Testbildern mit einem realen heterogenen Hintergrund von 10 Objekten kann man verschiedene Erkennungsalgorithmen objektiv vergleichen. Da die Beleuchtung in den Testbildern anders als in der Trainingsphase ist, konnte auch die Beleuchtungsunabhängigkeit des Systems nachgewiesen werden.
In der letzten Zeit wurde die Objektfarbe bei der Berechnung der Merkmale berücksichtigt. 6-D lokale Merkmalsvektoren werden von Farbbildern berechnet, wobei die Wavelet Multi-Skalen-Analyse separat für den roten, grünen, und blauen Kanal durchgeführt wird. Bei Testbildern mit heterogenem Hintergrund stieg die Klassifikationsrate von 55.4% (Grauwertmodellierung) auf 87.3% (Farbmodellierung). Die Lokalisationsrate verbesserte sich von 69.0% (Grauwertmodellierung) auf 77.1% (Farbmodellierung)