Projekt

Das Teilprojekt C2 des Sonderforschungsbereichs 603 bearbeitet zusammen mit dem Lehrstuhl für Graphische Datenverarbeitung (LGDV) das Thema der "Analyse, Modellierung und Verarbeitung von Lichtfeldern zur Gewinnung realistischer Modelldaten". Die in diesem Teilprojekt zentrale Datenstruktur des Lichtfelds erlaubt es, durch sog. bildbasierte Modellierung beliebige Ansichten einer realen Szene zu generieren, deren Aussehen durch eine Sammlung an Bilddaten bekannt ist. Die benötigten Informationen über Parameter und Positionen der verwendeten Kamera werden über Verfahren der "Struktur aus Bewegung" (Structure from Motion) direkt aus den Bilddaten ermittelt, bei denen es sich im Allgemeinen um einen Bildstrom einer handgeführten Kamera handelt. Weitere Daten können beispielsweise Bilder einer auf einem Roboterarm montierten Kamera sein. Das Teilprojekt C2 wird bereits seit 1998 von der Deutschen Forschungsgemeinschaft (DFG) gefördert.

Die bei Lichtfeldern übliche Betrachtung von ausschließlich statischen Szenen wurde in den letzten Jahren immer mehr auch auf bewegte Szenen erweitert. Die bereits in 2003 begonnenen Arbeiten zur Rekonstruktion von Lichtfeldern aus Szenen, die bewegte, aber in sich starre Objekte enthalten, wurden auch 2005 fortgesetzt. Nach der Trennung von Merkmalen in "Hintergrund" und "bewegtes Objekt" können nun die beiden unabhängig voneinander berechneten 3-D-Rekonstruktionen mit ausreichender Genauigkeit registriert werden. Daraus lässt sich nun die Eigenbewegung des Objekts berechnen. Ähnliche Objektpositionen werden mittels einer Vektorquantisierung jeweils einem Zeitschritt zugeordnet. Die Visualisierung der so entstehenden dynamischen Lichtfelder erfolgt durch sog. Vertrauenskarten (Confidence Maps), die das Ausblenden des bewegten Objekts zu nicht sichtbaren Zeitschritten erlauben.

Ein neu entwickeltes Verfahren zur Evaluation der Lichtfeldqualität über die Berechnung des Signal-Rausch-Verhältnisses (SNR) ermöglicht einen objektiven Vergleich verschiedener Verfahren zur Lichtfeldrekonstruktion. Es wurde bereits für Untersuchungen zur Berechnung intrinsischer Kameraparameter und für den Vergleich verschiedener Verfahren zur Berechnung von Tiefeninformation eingesetzt. Dabei wurden auch die erstmals zur Lichtfeldvisualisierung eingesetzten lokalen Proxies, also nur für jede Ansicht lokal gültige Dreiecksnetze, mit herkömmlichen Tiefenkarten verglichen. Des Weiteren wurde das SNR dazu genutzt, die Tiefenkarten eines vorhandenen Lichtfeldes über die Rückkopplung aus der Lichtfeldsynthese zu optimieren.

Die Anwendbarkeit der entwickelten Verfahren wurde außerdem in mehreren Kooperationen mit anderen Projekten gezeigt. In Zusammenarbeit mit dem Graduiertenkolleg "Dreidimensionale Bildanalyse und -synthese" wurden 3-D-Rekonstruktionsalgorithmen zum schnellen Training für die Objekterkennung eingesetzt. Im Teilprojekt A7 des Sonderforschungsbereichs 603 wurden diese Algorithmen für die 3-D-Rekonstruktion von mittels flexibler Endoskope aufgenommenen Bildfolgen eingesetzt.