Projekt

Die Erkennung von Handgesten bietet in vielen Bereichen Anwendungsmöglichkeiten, wie z.B. Infotainmentsystemen oder in der Automobil-Branche. Ziel dieses Projektes ist die Klassifikation von vordefinierten statischen Gesten mit Hilfe einer sogenannten PMD-Kamera (Photomischdetektoren, Photonic Mixer Device, kurz: PMD). Das von einem Sender ausgesendete modulierte Infrarotsignal beleuchtet eine Szene, trifft dort auf Objekte und wird von diesen auf den Sensor der Kamera reflektiert. Durch den Phasenversatz können die Distanzen zu den jeweiligen Gegenständen in der beobachteten Szene berechnet werden. Daraus ergibt sich ein Distanzbild, in dem jeder Bildpunkt die Distanz zu dem beobachteten 3-D Punkt in der Szene angibt. Die Kamera liefert auch ein herkömmliches Grauwertbild. Für die Segmentierung der Handgesten können die Distanz- als auch die Grauwertdaten genutzt werden. Die Distanzen werden hier verwendet, um die Hand samt Arm zu segmentieren. Als nächster Schritt wird die Hand extrahiert, um die Merkmale für die Klassifikation zu berechnen. Die Klassifikation soll echtzeitfähig sein, da die Kamera ca. 15 Bilder pro Sekunde liefert. Das System wird mit verschiedenen Gesten von verschiedenen Personen offline evaluiert und ein entsprechendes Trainingsset in das Online-System eingespielt. Die Software, in die das Paket integriert wird, wurde von Audi Electronics Venture GmbH vorgegeben. Es werden zwei Module in die bestehende Software integriert: das Modul "Recording", mit dem man die verschiedenen Gesten aufnehmen kann (um diese als Trainingsdaten verwenden zu können), sowie das Modul "Classification", das zur Klassifikation in dem Online-System dient.