Labor für Virtuelles Studio / Virtuelle Realität

Abstract: Verfolgen einer Person durch Kombination einer ToF-Kamera und einer HD-Fernsehkamera im Virtuellen Studio

Die vorliegenden Arbeit beschreibt ein Tracking mit einer Tiefenkamera und einer HD-Fernsehkamera im Virtuellen Studio, das eine Interaktion mit der virtuellen Szene ermöglicht. Ein einfaches Mapping der Kamerabilder wurde mit einer perspektivischen Transformation umgesetzt, die in einer Homographieebene kalibriert wurden. Das Mapping wird mit zunehmender Entfernung von der kalibrierten Ebene deutlich schlechter. Aus diesem Grund wurde ein tiefengestaffeltes Mapping durch eine Stereokalibrierung geschaffen. Die rektifizierten Bilder werden anhand der Disparität, die pro Pixel aus den Entfernungsdaten berechnet wird, einander angeglichen. Somit konnte eine gute Bildregistrierung für alle Ebenen erreicht werden. Das Tracking des Akteurs wird in den rektifizierten Bildern durchgeführt. Hierzu wird der Vordergrund maskiert, indem ein Chromakeyer für das Farbbild verwendet wird. Im Tiefenbild wird ebenfalls eine Maske erstellt, die sich aus den Entfernungsdaten berechnet. Mit einem adaptiven Hautfilter werden Hände und das Gesicht segmentiert und daraufhin im Tiefenbild deren räumliche Position bestimmt. An die ermittelten Positionen werden virtuelle Objekte gesetzt und in eine Alphamaske gerendert. Die externen Kameraparameter aus der Stereokalibrierung werden auf die virtuelle Kamera übertragen und aus den internen Parametern werden die Werte für die virtuelle Kamera berechnet. Die gerenderte Alphamaske wird per Compositing mit dem HD-Bild der Studiokamera vereint. Im zusammengesetzten Bild lässt sich die augmentierte Szene bewerten. Die Objekte an den Händen ändern ihre Größe, wenn der Akteur sich durch die Szene bewegt. Mit der Tiefeninformation konnte eine glaubhafte Interaktion gezeigt werden.

Keywords:

Kamerakalibrierung, Stereokalibrierung, Bildregistrierung, Bildverarbeitung, Virtuelles Studio, Interaktion

Betreuer:

Prof. Jens Herder, Dr. Eng./Univ. of Tsukuba
Prof. Dr. rer. nat. Christian Geiger

Ort:

Die Arbeit wurde im Labor für Virtuelles Studio / Virtuelle Realität durchgeführt.