Labor für Virtuelles Studio / Virtuelle Realität

Abstract: Echtzeit-Beleuchtungsanpassung einer Videoaufnahme in einer Augmented Virtuality Szene unter Verwendung eines markerlosen Personentrackings [EN]

Die Komposition realer und virtueller Bildelemente ist unumgänglich in virtuellen Produktionen und Mixed Reality Anwendungen. Ein großes Problem in der Kombination von realen und virtuellen Elementen in einem Bild sind visuelle Unterschiede zwischen Virtualität und Realität, sei es in der Form von unterschiedlichen Lichtverhältnissen, Schatten oder falscher Objektverdeckung. Diese Unterschiede sind für das menschliche Auge leicht zu erkennen und wirken der gewünschten Immersion entgegen. Die vorliegende Arbeit beschäftigt sich mit diesen Problemen der Augmented Reality und virtuellen Produktion und stellt eine Implementierung einer Echtzeit-Beleuchtungsanpassung eines Videostreams mit der Lichtstimmung einer virtuellen Szene vor. Ziel der Arbeit soll es sein, eine Anwendung zu entwickeln, die die Aufnahme eines Darstellers mit einer virtuellen Szene angleicht und visuelle Lichtunterscheide für das menschliche Auge unkenntlich macht. Diese Angleichung soll in einer Echtzeitumgebung geschehen und damit den Anforderungen heutiger Mixed Reality Anwendungen und virtueller Produktionen entsprechen. Nach der Untersuchung unterschiedlicher Lösungsansätze ist ein System realisiert worden, das Bildverarbeitung und moderne Grafikberechnungen nutzt, um ein eingehendes Videosignal neu zu beleuchten. Zuerst wird die zweidimensionale Kontur aus dem Videobild durch Bildverarbeitung gewonnen. Die Konturdaten werden zur Generierung einer Verschiebungstextur genutzt. Mit dieser Textur wird aus der zweidimensionalen Videofläche eine Geometrie mit dreidimensionaler Tiefe generiert. Der Videostream kann dann mit dem virtuellen Licht in der Szene und den gewonnenen Normalenvektoren der Geometrie neu beleuchtet werden. Ein integriertes markerloses Personentracking ermöglicht außerdem eine korrekte Positionierung der Geometrie in der Szene. Die Bildergebnisse sowie Vor- und Nachteile des vorgestellten Systems werden anschließend diskutiert und evaluiert.

Keywords:

Echtzeit Rendering, Virtuelles Studio, Augmentierte Virtualität, Markerloses Personentracking, Beleuchtungsanpassung, Lichtschätzung

Betreuer:

Prof. Jens Herder, Dr. Eng./Univ. of Tsukuba
Prof. Dr. rer. nat. Christian Geiger

Ort:

Die Arbeit wurde im Labor für Virtuelles Studio / VR durchgeführt.