Labor für Virtuelles Studio / Virtuelle Realität

Abstract: Das mobile Virtuelle Studio [EN]

Diese Abschlussarbeit untersucht, inwieweit mobile Geräte, wie Tablets und Smartphones geeignet sind, um ein Mobiles Virtuelles Studio zu betreiben. Das Mobile Virtuelle Studio wendet die Prinzipien des (großen) Virtuellen Studios auf eine kleinere, weniger kostenintensive Anwendung an. Die benötigten Funktionen beinhalten das Tracking von Personen und Kamerafahrten, Segmentierung und Interaktion. Diese Funktionen werden von Version 3 von Apple's ARKIT in Verbindung mit dem iPad Pro (2018) zur Verfügung gestellt. Das ARKIT von Apple ist ein Framework zur Entwicklung von Augmented-Reality-Anwendungen, das die notwendigen Funktionen für das Mobile Virtuelle Studio beinhaltet. Vergleichbare Frameworks sind Vufora von PTC und ARCore von Google. Als Hardware kommt das iPad Pro zum Einsatz, da es über eine leistungsstarke Kamera und die nötigen Sensoren für Tracking verfügt, sowie mit dem leistungsstarken A12 Prozessor ausgestattet ist, der die Benutzung des für das Mobile Virtuelle Studio wichtigsten Features, People Occlusion, ermöglicht. People Occlusion ist eine Technologie, die es erlaubt Personen ohne einen speziellen Hintergrund vom Bild zu segmentieren. Diese Technologie erlaubt der Anwendung zu erkennen, ob sich ein virtuelles Objekt vor, oder hinter der gefilmten Person befindet. Um 3D-Objekte in der Szene zu platzieren, erkennt die Anwendung Flächen im Raum und kann so den realen Raum virtuell abzubilden. Es wird eine Mischung aus Inertial- und optischen Tracking für das Kameratracking und die Platzierung der Objekte im Raum verwendet. Die Hardware ist noch nicht leistungsstark genug, um die virtuelle Welt in filmreifer Qualität darzustellen, allerdings gibt es eine Vielzahl anderer Anwendungsszenarien. Diese beinhalten Vorvisualisierung und Business-TV.

Keywords:

Virtuelle Realität, Augmentierte Realität, Augmentierte Virtualität, Virtuelles Studio, People Occlusion, Tracking

Betreuer:

Prof. Jens Herder, Dr. Eng./Univ. of Tsukuba
Prof. Dr.-Ing. Thomas Bonse

Ort:

Die Arbeit wurde im Labor für Virtuelles Studio / VR durchgeführt.