Labor für Virtuelles Studio / Virtuelle Realität

Abstract: Serverbasiertes virtuelles Studio [EN]

Virtuelle Studios basieren klassischerweise auf einer lokalen Verschaltung spezialisierter Geräte, die in Echtzeit alle erforderlichen Schritte durchführen, um Kamera- und Tonaufnahmen mit den Elementen einer virtuellen Umgebung zu mischen. Die vorliegende Arbeit beschäftigt sich mit den Fragen, inwiefern dieser Vorgang vollständig in einem IP-basierten Netzwerk mithilfe eines zentralen Servers durchgeführt werden kann, welche Latenzen auftreten und wie die Synchronisation mehrerer Datenströme vorgenommen werden kann. Es wird ein Szenario betrachtet, in dem Video- und Kamera-Tracking-Daten von mobilen Geräten unter Einsatz von Protokollen und Technologien wie RTP und WebRTC übertragen und per Uhr-Synchronisation und Timestamps bei der weiteren Verarbeitung synchronisiert werden. Mittels prototypischer Implementierung einer Server-Anwendung wird die Koordination mehrerer Clients erprobt, welche sich per WebRTC miteinander verbinden lassen. Diese wurden in Form einer Web-App, die als Kameraquelle fungiert, und einer Unity-Anwendung mit GStreamer-Integration entwickelt, um empfangene Video-Streams zusammen mit 3D-Inhalten zu rendern. Des Weiteren wurde eine AR-App für Android implementiert, die einen Video- Stream zusammen mit Tracking-Daten via RTP direkt an die Unity-Anwendung sendet. Anhand einer im lokalen Netzwerk aufgebauten Produktions-Pipeline werden sowohl die Qualität der Synchronisation als auch auftretende Latenzen ermittelt. Es wird gezeigt, dass die Koordination der Clients durch den Server funktioniert und einen dynamischen Auf- und Abbau von Verbindungen ermöglicht. Die Tracking-Daten konnten den zugehörigen Videobildern nach einer Übertragung zuverlässig über ihre Timestamps zugeordnet werden und die Synchronisation zweier Video-Streams zeigte sich als prinzipiell realisierbar, konnte aber mit der vorliegenden Implementierung nicht robust und ohne manuelle Nachjustierung hergestellt werden. Die Latenz bis zur Ausgabe des finalen Bildes bei Nutzung der AR-App betrug zwischen 0,46 s und 0,54 s, weswegen für die Generierung eines Feedback-Bildes für die Kamera ein lokales Rendering in der AR-App nahegelegt wird, das nach spätestens 0,2 s angezeigt wurde.

Keywords:

Virtuelles Studio, Video-Streaming, WebRTC, RTP, Server-Client- Architektur, Uhr-Synchronisation, Timestamps, GStreamer, ARCore Unity

Betreuer:

Prof. Jens Herder, Dr. Eng./Univ. of Tsukuba
Prof. Dr.-Ing. Thomas Bonse

Ort:

Die Arbeit wurde im Labor für Virtuelles Studio / VR durchgeführt.