Labor für Virtuelles Studio / Virtuelle Realität

Abstract: Entwicklung eines AR-Interfaces für den Live-Videoschnitt mit kontextbezogenen Informationen zur Entscheidungshilfe [EN]

Die vorliegende Arbeit untersucht den Einsatz eines in Augmented Reality (AR) entwickelten Multiviewers mit integrierten Schnittfunktionen auf einem Head-Mounted Display (HMD) für den Live-Videoschnitt, mit dem Ziel, dessen Einfluss auf Übersichtlichkeit und Entschei- dungsfindung im Vergleich zu etablierten Arbeitsabläufen zu analysieren. Hierzu werden verschiedene kontextbezogene Informationen genutzt, um die Arbeitsabläufe des Regisseurs und des Bildmischers innerhalb eines Systems zu vereinen und zu optimieren. Die immersive Steuerung des Multiviewers auf dem HMD – in diesem Fall der Apple Vision Pro – erfolgt über intuitives Eye- und Hand-Tracking in Form von Gestensteuerung. Dadurch soll der Arbeitsablauf des Regie-Bildmischers vereinfacht und e"zienter gestaltet werden. Zu diesem Zweck wurde ein prototypisches AR-Interface entwickelt und in einem praxisnahen Szenario im Rahmen einer Nutzerstudie evaluiert. Die Untersuchung erfolgte anhand eines Vergleichs zu dem im Virtuellen Studio der Hochschule Düsseldorf etablierten Workflow mit physischem Bildmischer und Multiviewer. Ergänzend wurden Experteninterviews durchge- führt, um den aktuellen Nutzen des AR-Interfaces aus fachlicher Sicht zu bewerten. Die Ergebnisse zeigen, dass das entwickelte System die Übersicht in Live-Produktionen verbessern und Entscheidungsprozesse im Live-Videoschnitt unterstützen kann. Zudem ist das System flexibel in verschiedenen Live-Produktionsszenarien einsetzbar und aufgrund der kompakten Bauweise des HMDs portabel, was zukünftig auch die Arbeit in Remote-Szenarien ermöglicht. Jedoch eignet sich die Steuerung über das AR-Interface in professionellen Umgebungen nur für ausgewählte Live-Produktionen, da der Workflow mit einem Bildmischer aufgrund der etablierten Arbeitsweise mit physischen Buttons derzeit noch nicht vollständig durch das entwickelte System ersetzt werden kann. Doch auch bereits jetzt bietet das AR-Interface in professionellen Live-Produktionen unterstützende Funktionen. Gleichzeitig ist der Einsatz des Systems aufgrund des Gewichts und der damit einhergehenden Einschränkungen im Tragekomfort sowie der Produktionssicherheit derzeit auf kurze Produktionen im kleinen Rahmen begrenzt und sollte insbesondere in Bezug auf Letzteres in zukünftigen Arbeiten umfassender evaluiert werden.

Keywords:

Augmented Reality, AR-Interface, Head-Mounted Display, Live-Videoschnitt, Multiviewer, Eye-Tracking, Gestensteuerung, Live-Produktion, Nutzerstudie, Experteninterviews

Betreuer:

Prof. Jens Herder, Dr. Eng./Univ. of Tsukuba
Prof. Dr.-Ing. Thomas Bonse

Ort:

Die Arbeit wurde im Labor für Virtuelles Studio / VR durchgeführt.

Video

Tools und Credits

Viz Artist 5, NDI und Tracking Hub Software von Vizrt

Unity - Unity Technologies

Virtuelles Studio der Hochschule Düsseldorf