Labor für Virtuelles Studio / Virtuelle Realität

Abstract: Automatic Camera Control and Video Switching in Live Studio Production using Deep Learning Algorithms [EN]

Schienengebundene und fernsteuerbare Kameraausrüstung, die sogenannte Kamerarobotik, ist in der virtuellen Realität und in Nachrichtenstudios weit verbreitet. Technologien und Forschung sind derzeit auf vordefinierte Positionen und automatisierte Personenverfolgung beschränkt. Sie berücksichtigen nicht die Anforderungen an die Bildkomposition und die zusätzlichen Ebenen der virtuellen Kinematografie, die nur voll integrierte Lösungen bieten können. Die Echtzeitsteuerung von Kameras wird durch markerloses Schauspieler- und Kameratracking ermöglicht - Positionen von Personen und Parameter von Geräten im Studio werden kontinuierlich erfasst und übertragen. Basierend auf diesen Daten wurde ein halbautomatischer Prototyp imple- mentiert und für eine Produktion genutzt. Der Prototyp verwendet Bildkompositionsparameter in einer 3D-Rendering-Umgebung. Entlang des Prototyps werden Anforderungen und Aufgaben für eine Deep-Learning-basierte Kamerasteuerung und Bildmischung skizziert, allen voran die Datenerfassung. In dieser Arbeit wird ein Ansatz vorgestellt, bei dem die Kamerarobotik über standardisierte Kommunikationsprotokolle gesteuert wird. Es werden Methoden vorgeschlagen, die auf einer einfachen Interaktion beruhen und eine automatische Steuerung ohne menschliches Eingreifen ermöglichen. Für zukünftige Implementierungen, die auf die Infrastruktur eines virtuellen Studios zurückgreifen, werden Interaktionsmethoden und Ansätze zur Datenerfassung bereitgestellt.

Keywords:

Virtueller Kameramann, Kamerasteuerung, Bildmischung, Kameraplatzierung, Kameraframing, Virtuelle Realität, Virtuelles Studio, Bildkomposition, Kamerarobotik, KI-Regisseur, Deep Learning, Neuronale Netzwerke

Betreuer:

Prof. Jens Herder, Dr. Eng./Univ. of Tsukuba
Prof. Dr.-Ing. Thomas Bonse

Ort:

Die Arbeit wurde im Labor für Virtuelles Studio / VR durchgeführt.