HS Düsseldorf >>
Fachbereiche >>
Institute >>
Organe und Gremien >>
Verwaltung >>
Hochschulbibliothek >>
Campus IT >>
Suche & Hilfe >>

FB 1 Architektur >>
FB 2 Design >>
FB 3 Elektro- & Informationstechnik >>
FB 4 Maschinenbau >>
FB 5 Medien >>
FB 6 Sozial/Kulturwiss. >>
FB 7 Wirtschaft >>

Aktuelles >>
Studium >>
Personen >>
Showroom >>
Studienbüro >>
Dekanat >>
Internationales >>
Forschung & Entwicklung >>

Projekte >>
Labore, Pools & Studios >>


	Hochschule Düsseldorf University of Applied Sciences


	Fachbereich Medien Faculty of Media


	Labor für Virtuelles Studio / Virtuelle Realität

Publikationen >>

Events >>

Lehre >>

Anfahrt >>

Labor Suche >>

Aktuelles >>

Captury Live - Markerlose Erfassung von Bewegungsdaten von Personen im Virtuellen Studio der Hochschule Düsseldorf [EN]




		$Captury: Occlusion and refraction based on actor position$

Kurzbeschreibung

Ein Captury Live System mit 10 Kameras (optional mit 18 Kameras) der Firma The Captury GmbH ist im Virtuellen Studio der Hochschule Düsseldorf, University of Applied Sciences installiert.

Das System wird für die Steuerung in Echtzeit von virtuellen Umgebungen und virtuellen Studioproduktionen sowie für Bewegungsaufzeichnung (MoCap) verwendet. Dabei können die Bewegungen von ein bis drei Personen ohne die Verwendung von Markern am Körper aufgezeichnet werden. Das System liefert 22 Positions- und Rotationsdaten je Person. Es ergeben sich beispielsweise folgende Anwendungen:

Steuerung eines Avatars
Vollkörper Interaktionen im Raum
Auflösung der Tiefenrelation im Virtuellen Studio
Steuerung einer Kamerarobotik
Steuerung von motorisiertem Licht, wie z.B. Moving Head
Aufzeichnung von Bewegungen (MoCap) für Animationen

Folgende Softwareanbindungen bzw. Formate werden im Virtuellen Studio unterstützt:

Viz Artist
Unreal
Unity
FBX
OSC

Das System ersetzt die Openstage (Organic Motion), welche in den letzten Jahren für viele Entwicklungen und Produktionen genutzt wurde.

Video

The media player is loading...

Interaktives Virtuelles Studio 2019

Das Set und die Steuerung wurde als Teil des Moduls Interaktives Virtuelles Studio im Masterprogramm Medieninformatik im Fachbereich Medien der Hochschule Düsseldorf entwickelt. Das Besondere dieser Produktion war die Steuerung eines Moving Head mit der Position des Darstellers. Der reale Scheinwerfer (Moving Head), wie auch das virtuelle Licht folgen der Person. Mit Hilfe eines zusätzlichen (unsichtbaren) Avatars konnte so auch für die Person ein virtueller Schatten generiert werden. Der Darsteller ist über eine Videotextur Teil der Szene. Die Tiefe der Videotextur wird über die Position des Darstellers bestimmt und bewegt. Hierdurch erhält man im virtuellen Set korrekte Verdeckungen. Daneben werden Reflektionen und Lichtbrechungen (Refraktion) ermöglicht. Die Produktion ist live aufgezeichnet worden, d.h. Tracking, Rendering und Compositing erfolgte in Echtzeit. Die Software Tracking Hub zur Verteilung der Daten des Kameratrackings an die Rendering Engine wurde von der Firma Vizrt Austria zur Verfügung gestellt. Für die Produktion wurde ein manueller Kameraarm (Jib-arm) der Firma Egripment genutzt. Das Captury Live System liefert die Skelett-Daten der Darsteller für die Steuerung des Sets wie z.B. die Animation eines Avatars oder des künstlichen Schattens für einen Darsteller.

Entwickler

Oliver Mertens, Manuel Zohlen

Produktion

Dennis Amuser, Lara Bertram, Jens Herder, Oliver Mertens, Antje Müller, Manuel Zohlen

Schlüsselwörter

Virtuelles Studio, Personenverfolgung, Motion Capturing, Tracking, Interaktionen, Schattengenerierung, Verdeckung, Reflexionen, Refraktion, Moving Head

Werkzeuge und Credits

Tracking Hub Software der Firma Vizrt
Kameraarm- Jibarm (JanJib) der Firma Egripment
System zur markerlosen Erfassung von Bewegungsdaten - Captury Live der Firma The Captury GmbH
Unreal Rendering Engine
Moving Head Varyscan P6, JB-Lighting, zur Verfügung gestellt vom Präsentations- und Beleuchtungslabor

Download

Beschreibung	Größe	Filetyp
Interaktives Virtuelles Studio 2019 - Dauer 2:37	122,6 MB	mp4 >>
MoCap Aufzeichnung von ein paar Schritten (Daten)	618 KB	FBX >>
MoCap Aufzeichnung von ein paar Schritten (Video)	1,4 MB	mp4 >>

Veröffentlichungen

Semi-Automatic Camera and Switcher Control for Live Broadcast: Jeff Daemen, Jens Herder, Cornelius Koch, Philipp Ladwig, Roman Wiche, and Kai Wilgen, International Conference on Interactive Experiences for Television and Online Video (TVX'2016), Chicago, IL, USA, ACM, DOI=10.1145/2932206.2933559, June 22-24, 2016.
Four Metamorphosis States in a Distributed Virtual (TV) Studio: Human, Cyborg, Avatar, and Bot - Markerless Tracking and Feedback for Realtime Animation Control: Jens Herder, Jeff Daemen, Peter Haufs-Brusberg, and Isis Abdel Aziz, Virtual Realities, pp 16-32, Springer International Publishing, DOI=10.1007/978-3-319-17043-5_2, ISBN 978-3-319-17042-8, April 1st, 2015.
SpiderFeedback - Visual feedback for Orientation in Virtual TV Studios: Jonathan Simsch and Jens Herder, 11th International Conference on Advances in Computer Entertainment, ACE 2014, Funchal, Portugal, November 11-14, 2014.
Four Metamorphosis States in a Distributed Virtual (TV) Studio: Human, Cyborg, Avatar, and Bot: Jose Burga, Jeff Daemen, Sascha Charlie Djuderija, Maren Gnehr, Lars Goossens, Sven Hartz, Peter Haufs-Brusberg, Jens Herder, Mohammed Ibrahim, Nikolas Koop, Christophe Leske, Laurid Meyer, Antje Müller, Björn Salgert, Richard Schroeder, and Simon Thiele, 10th International Conference on Visual Media Production (CVMP 2013), short paper, London, November, 2013.
Markerless Actor Tracking for Virtual (TV) Studio Applications: Jeff Daemen, Peter Haufs-Brusberg, and Jens Herder, International Joint Conference on Awareness Science and Technology & Ubi-Media Computing (iCAST 2013 & UMEDIA 2013), HC-2013 Track, Hamamatsu/Aizu-Wakamatsu/Duesseldorf, November, 2013.