Labor für Virtuelles Studio / Virtuelle Realität

Abstract: NeRFs und Gaussian Splatting für Sets im virtuellen Studio [EN]

Das Erstellen von 3D Modellen ist zeitaufwändig und mühsam, zusätzlich ist es eine Fähigkeit die der Anwender erst erlernen muss. Machine Learning, weitläufig auch AI oder KI genannt, bietet vielfältige Möglichkeiten, diesen Prozess zu vereinfachen, sodass Zeitaufwand, Kosten und auch das Erwerben der Modellier Fähigkeiten wegfallen. Insbesondere im virtuellen Studio würden Erstellungsprozesse von Sets signifikant einfacher werden, wenn sich eine Videoaufnahme eines realen Ortes in eine 3D-Umgebung umwandeln lassen würde. Diese Möglichkeiten lassen sich in Neural Radiance Fields (NeRF) und Gaussian Splatting (GS) finden, nicht nur wandeln diese Videoaufnahmen in 3D Modelle um, sondern nutzen auch eine andere 3D Darstellung als klassische Gitternetz Modelle, NeRFs nutzen hier sogenannte Radiance Fields und Gaussian Splatting nutzt Gaußsche Funktionen, beide auf Basis von klassischen Punktwolken Modellen. Es ist auch möglich von einer Demokratisierung von 3D Assets zu sprechen, da zur Erstellung dieser bereits ein Smartphone und etwas Zeit zum Aufnehmen ausreicht.

Keywords:

Neural Radiance Field, NeRF, Gaussian Splatting, GS, Virtuelles studio, Set, Machine Learning, AI

Betreuer:

Prof. Jens Herder, Dr. Eng./Univ. of Tsukuba
Prof. Dr.-Ing. Thomas Bonse

Ort:

Die Arbeit wurde im Labor für Virtuelles Studio / VR durchgeführt.