Labor für Virtuelles Studio / Virtuelle Realität

Abstract: Videosegmentierung ohne besondere Annahme über den Hintergrund unter Verwendung von Deep Learning [EN]

Die automatische Segmentierung von Videos und Bildern hat viele Anwendungsbereiche und ist stetiger Bestandteil der Forschung. In der vorliegenden Arbeit wurden unterschiedliche Deep Learning Modelle zur Segmentierung von Personen, ohne besondere Annahme über den Hintergrund, entwickelt und untersucht. Hierfür wurde ein eigener synthetischer Datensatz mithilfe von Aufnahmen von Personen vor einem Greenscreen mit einer Stereokamera erstellt. Es wurden Farbinformationen (RGB) und eine Kombination aus Farb- und Tiefeninformationen (RGBD) als Eingabe genutzt. Der Fokus lag auf dem Vergleich von RGB- und RGBD-Modellen und der Untersuchung der Auswirkung von Transfer Learning bei diesem Vergleich. Darüber hinaus wurden weitere Modelle mit einem, pro Lernzyklus leicht variierenden Datensatz, mithilfe von Data Augmentation trainiert, um zu überprüfen, ob diese Methodik zu einer Optimierung der Generalisierung eines Deep Learning-Modells führen kann. Es wurde festgestellt, dass mit der gewählten Netzwerkarchitektur, einer U-Net-Architektur mit dem Netzwerk ResNet34 als Encoder, durch die RGB-Modelle bessere Ergebnisse als mit den RGBD-Modellen erzielt werden konnten. Dies lässt vermuten, dass andere Netzwerkarchitekturen für die Verarbeitung der Tiefeninformationen notwendig sind. Eine Vergleichbarkeit von RGB- und RGBD-Modellen mit gleicher Netzwerkarchitektur ist dementsprechend nicht ohne Weiteres gegeben. Das Transfer Learning hatte einen positiven Einfluss auf die Lernprozesse und die erreichten Ergebnisse der Modelle. Die Frage, ob leicht variierende Datensätze im Lernprozess zu einer Optimierung führen können, bleibt offen und eine genauere Untersuchung wird empfohlen.

Keywords:

Deep Learning, Segmentierung, Keying, virtuelle Realität, erweiterte Realität, virtuelles Studio, Stereokamera, RGB, RGBD, Faltungsnetzwerke, Transfer Learning, synthetischer Datensatz

Betreuer:

Prof. Jens Herder, Dr. Eng./Univ. of Tsukuba
Prof. Dr.-Ing. Thomas Bonse

Ort:

Die Arbeit wurde im Labor für Virtuelles Studio / VR durchgeführt.

Video

Download