Labor für Virtuelles Studio / Virtuelle Realität

Abstract: Immersive Design of Sign Language Avatars for Video Streams in VR: Analyzing the Impact of Visual Customization Elements [EN]

Gebärdensprachen sind das primäre Kommunikationsmittel von Millionen Tauben und Schw- erhörigen auf der Welt und geschriebene Sprache ermöglicht keine gleichwertige Barrierefrei- heit. Die jüngsten Fortschritte in der Gebärdensprache-Avatar-Technologie und die rasche Verbreitung von VR-/AR-Geräten für Verbraucher eröffnen neue Möglichkeiten für die Bereitstellung barrierefreier Inhalte in immersiven Umgebungen. Ziel dieser Arbeit war es, einen Prototypen für eine Anwendung mit immersiven Gebärdensprache-Avataren für Videostreams auf der Apple Vision Pro zu entwickeln und zu evaluieren. Der Prototyp ermöglichte die freie Platzierung von Avataren sowohl im VR- als auch im AR-Modus. Die Animationen wurden mithilfe von Motion Capture erstellt und in das System integriert. Die Benutzerfreundlichkeit und Wahrnehmung wurden anhand einer gemischten Methodenstudie bewertet, die Fragebögen, offene Interviews und Eye-Tracking-Analysen mit Gebärdensprachexperten umfasste. Die Ergebnisse zeigten, dass Aspekte der Benutzerfreundlichkeit wie die einfache Platzierung und die Hintergrundsteuerung positiv bewertet wurden. Die Teilnehmer kritisierten jedoch das Fehlen von Gesichtsanimationen und die Ungenauigkeit der Hand- formen und hoben die Qualität der Avatare als Hauptbeschränkung hervor. Die immersive Multi-Avatar-Szene wurde als vielversprechend angesehen, jedoch durch die Verwendung identischer Avatare eingeschränkt. Die Ergebnisse deuten darauf hin, dass Gebärdensprache-Avatare am besten als Ergänzung zu menschlichen Dolmetschern in Verbraucherkontexten wie Unterhaltung oder öffentlichen Informationsdiensten geeignet sind. Die Verbesserung der Animationsqualität und der Anpassungsmöglichkeiten wird neben der Schaffung von Forschungsumgebungen, in denen gehörlose und schwerhörige Menschen gleichberechtigt teilnehmen können, der Schlüssel zu einer breiteren Akzeptanz von Gebärdensprache-Avataren in immersiven Medien sein.

Keywords:

Virtuelle Realität, VR, Erweiterte Realität, AR, Mensch-Computer Interaktion, Mensch-Avatar Interaktion, Gebärdensprache, Deutsche Gebärdensprache, Gebärdensprachavatar

Betreuer:

Prof. Jens Herder, Dr. Eng./Univ. of Tsukuba
Prof. Dr.-Ing. Thomas Bonse

Ort:

Die Arbeit wurde im Labor für Virtuelles Studio / VR durchgeführt.