Labor für Virtuelles Studio / Virtuelle Realität

Abstract: AR-Annotationen zur Unterstützung von KI-Interaktion [EN]

Diese Arbeit präsentiert die Konzeption und prototypische Umsetzung eines Augmented-Reality-Systems zur KI-gestützten Generierung interaktiver Annotationen im Showroom-Kontext (ARIKAS). Ziel ist es, reale Objekte durch kontextbezogene, visuelle AR-Annotationen zu erklären und so eine selbstgeführte, immersive Wissensvermittlung zu ermöglichen. Die Systemarchitektur integriert Echtzeitkommunikation von Video, Audio und Daten über WebRTC. Darüber hinaus umfasst sie KI-Komponenten sowie eine AR-basierte Visualisierung auf einem Head-Mounted Display. Dabei werden erkannte Objekte mit virtuellen Annotationen verknüpft, die dynamisch auf Nutzeranfragen reagieren. Ein besonderer Fokus liegt auf der Nutzung lokal gehosteter KI-Modelle, um datenschutzrechtliche Anforderungen eines Unternehmens zu erfüllen. Die Ergebnisse zeigen, dass die gewählte Retrieval-Augmented Generation (RAG)-Architektur eine flexible und fachspezifische Wissensintegration ermöglicht. Gleichzeitig bestehen Herausforderungen in der korrekten räumlichen Positionierung. Weitere Schwierigkeiten ergeben sich bei der Auswahl der richtigen Objekte für die Annotationen sowie beim Zusammenführen unterschiedlicher Benennungen. Experteninterviews mit einem Augmented-Reality-Experten und einem Showroom-Touren-Experten bestätigen das Potenzial des Ansatzes hinsichtlich Interaktivität, Skalierbarkeit und Innovationsgrad. Die Experteninterviews verdeutlichen jedoch auch bestehende Limitationen. Diese zeigen sich insbesondere im Vergleich zu menschlichen Präsentatoren. Deren Stärken liegen vor allem in der sozialen Interaktion, der situativen Anpassung sowie im tiefgehenden Kontextverständnis. Insgesamt zeigt die Arbeit, dass KI-gestützte AR-Systeme eine vielversprechende Erweiterung klassischer Präsentationsformate darstellen. Sie ermöglichen neue Anwendungsmöglichkeiten, insbesondere in wissensintensiven Umgebungen. Zukünftige Verbesserungen können insbesondere in der Integration mehrerer Sprachen sowie in der gleichzeitigen Darstellung mehrerer Annotationen liegen. Auch ein Multi-User-Ansatz stellt eine sinnvolle Erweiterung dar. Darüber hinaus bietet die Verarbeitung zusätzlicher Metadaten, die über die reine Objekterkennung hinausgehen, weiteres Potenzial.

Keywords:

Augmented Reality, AR-Annotationen, Künstliche Intelligenz, Mensch-KI Interaktion

Betreuer:

Prof. Jens Herder, Dr. Eng./Univ. of Tsukuba
M.Sc. Kai Manuel Börner

Ort:

Die Arbeit wurde bei der Vodafone GmbH durchgeführt.