Labor für Virtuelles Studio / Virtuelle Realität

Abstract: Tablet-basierte Anwendungssteuerung mit Tangible Objects

In den letzten zwei Jahrzehnten sind viele neuartige Typen von Benutzerschnittstellen entstanden, die digitale und physische Welten miteinander verbinden. Die bislang wichtigsten Mensch-Computer-Schnittstellen - Tastatur und Maus - werden durch andere intuitive und natürliche Interaktionsmitteln ersetzt. Eine der größten Neuerungen auf diesem Gebiet war die Einführung von iPhone und ähnlichen Smartphones, die Multi-Touch-Steuerung auf kapazitiven Displays mit anderen Sensoren (Beschleunigungs-, Annäherungs- und Lichtsensor) verbinden und diese kleinen Geräte dadurch auch für komplexere Aufgaben praktisch machen. Spätestens seit der Einführung und schnellem Erfolg von Tablets, die viele Laptops aus den Wohnzimmern vertrieben haben, wird deutlich, dass wir uns immer weiter von der WIMP1-Paradigma entfernen. Parallel werden andere neuartige interaktive Umgebungen entwickelt, die die gestenbasierte Steuerung mit greifbaren Objekten (Tangibles) erweitern. Eine gelungene Umsetzung dieses Konzepts ist Reactable - ein elektronisches Musikinstrument, das die Multi-Touch- und Tangible-Steuerung auf einer Tischplatte vereint. Der Fokus dieser Arbeit liegt auf der Erforschung der Möglichkeiten des Einsatzes von greifbaren Objekten auf einem Tablet-Computer. Die Erkennung von Objekten basiert auf Verwendung von Cursors, die durch kapazitive Touchscreens erkannt werden können. Konkret wird ein Entwurf zum Aufbau solcher greifbaren Objekte vorgestellt, ein Erkennungsalgorithmus definiert sowie dessen Implementierung in eine bestehende für Multi-Touch-Anwendungssteuerung ausgelegte iOS-Applikation “TuioPad” durchgeführt. Die Vor- und Nachteile dieses Verfahrens gegenüber den anderen Multitouch- Technologien werden behandelt. Außerdem werden mögliche Ansätze zur Realisierung des Video-Feedbacks diskutiert und teilweise implementiert. Ziel dieser Arbeit ist herauszufinden wo der Mehrwert im Einsatz von greifbaren Objekten auf Tablet-Computern liegt und wie Benutzerschnittstellen mit ihnen natürlich gestaltet werden können.

Keywords:

Tangible Objects, Benutzerschnittstellen, TUIO

Betreuer:

Prof. Jens Herder, Dr. Eng./Univ. of Tsukuba
Prof. Dr. rer. nat. Christian Geiger

Ort:

Die Arbeit wurde im Labor für Virtuelles Studio / Virtuelle Realität durchgeführt.

Links:

Google Code TuioPad >> 
Google Code TuioPad Erweiterung für Tangible>>