Dev #01: Szenen, Avatare und räumliches Audio

Diese Woche beginnt unser Devblog, in dem wir versuchen werden, euch über all die aufregenden (und die notwendigen alltäglichen) Dinge, an denen wir arbeiten, auf dem Laufenden zu halten. Da dies das erste Mal ist, dass wir unsere aktuellen Aktivitäten mit euch teilen, möchten wir auch über die Arbeit sprechen, die wir bis jetzt geleistet haben.

Status Quo

Die Entwicklung von Figments.nrw begann Ende 2020, kurz nach dem Start des AR/VR.nrw-Projekts. Zunächst lag der Fokus darauf, möglichst schnell funktionsfähige Prototypen zu erstellen, während wir uns derzeit auf den ersten Evaluierungsprototypen (voraussichtlich Ende 2021) konzentrieren.

Dazu wurden bereits eine ganze Reihe von kleineren Teilschritten verfolgt:

  • Auswahl eines geeigneten Versionskontrollsystems (VCS), in unserem Fall eine Skylab-Instanz, die vom Institut für Visual Computing der Hochschule Bonn-Rhein-Sieg gehostet wird.
  • Einrichtung geeigneter Kommunikationskanäle für die wissenschaftlichen Mitarbeiter, die an dem Projekt arbeiten, realisiert mit Hilfe von Mattermost.
  • Auswahl einer geeigneten integrierten Entwicklungsumgebung unter Berücksichtigung der Anforderungen und Bedürfnisse aller am Projekt beteiligten Akteure. Nach reiflicher Überlegung wurde hier Unity der Unreal Engine vorgezogen, die in der 2020 Long Term Support (LTS) Version zum Einsatz kommen wird.
  • Aufbau des grundlegenden Software-Frameworks für die Realisierung von Augmented und Virtual Reality, hier unter Verwendung von OpenXR in Unity.
  • Annahme eines geeigneten Codierungsstils für C#.
  • Entwicklung einer Website zur Kommunikation über die Aktivitäten im Projekt.
  • Etablierung regelmäßiger operativer und strategischer Treffen der Projektleitung und der Projektmitarbeiter.

Aktueller Prototyp & Funktionen

Diese Arbeit führte zu einem aktuellen Prototyp, der es mehreren Teilnehmern erlaubt, gleichzeitig über VR-HMD, PC oder Android-Geräte eine virtuelle Lernumgebung zu betreten. Bislang ist in dieser Umgebung (mehr oder weniger) Folgendes möglich (Liste nicht vollständig):

  • Import von 3D-Objekten und Umgebungen
  • Bewegen von Objekten (z.B. greifen, fallen lassen, stoßen)
  • Navigation über raumbezogene VR und virtuelle Teleportation
  • Holografische“ Benutzeroberfläche, die am virtuellen Handgelenk getragen wird und für komplexere (System-)Einstellungen genutzt werden kann.

Experimentelle Funktionen

Zu den experimentellen Funktionen gehören zum Beispiel:

  • Einbindung von Power Point-Folien über eine virtuelle Projektionsfläche
  • Spiegelung der Desktop-Oberfläche (nur bei Verwendung von PCs)
  • Zeichnen auf virtuellen Flächen

Dev #01: Aktuelle Aktivitäten

Wie in unserer Roadmap erwähnt, ist die erste Nutzerstudie für das kommende Semester geplant. Der Schwerpunkt unserer derzeitigen Bemühungen liegt darin, die dafür notwendigen Funktionen zu entwickeln.

Während wir zur fachlich-inhaltlichen Ausrichtung dieser ersten Studie (angesiedelt im Bereich der kristallinen Strukturen) später weitere Informationen veröffentlichen werden, werden wir die Gelegenheit nutzen, um neben den Grundfunktionen von Figments.nrw auch erste modulare Erweiterungen (Import von fachspezifischen Dateiformaten) zu testen. Das Hauptaugenmerk liegt dabei auf der Untersuchung der Benutzerfreundlichkeit der Software und der Eignung verschiedener Gerätetypen (insbesondere im Bereich der VR-HMDs) für unterschiedliche Unterrichtsszenarien.

Das Projektteam bespricht in wöchentlichen Treffen die aktuellen und geplanten Entwicklungen. In der vergangenen Woche wurden u.a. folgende Punkte angesprochen.

Szenen & Umgebungen

Derzeit nutzen wir eine allgemeine Demo-Umgebung, um neue Funktionen zu testen. Für die anstehende Nutzerstudie sind verschiedene Einstellungen vorgesehen, darunter auch die virtuelle Darstellung eines herkömmlichen Klassenzimmers. Nachdem wir eine Referenztafel entwickelt haben, arbeiten wir derzeit an der 3D-Modellierung einer solchen virtuellen Umgebung.

Es ist geplant, diese und andere im Projekt erstellte Umgebungen auch unter dem Gesichtspunkt der Raumgestaltung und deren Einfluss auf Lernprozesse zu untersuchen. Insbesondere im Zusammenhang mit nicht-traditionellen Lernumgebungen (die explizit nicht versuchen, bestehende Klassenräume oder Hörsäle nachzubilden) erhoffen wir uns neue Erkenntnisse.

Virtual Avatars

Vor allem in Situationen, in denen mehrere Lernende gleichzeitig einen virtuellen Raum nutzen, wird die Rolle der Spieler-Avatare wichtig. Avatare ermöglichen es uns nicht nur, unser Gegenüber zu sehen, sondern auch, mit anderen zu interagieren und gemeinsam an Problemlösungsaufgaben zu arbeiten. Insbesondere humanoide Avatare erfordern jedoch einen enormen Gestaltungsaufwand, wenn sie realistisch sein sollen, ohne im Uncanny Valley zu enden. Aus diesem Grund werden wir hauptsächlich mit stilisierten Avataren arbeiten, wie wir es derzeit mit sehr einfachen Avataren tun. Inzwischen gibt es auch freie und offene Lösungen (z.B. www.readyplayer.me), die es dem Nutzer erlauben, Avatare selbst zu gestalten. Wir prüfen daher, inwieweit solche Dienste in Figments.nrw integriert werden können.

Spatial Audio & Voice Chat

Neben den Avataren, die eine nonverbale Kommunikation im virtuellen Raum auf der Ebene des sichtbaren und beobachtbaren Gegenübers ermöglichen, entwickeln wir derzeit weitere Interaktions-, Kollaborations- und Kommunikationswerkzeuge.

Der Austausch über das gesprochene Wort ist dabei ein sehr wichtiger Aspekt, den wir bei der Entwicklung von Figments.nrw so schnell wie möglich angehen wollten. Da es hier neben auditiven Faktoren und qualitativen Aspekten auch im Zusammenhang mit der Synchronisation über Netzwerke viel zu beachten gibt, widmen wir diesem Punkt viel Aufmerksamkeit.

Die virtuelle Realität bietet hier Vorteile durch eine positionsgenaue Verortung der Teilnehmer (sowie eventuell im Raum befindlicher Geräuschquellen), die durch Spatial Audio erschlossen werden kann. Hier werden Signale binaural zugänglich und können so wesentlich zur Orientierung im virtuellen Raum beitragen. Darüber hinaus eröffnen sich dadurch Möglichkeiten für auditives Feedback, z.B. in Lernprozessen.

Zeichnen & Schreiben in 3D

Eine weitere Möglichkeit, die Kommunikation im virtuellen Raum zu ermöglichen, ist das Schreiben und Zeichnen. Über Controller- oder Hand-Tracking ist eine natürliche Interaktion möglich, die dem Schreiben in der Realität (z.B. mit einem Stift oder Pinsel) erstaunlich nahe kommt.

Während wir dreidimensionales Zeichnen in der virtuellen Realität bereits erfolgreich umgesetzt haben, arbeiten wir derzeit daran, auch auf zweidimensionalen virtuellen Oberflächen (z.B. einem Whiteboard) schreiben zu können. Potenzial sehen wir hier sowohl in der Gewöhnung an diese Zeichenwerkzeuge als auch in der Möglichkeit, diese zweidimensionalen Aufzeichnungen konventionell (z.B. als JPG/PNG) zu speichern und zu exportieren, um sie später zu nutzen.

Table of Contents