Dev #03: Input, Video-Streaming, Voice-Chat & Kristalle

Heute geht es um die Einbindung des Video-Streaming und eines Voice-Chats via Agora sowie die Implementation von individualisierten Avataren via ReadyPlayer.Me. Auch sprechen wir über ein erstes Lernszenario.

Dev #03: Aktuelle Aktivitäten

Langsam aber sicher schreitet die Entwicklung von Figments.nrw weiter voran. Die meisten Entwickler kommen aus ihrer wohlverdienten Sommerpause zurück und dementsprechend nimmt die Entwicklung wieder Fahrt auf. In den letzten Wochen stand vor allem die Implementation neuer Features auf dem Programm, welche in naher Zukunft gemergt werden, um eine neue aktualisierte Source zu erzeugen. Des Weiteren wurden einige kleine Probleme mit der Kamerasteuerung im VR-Modus behoben.

Refactoring der Input-Methoden

Die manuelle Verknüpfung von Benutzerinput und auszulösenden Aktionen, wie wir sie aktuell implementiert haben, stellt eine potentielle Fehlerquelle dar, ist schlecht lesbar und lässt sich nur schwierig warten. Um diese Fehlerquelle zu beseitigen und um die Lesbarkeit des Codes zu verbessern, überarbeiten wir aktuell das Input-System. Ziel ist es, dass der gesamte Input codebasiert gesteuert wird. Hieraus wird insbesondere beim Merge ein Mehraufwand entstehen. Wir nehmen aber an, dass insbesondere die einfachere Lesbarkeit und die Fehlervermeidung langfristig den verursachten Aufwand aufwiegen werden.

Video-Streaming & Voice-Chat

Für viele Lernszenarien ist die Kommunikation zwischen den Lehrenden und den Lernenden als auch zwischen den Lernenden ein wichtiges Element. Aus diesem Grund ist die Implementation der Kommunikation in Figments.nrw ein wichtiger Bestandteil. Neben Voice-Chat kann auch die Integration von Video-Chat eine interessante zusätzliche Kommunikationsmethode sein, die wir im Projekt ebenfalls untersuchen wollen. Aktuell nutzen wir hierzu Agora, um nicht selbst das Rad neu erfinden zu müssen. Ein Nachteil dieser testweisen Implementierung ist, dass die Lizenzbedingungen dieser kostenpflichtigen Lösung nicht mit dem Open-Source Ansatz von Figments.nrw kompatibel sind. Deshalb werden wir, basierend auf der modularen Grundstruktur unserer Anwendung, Möglichkeiten schaffen, eigene Module für Voice-/Video-Chat so einfach wie möglich in Figments.nrw zu integrieren.

Neben der technischen Implementation wurde auch das Einstellungsmenü ergänzt, damit der*die Nutzer*in nun die Möglichkeit hat, die gewünschten Geräteeinstellungen in VR zu tätigen. So kann der*die Nutzer*in in VR auswählen, welche Audio- oder Videogeräte verwendet werden sollen. Wie auch die anderen bisher implementierten Benutzeroberflächen arbeiten wir aber auch hier mit funktionalen Platzhaltern. Das Design wird zu einem späteren Zeitpunkt unter UX/UI Gesichtspunkten angepasst.

Lerninhalt: Kristallstrukturen

Darstellungs-Modus:

Die erste prototypische Lerneinheit befindet sich im Aufbau. Als Demonstrator wurde das Thema der Kristallstrukturen gewählt, da diese für viele Themengebiete, insbesondere aber für die Materialwissenschaft, wichtig sind. Ein Problem im Feld der Materialwissenschaften ist, dass zwar anschauliche Modelle aus Plastik existieren, diese jedoch teuer und zerbrechlich sind. Hierdurch ist ein Herumreichen der Modelle und ein haptisches Erfahren der Strukturen unmöglich. Durch die Visualisierung der Strukturen in VR, wollen wir diese Herausforderung adressieren. In der ersten Lerneinheit, die mit Figments.nrw umgesetzt wird, wird es möglich sein, Kristallstrukturen aus einzelnen Atomen zu erstellen, entsprechend unterschiedlicher Strukturen anzuordnen und zu visualisieren.

Avatare von ReadyPlayer.Me

Wie in Dev #01 geschildert, ist für die Immersion im virtuellen Raum auch die Gestaltung persönlicher Avatare relevant. In Figments.nrw werden wir daher Lehrenden und Lernenden ermöglichen, individualisierte Avatare zu verwenden. Exemplarisch wird aktuell ReadyPlayer.Me eingebunden, das es ermöglicht, eben solche Avatare zu erstellen, über eine API direkt in eigener Software einzubinden oder als GLTF herunterzuladen.

Der Implementation dieser Funktion sind wir in der letzten Woche näher gekommen. Wie in Dev #02 erläutert kann Figments.nrw sowohl am Desktop als auch mittels VR genutzt werden. Während die Integration von Avataren in letzterem bereits abgeschlossen ist, wird die Übertragung der Lösung auf Anwender, die über den Desktop auf die Software zugreifen, demnächst realisiert.

Table of Contents