Interaktives VR-Erlebnis für Taube und Hörende – Eddie and I

Am Anfang steht eine einfache Frage. Wie können Menschen sich verstehen, wenn Worte nicht reichen? Genau hier setzt Eddie and I, ein interaktives VR-Erlebnis, an. Die Bühne: ein nächtlicher Wald. Die Hauptfigur: Ron, acht Jahre alt und taub. Der Nutzer übernimmt Eddie. Ein freundliches Monster. Ein Begleiter und Helfer. Zusammen entsteht Nähe. Nicht nur über Ton. Sondern über Hände, Blick und Raum.

Eddie and I ist ein interaktives VR-Erlebnis das speziell für Taube gedacht ist. Gleichzeitig führt der Ton sanft durch die Szenen. Für alle, die ihn hören können. Eigens komponierte Musik trägt die Dramaturgie. Sie erklärt nichts sondern stützt Momente. Außerdem öffnet sie Raum für Gefühl. Zudem macht Handtracking Lernen aktiv. Gesten werden verstanden. Reaktionen kommen sofort. So entsteht ein Kreislauf aus Aktion und Feedback.

Haltung und Ausgangspunkt

Ich arbeite gern dort, wo Technik Menschen zusammenbringt. Nicht als Gimmick. Sondern als Brücke. Dieses Projekt setzt genau da an. Es ist ein interaktives VR-Erlebnis, das Taube ins Zentrum stellt und Hörende mitnimmt. Das Ziel ist klar: Empathie erlebbar machen. Nicht durch Erklärtexte. Sondern durch Handlung.

Die Experience heißt „Eddie and I“. Regie führt Maya Shekel von Moosh Studio. Koproduktion mit Reynard Films und Studio Geppetto. Ein interaktives VR-Erlebnis das rund 25 Minuten dauert.

Es nutzt Handtracking, um Gebärdensprache spielerisch zu lehren und Kommunikationslücken zu schließen. Der Auslöser ist persönlich: Inspiration war Mayas Nichte, die taub geboren wurde.

Klassisches Lernen über YouTube bleibt passiv. Es gibt kaum Feedback. Nichts reagiert in Echtzeit. In diesem interaktiven VR-Erlebnis wird die Hand zum Werkzeug. Jede Geste bekommt Antwort. So entsteht Lernen durch Tun.

Technologie muss Haltung zeigen. Hier tut sie es. Die Story ist einfach. Ein Junge namens Ron. Acht Jahre alt. Taub. Die Nacht vor dem ersten Campingtrip. Angst mischt sich mit Neugier. Seine Mutter erzählt von Eddie. Ein freundliches Monster, das Kindern im Traum Mut macht. Doch die Geschichte reicht nicht. Ron schläft ein. Wacht in einem magischen Wald auf. Ab hier verkörpert der Nutzer Eddie. Er begleitet Ron und er lernt mit ihm. Dabei baut er Vertrauen auf.

Für wen Eddie and I, ein interaktives VR Erlebnis, gemacht ist

Die Experience ist vor allem spannend, weil sie speziell für Taube gedacht ist. Handtracking der VR-Brillen ist der Kern. Hände sind Sprache und auch Interface.

Gleichzeitig bleibt der Ton ein sanfter Wegweiser. Die Musik folgt der Dramaturgie. Sie legt eine Route. Aber sie drängt sich nicht vor. So fühlen sich Hörende geführt, ohne dass Taube ausgeschlossen werden.

Somit ist Eddie and I ein interaktives VR-Erlebnis, dass inklusiv ist. Studien zeigen einen Bedarf. Rund 70 Prozent der Hörenden haben noch nie mit einer tauben Person gesprochen. Viele sind unsicher. Dieses Format senkt die Hürde. Es schafft einen sicheren Raum. Es lädt zum Ausprobieren ein. Ohne Scham. Ohne Prüfungsdruck.

Zielgruppen sind Schulen, Familien, Bildungsorte, Museen und alle, die Inklusion ernst nehmen. Die Struktur ist klar. Kurze Kapitel. Verständliche Aufgaben. Sofortiges Feedback. Aber auch Barrierearmut. Große Icons. Klare Kontraste. Kurze Hinweise. Sprache des Interfaces sind aktuell Englisch und Deutsch. So bleibt der Einstieg niedrigschwellig.

Eddie and I ist also ein interaktives VR-Erlebnis, das sich für Workshops, den Unterricht und Events eignet. Vorneweg ein kurzes Warm-up zu Basics der Gebärden. Danach das Eintauchen. Und am Ende ein Gespräch. Was hat funktioniert? Wo half Stille? Welche Geste fühlte sich stark an? So wird aus einer Demo echte Begegnung.

Die Reise in der Virtual Reality

Das interaktive VR-Erlebnis beginnt ruhig. Ankommen. Atmen. Orientieren. Dann kleine Aufgaben. Ein Lagerfeuer bauen. Sterne anschauen. Steine springen lassen. Selbst fleischfressende Pflanzen überwinden. Alles greifbar. Alles per Handtracking.

Im Vergleich zu klassischen Controllern ermöglicht Hand Tracking eine natürlichere und intuitivere Interaktion mit der virtuellen Welt. Die Entscheidung für Handtracking statt Controller wurde getroffen, um die Immersion und Tiefe des Erlebnisses zu steigern und die Möglichkeit zu bieten, direkt mit den eigenen Händen zu agieren.

Die 3D-Darstellung der Hände und deren präzise Position im virtuellen Raum sorgen dafür, dass Nutzer virtuelle Objekte greifen, bewegen und manipulieren können. Verschiedene Aktionen wie help, try oder look werden durch spezifische Gesten ausgelöst.

Die Erfassung der Handbewegungen erfolgt durch Sensoren und Kameras , die in den eingesetzten Geräten integriert sind. Dies eröffnet vielfältige Möglichkeiten der Interaktion und steigert die Immersion. An bestimmten Stellen im Spiel werden besondere Herausforderungen oder Interaktionen geboten, die die Aufmerksamkeit und das Geschick der Nutzer fordern.

Ron antwortet durch Blick, Mimik und Bewegung. So lernt der Nutzer die Zeichen im Kontext. Kein Vokabelheft. Sondern Beziehung.

In einem Kapitel herrscht völlige Stille. Das ist bewusst so. Beide Figuren müssen ohne Ton klarkommen. Genau hier zeigt das interaktive VR-Erlebnis seine Stärke.

Es macht Kommunikation körperlich. Es zwingt zu Aufmerksamkeit. Kein Button-Mashing. Kein Menü-Dschungel. Stattdessen: Nähe, Raum, Timing. Die Dauer von etwa 25 Minuten ist straff. Online-tauglich. Festival-tauglich. Unterrichts-tauglich. Das Pacing bleibt zügig. Pausen sind gesetzt. Erfolgserlebnisse kommen schnell. Fehler sind erlaubt. Feedback bleibt freundlich.

Wer hört, folgt Musik und Klang. Das ist die dramaturgische Klammer. Die Rolle des Sounddesigns und der kreative Einsatz von 3D-Audio sorgen für eine dichte Atmosphäre und unterstützen die Orientierung im Raum. Und das ist die Botschaft: Wir können uns verstehen. Auch ohne Worte.

Wie es mit Handtracking gebaut ist

Interaktives Audio ist anspruchsvoll. Man liefert nicht ein Stück Musik und geht. Man liefert viele Assets und verschiedene Elemente. Loops, die tragen. One-Shots, die Ereignisse setzen. Parameter, die fließen. Zustände, die sauber wechseln. Der gezielte Einsatz von 3D-Audio und Sounddesign sorgt für eine immersive Tiefe und unterstützt die räumliche Orientierung im Spiel.

Ich habe in Unity gearbeitet, weil das Projekt dort aufgesetzt war. FMOD wurde angebunden, um die Interaktionen präzise zu steuern. Gesten triggern One-Shots und lösen Aktionen aus. Parameter modulieren Intensität, Tempo und Layering.

Die Ambience des Waldes wurde in 7.1.4 gestaltet. Also mit vier Höhenkanälen. Das erzeugt echtes Dach über dem Kopf. Blätter und Insekten bewegen sich hörbar um einen herum. Der Raum wirkt real und vermittelt eine besondere Tiefe.

Die Lokalisation bleibt stabil. Für mich ist das ein Qualitätsprung gegenüber Ambisonics mit HRTF. Vor allem in der Höhenabbildung. Weniger Kammfilter. Mehr Präzision. So führt Klang, ohne dominant zu sein.

Das interaktive VR-Erlebnis nutzt dies als leise Navigation. Ein Knacken links vorn. Oder ein Zirpen hinten und dann ein Lufthauch oben. Der Nutzer merkt intuitiv, wo es weitergeht. Gleichzeitig bleibt die Experience robust. Drop-outs werden vermieden. Übergänge sind crossfaded. Loops sind nahtlos. Systemlast ist im Blick.

Handtracking liefert stabile Pose-Erkennung und ermöglicht die präzise Erfassung der Handbewegungen durch Sensoren und Kamera. Die Bewertung der Tracking-Methoden zeigt eine hohe Zuverlässigkeit und Genauigkeit bei der Bestimmung der Position der Hände im virtuellen Raum.

Die 3D-Darstellung der Hände erlaubt es, mit den Händen virtuelle Objekten zu greifen, zu erkennen und zu manipulieren, wodurch verschiedene Aktionen ausgelöst werden können. Unterschiedliche Geräte und VR-Geräten wie Headsets und spezielle Handtracking-Gerät werden unterstützt, was die Möglichkeit eröffnet, auf verschiedenen Plattformen wie Oculus Quest oder Steam zu interagieren.

Die Integration von Hand Tracking in das System wurde von den Entwicklern mit viel Arbeit umgesetzt, wobei sie verschiedene Elemente wie Audio, Haptik und visuelles Feedback kombiniert haben. Bestimmte Stellen und einzelne Stellen im Code und Design stellten dabei besondere Herausforderungen dar, um eine nahtlose und immersive Nutzererfahrung zu gewährleisten.

Wer daran mitarbeitet

„Eddie and I“ ist Teamarbeit über mehrere Länder. Creative Lead ist Maya Shekel, Gründerin von Moosh Studio in Tel Aviv und New York. Partner sind Reynard Films und Studio Geppetto. Studio Geppetto verantwortet das Environment-Design.

Genutzt wurde ein Quill-Workflow in VR. So entstand eine Skizzenbuch-Ästhetik, die zu Rons Fantasie passt. Charakterdesign kam von James A. Castillo.

Moosh Studio verantwortete Story und Art Direction: Story Lead Nitay Dagan, Art Direction Maor Sharvit. Animation leitete Liron Topaz. Die Entwicklung arbeitete mit ASL-Interpreten und tauben Beratern.

Unterstützt wurde das Projekt von Medienboard, FFF Bayern, CNC, AOR Film Foundation, Gisher Film Foundation, La Ville de Paris, Meta und Unity for Humanity. 2023 gewann das Team beim NewImages XR Development Market. Es folgten Einladungen zum Tribeca Creators Market und zum Biennale Gap Financing Market. Die Premiere findet 2025 in der Venice Immersive Competition statt. Das Projekt ist kein Tech-Showcase. Es ist ein Angebot zur Verbindung. Genau das soll das Publikum spüren.

Wo Audio Games wirken und was als Nächstes kommt

Einsatzorte sind vielfältig. Schulen. Museen. Bibliotheken. Medienzentren. Festivals. Auch zu Hause ist ein interaktives VR-Erlebnis sinnvoll.

Ein Workshop-Ablauf ist schnell gebaut. Kurzes Warm-up zu Gebärden. Dann die Experience. Danach Gesprächsimpulse. Was hat überrascht? Wie hat sich Stille angefühlt? Welche Geste bleibt hängen? So wird aus Unterhaltung eine Lernerfahrung. Und aus Lernerfahrung Empathie.

Nächste Schritte sind klar. Handtracking weiter schärfen. Vor allem Übergänge zwischen Posen. Ambience modularisieren. Mehr Mikro-Loops. Feinere Zustände. Sanftere Crossfades. Weitere Sprache prüfen. Untertitel als barrierearme Zusatzoption.

Alles ohne die Kernidee zu verlieren. Eddie and I ist in erster Linie für Taube gedacht. Es bleibt leise, wenn Leise richtig ist und nutzt Musik, wenn Musik trägt. Auch führt es, ohne zu dominieren. Und es zeigt, dass Verbindung möglich ist. Auch ohne gemeinsame Lautsprache.

Wenn du Ideed zu ähnlichen Projekten hast, kannst du gerne mit mir in Kontakt treten. Ich freue mich auf deine Rückmeldung.