Treibstoff für das virtuelle Event: Räumlicher Ton (Teil 1/2)

Das Coronavirus betrifft aktuell jeden in irgendeiner Art und Weise. Das Spannende daran ist, wie unterschiedlich das Ausmaß sein kann: In die VR Szene ist dadurch mehr Bewegung hereingekommen, und es gibt Anwendungen, die vom Lockdown um Covid-19 tatsächlich profitieren. Wie etwa das virtuelle Event.

Auch wenn ich als Berater schon einige VR-Plattformen unter die Lupe nehmen konnte, sollen die Anbieter selber heute nicht das Thema sein. Vielmehr geht es mir darum, zu zeigen, welches versteckte Potential immersives Audio solchen “virtual Events” verleihen kann und wo es noch an Lösungen bedarf.

Houston, könnt ihr mich hören?

Schon mal aufgefallen: ein Skype oder Zoom Meeting beginnt meist nicht mit einem “Hallo”. Stattdessen begrüßt man sich eher mit einem: “Kann man mich hören?!”. Dieses Phänomen ist in VR ähnlich, nur um einiges komplexer: Dadurch, dass man sich in einem virtuellen Raum aufhält, muss beim Ton auch räumlich gedacht werden.

Physische Distanz Parameter

Bei Veranstaltungen in der Realität reichen einige Meter Entfernung aus, um sicherzugehen, dass niemand ungewollt mithört. Ein großer Faktor, der dabei hilft, das Gefühl für Präsenz zu vermitteln, sind Hallräume. Man stelle sich ein Treppenhaus vor, in dem man gerade eine Unterhaltung führt. In der Realität hallen die eigene Stimme und die des Gesprächspartners durch sämtliche Stockwerke. Dadurch weiß unser Gehirn direkt, wie laut wir sprechen müssen und wer uns wahrscheinlich hören kann.

Sprache mit virtuellem Hall

In der Realität hören wir unsere Stimme also zweimal. Ein Teil wird durch den Raum abgegeben, reflektiert und von unserem Ohr wahrgenommen. Und ein Teil wird direkt vom Sprachorgan ohne Umwege als Knochenschall übertragen. Das führt übrigens auch dazu, dass die eigene Stimme auf Aufnahmen für uns so ungewohnt klingt – wir hören uns eben anders.

In VR fällt jedoch der erste Punkt weg, da die Stimme nicht im Raum reflektiert wird. Es ist jedoch möglich, diese Funktion zu implementieren, was allerdings durchaus rechenintensiv ist und etwa bei Games recht komplex umgesetzt wird.

Sounddesign schafft mehr als nur Präsenz

Nun wurden schon die Themen “Lokalisation”, “Distanz” und “Präsenz” angesprochen. Aber gerade beim letzten Punkt fehlt noch ein entscheidender Faktor: Die Aufbereitung durch Sounddesign.

Atmosphärischer Sound als Grundlage

Selbst wenn sich unsere Stimme – wie oben beschrieben – im virtuellen Raum durch Hall-Parameter realistisch ausbreiten kann, so denkt unser Gehirn immer noch, wir seien in einem leeren, abstrakten Raum. Hören wir Hall auf unserer Stimme, wissen wir immer noch nicht so recht, ob wir uns etwa in einem Bahnhof, Konzertsaal oder Restaurant befinden. Erst wenn wir eine Grund Atmosphäre hören, wie etwa klirrendes Besteck, kann unser Gehirn den Ort korrekt einordnen.

Die Herausforderung ist somit Folgende: Guter Ton darf nicht fehlen aber auch nicht auffallen. Einige Plattformen für das virtuelle Event nutzen Audio-Objekte, um etwa Vogelgezwitscher (draußen) oder Raumtöne (innen) zu erzeugen. Das ist aber nicht die optimalste Herangehensweise, da der Ton somit gut lokalisierbar ist und unnötige Aufmerksamkeit erzeugt. Mehrkanalige Audio Formate bieten hierfür bessere Möglichkeiten, um solchen Räumen Leben einzuhauchen.

Interaktive UX Sounds und Audio Objekte

Kommen wir noch kurz zu den “Hard Sound Effects”, also Tönen die bei Interaktionen ausgelöst werden. Ein gutes Beispiel hierfür sind Schritte, denn das sind fast die einzigen Geräusche, die wir von uns geben, wenn wir uns bewegen. Wird dies akustisch in VR nicht umgesetzt, kann es schnell passieren, dass eine Person plötzlich und unerwartet neben einem steht, da man nicht hören konnte wie sie sich angenähert hat. In der Realität nehmen wir andere Menschen meist unbewusst wahr. Wenn sie hinter uns stehen, können wir sie zwar nicht sehen, aber hören. Damit erschrecken wir auch nur, wenn sich jemand anschleicht – die Ohren haben einfach nicht vorwarnen können.

Sprachverständlichkeit geht über Sprachqualität

Sprache ist ein wichtiges Medium zur Kommunikation bei Virtual Event Plattformen. Trotzdem klingen die Stimmen der Gesprächspartner meist etwas wie “über das gute alte Telefon”. Der Grund hierfür ist Datenreduktion. Hörversuche und psychoakustische Analysen haben ergeben, dass wir nicht alle Frequenzen hören müssen, um Sprachinhalt interpretieren zu können. Bei Social-VR bedeutet dies, dass alle Stimmen eher elektronisch und blechern klingen. Der Toningenieur würde auch von einem “Bit-Crusher Effekt” sprechen. Letztendlich wird nämlich genau das gemacht: die Bitrate zerkleinert.

Die Hardware ist nicht das Problem

Dabei klingen die eingebauten Mikrofone von VR-Brillen wie der “Oculus Quest” oder “Oculus Go” gar nicht so schlecht. Doch die Priorität liegt auf der Audio-Übertragung in Echtzeit – damit müssen die Datenpakete möglichst klein gehalten werden, um weiterhin verständlich und lückenlos übertragen zu werden.

Aktuell werden aber bereits die ersten Audio-Codecs speziell für Virtual Event Software entwickelt. So kann man auf der Plattform des Anbieters “High Fidelity” auch bei vielen Menschen in einem Raum nur über das Gehör seine Freunde finden. “TivoliCloud-VR” hat den Codec bereits lizenziert. Hier passiert momentan im Backend der Tools also einiges.

Es gibt keine Herausforderungen, wenn man sie vermeiden kann

Dabei aber bitte unbedingt eine Audio-Etikette beachten: Jeder beteiligte sollte unbedingt Kopfhörer tragen, damit möglichst kein Übersprechen der Audiowiedergabe auf das eigene Mikrofon stattfindet! Wenn der Ton nämlich über Lautsprecher ausgegeben wird, geht er direkt wieder ins Mikro. Damit hören sich Gesprächspartner mit leichtem Zeitversatz und eine recht unangenehme Rückkopplung entsteht. Man kennt es aus der virtuellen Telefonier mit Skype oder Zoom. Das Ganze ist technisch mit Noise Reduction lösbar, aber am besten diese Hürde gar nicht erst entstehen lassen. 😉