Virtuelle Konferenz: Vorteile und Ideen für Audio Events (Teil 2/2)

Es sollte nun nach Teil 1 klar sein, dass Virtuelle Event Formate nicht nur ein tolles Beispiel dafür sind, um durch Nutzung von Virtual Reality dem Coronavirus die Stirn zu bieten. Denn aus Sicht meiner Tonwelt gibt es in diesem Bereich weitere spannende Anwendungen, die zeigen, wie virtuelle Audio Konferenzen noch mehr Möglichkeiten bieten kann als die Realität.

Hörzonen vom Auto in VR

Eigentlich sind Hörzonen im Automotive Audio Bereich schon lange ein Begriff. Hier habe ich bereits beleuchtet, wie in Zukunft die Mitfahrer unterschiedliche Hörerlebnisse zur gleichen Zeit und im gleichen Raum erleben könnten. Und zwar ohne, dass für alle eine Kakophonie an Klängen entsteht. Wer hätte also gedacht, dass dieses Prinzip nun in der virtuellen Realität zuerst Anklang findet?

Wie im Auto, nur besser

Bei Laval Virtual 2020 wurde mit dem virtual event tool “virBELA” bereits eine Hörzonen-Variante umgesetzt. Es gab verschiedene Bereiche, die man betreten konnte und in denen eigene, akustische Gesetze galten. Denn nur, wer sich ebenfalls in dem Bereich befand, konnte hören, was im Raum gesagt wurde. Selbst wenn man unweit vor der Tür stand – wo man in Echt alles mithören könnte – verstand man hier kein Wort. Man konnte lediglich die VR Avatare in diesem Bereich sehen. Ein interessantes Konzept, das in der Realität nicht so einfach umzusetzen ist.

Hier werden die Vorteile von VR ausgespielt

Auf einer öffentlichen Konferenz ein Gespräch unter vier Augen zu führen kann schon schwierig werden. Dafür müssen genug Rückzugsräume vor Ort gegeben sein. Doch bei Social VR Spaces kann man sich einfach schnell in eine der Hörzonen teleportieren und ungestört weiter reden – praktisch.

Vorträge mit Sitznachbar kommentieren

Ich weiß ja nicht, ob es nur mir so geht. Aber wenn ich in einem Vortrag sitze, habe ich oft das Bedürfnis, mit der/dem Sitznachbarin/in direkt über die neuen Informationen zu diskutieren. In der Realität muss man sich das jedoch verkneifen, um den Sprecher sowie alle anderen Anwesenden nicht zu stören. Virtuelle Audio Konferenzen und das Konzept der Hörzonen könnten auch hier eine gute Lösung sein.

Der Kommentator in mir

In VR-Events wäre es also möglich, in Echtzeit Kommentator zu “spielen”. Ich habe nichts gegen Frontal-Vorträge und will jetzt auch nicht behaupten, meine Vorträge wären überdurchschnittlich unterhaltsam. Aber so hätte das Ganze für mich einen interaktiveren Charakter. Ich liebe es, bei Quizshows mitzuraten oder bei Fußballspielen mehr oder weniger qualifizierte Kommentare auf Twitter mit meinen Freunden zu teilen.

Das kann peinlich werden

Aktuell ist es allerdings noch relativ schwierig, herauszufinden, welche Avatare einen im virtuellen Raum überhaupt hören können. Flüstert man im Publikum bei einem echten Vortrag, stehen die Chancen gut, dass das sonst niemand hört. In VR kann es aber gut sein, dass der ganze Saal davon mitbekommt – Hoppla! Gerade fährt man also noch besser, wenn man, wie gehabt, still dasitzt und sich seine Fragen für das Ende aufhebt. Mit der richtigen VR-Event Software ist aber mehr möglich.

Vorträge mit 3D Audio Demos

Ich halte gerne Workshops und Vorträge, doch eines ist für mich als Sounddesigner besonders schwierig: Hörbeispiele auch direkt vorzuspielen. Leider ist aber besonders das Thema “immersives Audio” erst dann gut verständlich, wenn man es mal gehört hat. Doch die Gegebenheiten mit nur einfachen Lautsprechern und lärmender Atmosphäre sind auf normalen VR-Konferenzen meist nicht optimal – virtuelle Audio Konferenzen sind die Lösung!

Wenn man Premium gewohnt ist

Bei Veranstaltungen der AES (Audio Engineering Society) oder Tonmeistertagungen hat man oft den Luxus, erstklassige Wiedergabesysteme in jedem Vortragsraum zu haben. Dort gibt es Lautsprecher-Arrays etwa mit 7.1.4, Auro 3D, Dolby Atmos oder dutzende Kopfhörer für das gesamte Publikum.

Mit virtuellen Event Plattformen wird es nun jedoch für mich sehr einfach, 3D Audio greifbar zu machen. Denn Kopfhörer hat wohl jeder zuhause. Man bräuchte also nur eine Möglichkeit, ein Stereo-Signal über den Livestream zu schicken. Und schon können die Zuhörer binaurale Demos genießen, ohne physisch vor Ort sein zu müssen.

Klingt gut? Da geht noch mehr!

Im nächsten Schritt wäre es sogar möglich in Kombination mit VR-Brille und Headtracking zu arbeiten. Sprich, man würde nicht nur ein generisches Beispiel zeigen, sondern jeder könnte selbst das Gefühl von “der Ton dreht sich um mich” nachempfinden. Dies gelingt, indem man etwa mehrkanalige Surroundformate oder objektbasiertes Audio nutzt. Kurzum: Ich habe das Gefühl, virtuelle Audio Konferenzen, in Form von 3D-Audio-Demos, könnte durch VR-Event Plattformen umso mehr boomen!

Fun stuff, den man nicht in Echt tun würde

Nachdem LinkedIn ja eher die professionelle Social Media Plattform ist, möchte ich die Albernheiten, die man sonst noch so machen kann, lieber auf meiner Homepage zeigen. Die Liste lässt sich bestimmt beliebig fortführen. Wenn hier also noch jemand ähnliche Erfahrungen gemacht hat, teilt sie doch gerne mit mir!

Sich komisch bewegen – ohne, dass man möchte

Teils ist die noch junge Technik schuld, teils man selbst. Als ich mich z.B. einmal ganz normal auf einen virtuellen Stuhl gesetzt habe, sind meine Arme für die Beisitzenden grundlos in die Höhe gegangen. Für mich sah alles normal aus. Für die Beteiligten jedoch so, als würde ich gerade versuchen, im Sitzen “Thriller” zu tanzen. Vermutlich lag das in diesem Fall daran, dass ich mit der Oculus Quest die VR-Anwendung genutzt habe, während andere Leute mit einer Desktop-Applikation anwesend waren.

Das Tracking steckt ebenfalls noch in den Kinderschuhen. Dabei ist die Entwicklung der Technologie rapide. Meist wird aber nur die Handbewegung nachempfunden, und der Computer interpoliert, was die Arme wohl machen würden. Auch wenn man sich in echt normal bewegt, kann es somit sein, dass die Arme kreuz und quer durch die Gegend flattern.

Dialoge in VR verlaufen… anders

Wahrscheinlich agiert hier der Ton-Nerd in mir, aber in VR laufen Gespräche anders ab als in der Realität. In VR schaue ich meine GesprächspartnerIn selten an, höre aber umso mehr zu. Oft drehe ich meinen Kopf weg, um zu hören, wie sich die Schallquelle lokalisieren lässt. Außerdem neige ich dazu, mich hin und her zu teleportieren, um überall den Ton klanglich zu beurteilen. Wie weit kann ich mich entfernen und trotzdem noch verstehen, was gesagt wird?

Das Interessante ist, dass es nicht nur mir so geht. Man muss sich also wohl daran gewöhnen, dass man mit Leuten redet, und diese einem zwar zuhören aber währenddessen komische Sachen machen.

Spatial Audio hilft dabei, dass sich Leute weniger wegdrehen, wie ich bei meiner Heatmap Fallstudie herausfinden konnte. Doch in VR ist sowohl der Augenkontakt von Bedeutung als auch die Lippenbewegungen. Dafür fehlt aber in den meisten Fällen noch das Eye-Tracking bzw. eine Umsetzung der Mundbewegung in Abhängigkeit des Tons. Oft haben Avatare in VR deswegen eine Sonnenbrille auf oder ein Headset vor dem Mund. So bewegt man sich nicht im “uncanny valley”, also der Akzeptanzlücke, bei der wir virtuelle Gesprächspartner als angenehm oder störend empfinden würden.
Die ViveProEye scheint schon als Plug’n’Play zu funktionieren, die Technologie muss sich aber noch beim Konsumenten etablieren.

Aktuell gibt es aber schon Anbieter wie High Fidelity, Sansar, NEOS und Sinespace, die automatische Animationen implementiert haben. So werden beim Reden das Gesicht das Avatars in Echtzeit der Mund und auch die Augen bewegt. Der Mund bewegt sich anhand der Wellenform und die Augen werden automatisch auf den anderen Sprecher geführt.
Bei manchen SocialVR Anbietern funktioniert dass so gut, wie mir eine liebe Expertin schilderte:

„Es kam vor, dass ich Leuten schon meine halbe Lebensgeschichte erzählt habe und begeistert war, was für gute Zuhörer sie doch sind. Der Augenkontakt, das Nicken, aber kein dazwischen Reden, das alles war da. Nur, um dann später zu hören „Hey ich bin wieder da. Sorry, ich war kurz weg. Hast du was gesagt?“

Man sieht, bzw. hört also: Virtuelle Events sind auch aus Ton-Sicht wahnsinnig komplex und bieten viele Möglichkeiten, dieses boomende Terrain zu nutzen. Gerne helfe ich dabei das volle Potential für virtuelles Audio Konferenzen zu entfalten.