Wie klingt das Audio Metaverse?

Dieser Artikel soll die Möglichkeiten zeigen, die räumlicher Sound im Audio Metaverse haben wird. Darum geht es hier auch um die User Experience, Kommunikation, Konzerte im Metaverse und Audio Branding. Der Text basiert auf meinen kleinen Vortrag zum Audio Metaverse. Ich möchte aber noch ein paar Dinge ergänzen. Außerdem will ich gerade auch nicht-deutschsprachigen Menschen die Möglichkeit geben, das Potential zu verstehen.

Um ehrlich zu sein, habe ich den ganzen Hype um das Wort Metaverse ein wenig satt. Und jetzt führt es zu einem regelrechten Bashing auf Meta, warum es nicht so erfolgreich ist und Zuckerberg Milliarden verliert. Aber für mich ist es eine Tatsache, dass er eine unglaubliche Technologie entwickelt, die in Zukunft ein Teil unseres Lebens sein wird. Und räumliches 3D-Audio wird definitiv ein Teil davon sein.

UX / UI im Audio Bereich

Ich sage ja immer ganz gerne: Bei immersiven Medien wie VR können wir Dinge gerne übersehen, aber nicht überhört werden. Denn auch in Echt gilt: Man kann nicht sehen, was hinter einem ist, aber man kann es hören. Allein dieser Faktor sollte einem wirklich zu denken geben, wenn man mit immersiven Medien arbeitet.

Wie kann ich denn meine UI/ meine UX besser gestalten, ohne Pfeile in meine VR Welt rein malen zu müssen oder andere kuriose Ideen? Ich sehe immer wieder Experiences, die ihre schön gestaltete 3D Umgebung mit solchen Grafiken wieder kaputt machen. Wie gut also, dass man durch den Ton intuitiv die Leute durch eine Erfahrung lenken kann.

Apple, Head-Tracking

Das ist eine der vielen Sachen, die man mit 3D Audio machen kann und es ist tatsächlich mit ganz normalen Kopfhörern zugänglich. Trotz des Marketings der Hersteller, die versuchen, Ihnen ein neues Paar Ohrhörer zu verkaufen. Binaurales 3D-Audio ist über normale Stereokopfhörer möglich. Aber es gibt eine neue Entwicklung in der Klangtechnologie, die als dynamisches Head-Tracking bezeichnet wird. Lesen Sie mehr über diese Technologie hier.

Bei Apple passieren gerade im Hintergrund viele Sachen, die wohl die Grundlage für ihre XR Geräte legen. Wann dieses Device kommt, wird gefühlt jedes Jahr um ein Jahr verschoben. Dennoch wird auch hier Wert auf Sound gelegt. Denn Apple arbeitet auch an seiner eigenen Spatial Audio Technologie. Inwieweit das Metaverse Audio von Apple genutzt wird, sei mal dahingestellt.

Fakt ist, dass Apple mit seinen Kopfhörern, den Airpods, noch einen Schritt weiter geht. Ihr Spatial Audio hat nämlich dynamisches Head Tracking integriert. Das ist genau das, was wir in VR bereits haben. Dass auch wirklich live der Sound zur Blickrichtung angepasst wird. Damit kann man eben maßgeblich die User Experience verbessern. Vor allem Augmented Reality Anwendungen kommen für die Apple Kopfhörer in Frage.

Warum wissen nur wenige Leute was über das Head Tracking?

Es wird jetzt schon aktiv damit geworben. Apple nennt es in England „Spatial Audio“ und in Deutschland nennen sie es „3D Audio“. Was lustig ist, scheinbar mögen die Deutschen eben mehr Zahlen, Daten und Fakten. Aber es sieht so aus, als ob die Durchschnittsverbraucher diese aufkommende Audiotechnologie nicht wirklich kennen. Wohl weil sie nicht wissen, was sie sich überhaupt anhören können?

Denn die Frage ist, was gibt es denn für 3D Audio Inhalte für Head-Tracking? Sie können Dolby Atmos Musik hören, wo die Musik irgendwie räumlich um einen herum passiert. Oder Filme damit schauen, was damit schon etwas mehr Spaß macht. Wer wissen möchte, was es sonst noch für Beispiele für 3D Audio Content über Musik und Filme hinaus gibt, wird hier fündig: Spatial Audio. Als Audioproduzent wurde mir klar, dass ich die Art und Weise, wie Audioinhalte mit dieser neuen Freiheit erlebt werden, neu überdenken muss. Aka 3DoF (drei Freiheitsgrade), die Drehung um die X-, Y- und Z-Achse.

So konnte ich schon spannende Anwendungsfälle ausfindig machen. Ich glaube, Apple weiß selber noch nicht so genau, was sie mit der Technologie machen wollen. Aber sie bauen es mal ein, dann können sie aus der Software Perspektive behaupten, dass sie etwas Neues kreiert haben. Und wenn die Inhalte soweit sind, können sie einfach per Update freigeschaltet werden.

Genau wie sie es kürzlich mit ihrem Personalisiertem 3D Audio Raumklang getan haben. Allerdings gibt dies nicht wirklich einen Mehrwert. Das ist auch der Punkt, was ich den Leuten vermitteln möchte! Die Technik ist nicht nur cool und macht Spaß, sondern sie kann auch wirklich Probleme lösen.

Der Mehrwert von 3D Audio ist nicht Dolby Atmos

Dolby Atmos ist euch wahrscheinlich auch ein Begriff? Das macht im Kino schon sehr viel Spaß, wenn man das Gefühl hat mitten im Film zu sitzen. Alle werben damit, dass es immersiver ist. Aber selbst ich frage mich, was das genau nun heißt? Der 3D Klang verleiht mehr Tiefe und es ist schon ein nettes Erlebnis, wenn z.B. der Flieger über einen drüber fliegt. Ich sehe allerdings den Mehrwert eigentlich an einer ganz anderen Stelle. Wenn wir uns anschauen, wie die aktuellen Zoom Calls funktionieren, stellen wir fest, dass sie recht monoton wirken.

In einer echten Gesprächsrunde sitzen die Leute ja auch nicht alle aufeinander. Genau das suggeriert uns aber der Ton von Videocalls wie Zoom, Teams und Co.

Sondern die Leute sind gefächert, sie bilden eine Gesprächssituation ab, wenn sie etwa an einem Tisch nebeneinander sitzen. Genau das baut gerade Apple in Facetime ein. Damit kann man jetzt schon durch den Ton wirklich hören kann, wo die Leute sitzen. Damit wird eine Gesprächsumgebung gestaltet, die wesentlich natürlicher für unser Gehirn ist. Das wird die Zoom-Müdigkeit lösen, die wir alle aus sämtlichen Calls kennen. Für unser Gehirn ist es also einfacher Informationen zu verarbeiten, wenn sie einen räumlichen Ton haben.

Metaverse Navigation

Und jetzt kann man natürlich den Schritt weitergehen und sich Fragen, was die Zukunft von Audio und Metaverse bringt. Bevor wir jetzt über die abgefahrenen Anwendungen wie künstlerische Konzerte reden, kommt hier ein praktisches Beispiel. Und zwar zur Navigation.

Es fühlt sich viel natürlicher an, wenn ich wirklich höre, dass etwa Leute im virtuellen Raum vor einem sind. Wenn man dann den Raum betritt, könnte man auch wirklich hören, was da so passiert. Es entsteht auf jeden Fall viel mehr das Gefühl von Präsenz, Stimmen um sich räumlich herum zu haben. Danach hat man auch wirklich den Eindruck, dass man auch mit Leuten gesprochen hat – nicht nur mit seinem Laptop.

Audio im Metaverse kann die Grenzen der Realität durchbrechen

Man kann noch einen Schritt weiter gehen. In solchen Social VR Welten kann man die physikalischen Hürden von Sound überwinden. Man baut sich dann eigene Hör-Zonen, wie man es in der Realität gar nicht machen könnte. Als User geht man rein und die Leute hören nicht, was drinnen passiert und man hört drinnen nicht, was draußen passiert. Damit hat man einen privaten Space – eine Art Sound Bubble. Es gibt noch viele weitere Mehrwerte von Audio im Metaverse. Hier mein Artikel über Kommunikation in virtuellen Welten.

Mehr als Unterhaltung mit Konzerten

Bei virtuellen Konzerten, vorausgesetzt man macht es richtig, ist das Wow – Gefühl vorhanden. Weil die Menschen Menge vorhanden ist, die etwa mitsingt, jubelt oder einfach präsent ist. Das ist ja genau das, was so ein Konzert ausmachen würde. Doch aktuell wirken die meisten Versuche in VR recht steril. Die meisten von ihnen verwenden lediglich Stereoton und tun so ein Konzerterlebnis zu sein. Aber mehr dazu, was ihnen in Sachen 3D Sound fehlt, später.

So kann man trotzdem noch den Sound ein bisschen weiterdenken. Und ich glaube, da wird das Potenzial von VR bewusst, dass wir nicht sagen, dass wir die Realität nachbauen. Weil der Ton in der Realität oft gar nicht so toll klingt, weil das Fenster zum Beispiel offen ist. Da ist noch wahnsinnig viel Potenzial.

3D Audio ist nicht gleich Metaverse

Manche haben wahrscheinlich die Nachricht gelesen, dass Jean-Michel Jarre „etwas in 3D-Audio“ produziert. Und schnell fällt der Begriff Metaverse in mehreren Beiträgen und Artikeln. Er sagte etwas Kluges über immersives Audio, aber es fiel in einem anderen Kontext.

„Für den Menschen ist das Gefühl der Immersion in erster Linie Audio, bevor es visuell ist. Das visuelle Feld umfasst 140 Grad. Das Audiofeld umfasst 360 Grad. Für die Entwicklung des Metaversums, die Entwicklung von XR und VR, ist der Klang also absolut entscheidend. Und ich glaube, dass Musiker in virtuellen Welten viel zu sagen und zu tun haben.“

Ersteinmal finde ich es toll, wenn Leute mit den neuen Möglichkeiten von spatialaudio experimentieren. Und er hat es richtig gesagt, dass man schon bei der Komposition an 3daudio denken sollte. Genau das habe ich schon vor Jahren in meinem Artikel über das gute und schlechte Dolby Atmos Music gesagt. Daher hier eine Übersicht, wieso seine Arbeit für das, was auch immer das Metaverse sein wird, nicht all zu relevant ist:

• Das Metaversum ist ein eher interaktives Format, aber seine Erfahrung ist einfach linear
• das Metaversum wird zumindest Head-Tracking für räumliches Audio erfordern, etwas, das #Dolby noch nicht mag
• das Metaversum hat 6 Freiheitsgrade, daher sollte sich der Sound der Bewegung im Raum anpassen, etwas, was die von ihm verwendeten Audioformate nicht einmal können.

Hier liegt also das Missverständnis, Jean-Michel hat nicht einmal behauptet, Pionierarbeit für das Metaversum geleistet zu haben. Er stellt fest, dass es viel Potenzial gibt, und ich muss ihm zustimmen. Alles, was er in dem Artikel sagt, ist „3D wird das neue Stereo sein“, also lassen Sie uns ein bisschen vorsichtig sein, um immersive Technologien zu trennen.

Man muss also sehr aufpassen. Nur weil 3D Audio irgendwo drauf steht, heißt es nicht, dass auch 3D Audio drin ist. Gerade auf anderen Plattformen wie dem Metaverse, gelten andere Gesetze für den Audio Inhalt. Ich habe buchstäblich mit Toningenieuren gesprochen, die denken, dass sie dabei helfen, das Metaverse aufzubauen – indem sie mit Dolby Atmos Music arbeiten. Aber so einfach ist das eben nicht.

Erscheint einleuchtend, aber wie klingt das dann? Dafür einfach mal die Demo von den Kollegen von Atmoky ausprobieren. Es ist kein Live-Konzert im eigentlichen Sinne. Aber es zeigt sehr schön, wie interactives 3D Audio mit 6 Freiheitsgraden klingt. Das alles im Browser, aber habe ich selten bei angeblichen „Metaverse-Konzerten“ gehört. Einfach mal ausprobieren: https://experience.atmoky.com/

Audiobranding im Metaverse

Es gibt eine Frage, die im Zusammenhang mit dem Metaverse viel zu selten gestellt wird: Ja, was machen die Leute da eigentlich? Was sehen sie und vor allem: was hören sie?

Ein Beispiel ist die Möglichkeit für Marken, ihre eigenen ikonischen Sounds zu kreieren, die sie dann den Nutzern zu Werbezwecken anbieten können. Ein klassisches Beispiel sind Werbejingles. Jeder kennt wohl das “Ba dab dab dab da” von McDonalds. Doch das ist sehr eindimensional gedacht, im Metaverse gibt es mehr Möglichkeiten mit Audio:

Es ist wahrscheinlich, dass wir in Zukunft noch mehr individuelle Branding-Optionen sehen werden. Etwa bei denen die Nutzer prominente Stimmen für ihre virtuellen Avatare freischalten können – für Geld. Auch Chatbots können mit realtime Text-To-Speech ausgestattet werden und geben einem viel mehr das Gefühl, mit einer Marke zu interagieren. Als nur mit einer künstlichen Intelligenz

Marken sind ein wesentlicher Bestandteil unseres täglichen Lebens, ob wir uns dessen bewusst sind oder nicht. Ob wir ihnen in den sozialen Medien oder in einer virtuellen Spielumgebung begegnen, Marken müssen in der Lage sein, auf natürliche und sinnvolle Weise mit den Verbrauchern in Kontakt zu treten. Im Idealfall sollten Marken Wege finden, sich nahtlos in die Interaktionsmomente einzubringen, um eine engere Beziehung zu ihren Kunden aufzubauen. Audio ist dabei der Schlüssel zum Wiedererkennungswert und um Emotionen zu erzeugen.

Die Leute müssen es erleben, um es zu verstehen! Erklären ist gut, doch erleben ist besser. Wer also das Audio Metaverse erleben will, schreibt mir einfach eine Mail!