Starte mit 3D Audio für XR – Content, Storytelling, Technologie

Content & Storytelling für XR (Extended Reality)

Dieser Blogbeitrag basiert auf dem Interview, das ich für XROM zum Thema XR-Audio gegeben habe und das hier zum Anschauen verfügbar ist:

Extended Reality ist der Oberbegriff für Virtual Reality (VR), Augmented Reality (AR) und Mixed Reality. Spatial Audio spielt in jedem dieser Bereiche eine ganz andere Rolle. Die Komplexität von 3D-Sound abzudecken, ist in einem einzigen Beitrag wahrscheinlich unmöglich. Aus diesem Grund habe ich bereits mehrere Artikel dazu geschrieben. Wie auch immer, hier ist ein Überblick, der dir hoffentlich hilft!

Was ist das Schöne an Spatial Audio und Storytelling?

Ich werde versuchen zu erklären, warum das so spannend ist. Wir haben bereits Mono (0 Dimensionen), Stereo (1D) und Surround (2D). Jetzt hat man die Möglichkeit, den Ton von oben und unten abzuspielen, wie man es vielleicht schon aus dem Kino kennt. Denn es gibt nicht nur Lautsprecher vorne und hinten. Heutzutage hängen die Lautsprecher sogar von der Decke. Hier hast du wahrscheinlich schon einmal den Begriff Dolby Atmos gehört.

Aber was ist der Vorteil? Endlich haben wir die Möglichkeit, Klang so zu erleben, wie wir es gewohnt sind. Du wirst feststellen, dass Klang immer dreidimensional ist. Egal wo du dich befindest oder was du tust. Ein Beispiel: Wir sind daran gewöhnt, wie es sich anhört, wenn ein Auto von hinten nach vorne vorbeifährt. Wie es klingt, wenn jemand an die Tür klopft, und das fühlt sich sehr natürlich an.

Erfahre mehr über den filmischen Aspekt von Sound. Oder wie manche Leute zu sagen pflegen:

„Es ist, als wäre man mittendrin, nicht nur dabei.“

Mit all den neuen Algorithmen und Mikrofontechnologien können wir jetzt dieses natürliche Gefühl auch bei solchen Medien haben. Das ermöglicht es uns, mehr als je zuvor in das Geschehen einzutauchen, weil alles so klingt, wie wir es erwarten würden. Unser Gehirn muss also nicht dekodieren, woher die Klänge kommen. Bei räumlichem 3D-Audio vergessen wir schließlich die Technik. Und das ist der Punkt, an dem die Immersion einsetzt.

Welche Art von Arbeit kann man mit Sound in XR machen?

Eines meiner Projekte war für die Europäische Kommission. Die haben Fonds, welche Menschen weltweit helfen. Wir waren in verschiedenen Flüchtlingslagern, z.B. in Kenia oder Bangladesch, um in 360° ihren Alltag zu filmen. Was die Menschen dort tun, wie die Versorgung mit Lebensmitteln aussieht und wie die Bildung abläuft.

Ich mag die Perspektive von 360°-Videos sehr, da man sich wie ein Besucher fühlt. Das schränkt die Interaktion ein und lässt einen hilflos fühlen. Das macht 360°-Videos sehr sinnvoll, weil sie die Emotionen der Menschen wecken, aber auf eine objektive Art. Abgesehen davon bin ich immer noch ein großer Fan von 360°-Videos, denn wenn es richtig gemacht wird, machen sie so viel Spaß und sind für neue Nutzer einfach zu bedienen.

Um auf die Aufnahmen zurückzukommen. Wie Sie sich vorstellen können, ist es in einem Flüchtlingslager ziemlich chaotisch: Es gibt so viele Menschen. Das bedeutet eine Menge unerwünschter Hintergrundgeräusche. Für (spatial) Audio brauche ich Stille, um vernünftige Aufnahmen zu machen. Deshalb sind Außenproduktionen so schwierig. Man kann die Umgebung kaum kontrollieren. Zum Beispiel das Wetter oder neugierige Menschen, die nicht still sein wollen, während man aufnimmt.

Aber für Spatial Audio ist es wirklich entscheidend, so isolierte Objekte wie möglich zu haben. Um es exemplarisch zu machen, haben wir hier eine Aufnahme von einem Kind gemacht. Wir sind ihm den ganzen Tag gefolgt und sollten seine Stimme aufnehmen. Wie man sich denken kann, ist die Umgebung um ihn herum sehr laut. Das ist ein großer Kampf. Da wir XR-Sound machen, müssen wir ein anderes Mikrofon verwenden, zum Beispiel ein Ambisonics-Mikrofon. Das ist ein bisschen wie eine 360°-Kamera, weil es mehrere Mikrofone hat, die in jede Richtung zeigen. Das ist eine Art Rückgrat für meinen gesamten Soundtrack, weil es das Kind aufnimmt, aber auch den lauten Hintergrund.

Ich sage gerne: Mach es nicht realistisch, mach es glaubhaft. Wie stellt sich der Zuschauer vor, wie die Szenerie klingen würde?

Dieser Mehrkanalton liefert ein diffuses Klangfeld das als Grundlage funktioniert. Aber das Kind ist dann nicht so präsent wie nötig. Da das Kind etwa ein oder zwei Meter entfernt ist, wird es ein bisschen zu leise und ist schwer zu verstehen. Der Trick dabei ist, beide Mikrofone gleichzeitig laufen zu lassen, denn das Kind ist unser Ausgangspunkt für die Szene. Ich mag die Kombination aus einem isolierten Mikrofonton des Kindes. Parallel dazu habe ich auch ein Raumklangmikrofon, das alles aufnimmt. Danach füge ich einige Soundeffekte hinzu. Nun, wenn es Sinn macht, auch ein bisschen Musik, und los geht’s! Ein anständiger 360-Soundtrack.

Wird Spatial Audio in Zukunft Standard sein?

Vom technischen Standpunkt aus würde ich sagen: Ja. Spatial Audio ist bereits großartig, nicht nur in XR. Aber aus inhaltlicher Sicht denke ich, dass wir einige bessere Anwendungsfälle finden können, als nur Musik im Kopf laufen zu lassen. So wie es 8D macht. In der Tontechnikszene (AES) sind die Leute ausgeflippt, weil es so viele hochwertige Inhalte und so fragile Orchesteraufnahmen gibt. Die Leute stecken so viel Arbeit in alles. Und dann lässt jemand die Musik einfach durch einen Spatializer laufen und lädt sie auf YouTube hoch.

Aber was ich sagen kann, ist: Ich weiß es zu schätzen, dass Millionen von Menschen es sich angehört haben. Ich denke, das ist ein gutes Zeichen dafür, dass die Leute Sound wirklich dreidimensional erleben wollen. Wenn es nicht ASMR (Autonomous Sensory Meridian Response) oder 8D-Audio-Inhalte gäbe, gäbe es nicht viele andere räumliche Klangerlebnisse, die die Menschen hören könnten. Es gäbe nur meine Kollegen und mein Material da draußen, was sehr nischenhafte Projekte sind.

Für mich war es die Berechtigung, dass es Spatial Audio und XR gibt. Das ist für mich ein Grund, meinen Job zu machen, denn es gibt Millionen von Menschen, die das genießen. Zurzeit gibt es nur die 8D-Musik und ASMR-ähnliche Inhalte, die wirklich viele Menschen erreichen. Aber wir können in Zukunft noch mehr machen, und es wird großartig werden. Ja, es wird einen neuen Standard für Sound geben, der das uns bekannte Zweikanal-Stereo ersetzen wird.

Was war die inspirierendste Arbeit, die du gesehen hast – Stereo oder erweiterte Realität?

Nun, man kann es einfach auf YouTube anschauen: der virtual barber shop. Jemand hatte schon vor Jahren, bevor Spatial Audio und XR im Trend waren, eine tolle Idee. Es gibt ein Mikrofon, das wie ein menschlicher Kopf aussieht, ein sogenannter binauraler Kunstkopf. Damit erhält man sofort den 3D-Audio-Sound, an den wir gewöhnt sind. Ich habe es in dem XROM-Video bei 36:19 gezeigt.

Da hat jemand also seine Kreativität spielen lassen und sich das Geräusch des Haarschneidens ausgedacht. Ohne zu viel verraten zu wollen, setz deine Kopfhörer auf, es macht wirklich Spaß. Das ist der Punkt, an dem die Leute wirklich von räumlichem Audio begeistert sind. Wenn es mit großartigen Geschichten kombiniert wird. Es geht nicht nur darum, zu zeigen, wie die Technologie funktioniert, sondern sie in eine unterhaltsame Geschichte einzubinden.

Eine andere Sache, die ich immer sage, wenn ich nach Inspiration gefragt werde, ist: Notes on blindness. Das ist das Beste, was es je gab. Es war eines der ersten VR-Erlebnisse und man kann es immer noch kostenlos anschauen. Trotzdem ist es immer noch wettbewerbsfähig. Es ist die Geschichte von jemandem, der sein Augenlicht verliert. Das führt natürlich dazu, dass man automatisch mehr auf den Ton achtet – eine brillante Idee. Man nimmt also so viele Dinge, die für ein 3D-Erlebnis funktionieren. Und es ist einfach erstaunlich.

Es gibt so viel mehr Möglichkeiten für räumliches Audio in XR und darüber hinaus. Sehen Sie sich also unbedingt diese Übersicht voller Inspiration an.

Starte deine Karriere mit Spatial Audio in XR

Welche Karrieremöglichkeiten gibt es im Bereich Spatial Audio für XR? Gibt es Bücher, Kurse oder was kannst du empfehlen?

Ich würde empfehlen, sich einen Überblick darüber zu verschaffen, was es bereits gibt. Welche XR-Erfahrungen es mit Spatial Audio gibt, die gut funktionieren. Und von dort aus kann man dann vielleicht anfangen, eigene Geschichten zu entwickeln oder über eigene Ideen nachzudenken. Im Grunde genommen spiele mit den bereits verfügbaren Tools herum. Also scheitern und lernen lautet die Device.

Es gibt so viele Anwendungen, die keinen Sinn machen und die mit Stereo genauso gut funktioniert hätten. Aber das ist völlig in Ordnung, denn dann hat man etwas darüber gelernt. Man sollte einfach loslegen. Zum Glück ist die Hürde nicht mehr so hoch, denn es gibt kostenlose Tools. Die Mikrofone sind nicht zu teuer und es gibt viele Hersteller, die wie oben erwähnt, Spatial-Audio-Mikrofone herausbringen.

Ich kann empfehlen: engagiere dich in der Audio Engineering Society. Im Moment gibt es dort kostenlose Webinare, manchmal muss man auch ein bisschen was bezahlen. Aber dann hat man Qualität und Strukturen, die einem alles über Spatial Audio sagen. Verbände wie der VDT (Verband Deutscher Tonmeister) oder der BVFT (Berufsvereinigung Filmton) machen etwas Ähnliches.

Was die schamlose Eigenwerbung angeht: Du kannst auch einen Blick auf meinen Blog werfen und sehen, was ich schreibe. Ich versuche wirklich, 3D-Audio zugänglich zu machen und coole Anwendungsfälle zu zeigen. Ich zeige wie die Technologie eingesetzt wird und vielleicht kannst du dort einfach mal vorbeischauen und sehen, was dich interessiert. Die 3D-Audio-Welt ist größer als du denkst. Erfahre mehr über die unendlichen Möglichkeiten von Sound für Extended und Mixed Reality

Wie beginnt man mit Spatial Audio für XR?

Der größte Fehler, den man machen kann, ist zu denken, dass die Produktion eines Films nur aus diesen Schritten besteht: Du hast einen Regisseur einen Kameramann einen Tontechniker dann macht man den ganzen visuellen Teil danach fügt man den Soundtrack hinzu.

Hier verschenkt man so viel Potenzial, denn man sollte wirklich bei Null anfangen, noch bevor man etwas dreht und aufnimmt. Bei der Entwicklung einer XR-Geschichte mit räumlichem Ton sollte man sich überlegen, wie man den Ton einsetzen kann um die Geschichte voranzutreiben. Um anzufangen muss man also den Ton im Allgemeinen neu überdenken. Es gibt so viele Arbeitsabläufe, die man nur mit Mono- oder Stereoton durchführt, die bei XR mit Spatial Audio nicht funktionieren.

Ich sage nicht, dass der Ton wichtiger ist als das Bild oder andere Medien. Aber man hat definitiv mehr Potenzial, wenn man sich auch den Sound anschaut. Denn in XR schaut man nicht nur in eine Richtung. Mit dem Ton kann man immer alles hören. Ich kann immer hören, was neben oder hinter mir ist – aber ich kann es nicht sehen. Deshalb habe ich erkannt, dass ich während des Prozesses von der Aufnahme bis zur Postproduktion und sogar noch vor der Aufnahme die Leute mit ihren Ideen konsultieren kann, um den Sweet Spot zu finden.

Ich habe viele VR-Erfahrungen gemacht, die wirklich Sinn gemacht haben, weil sie nicht den Fehler gemacht haben, den Ton erst im Nachhinein zu machen, mit dem Rest des Budgets. Stattdessen haben wir es andersherum gemacht und überlegt, wie sich der visuelle Teil und der Soundteil gegenseitig unterstützen können. Und das ist der Punkt, an dem man gute Erlebnisse schaffen kann. Beide Teile müssen von guter Qualität sein und mindestens Hand in Hand arbeiten.

Hardware, Software für Spatial Audio in XR (Extended Reality)

Brauchen wir spezielle Mikrofone? Wie sieht es mit Digital Audio Workstations aus?

Um es einfach zu halten. Ich kann die meisten Tools, die ich für Stereosound verwenden würde auch in der DAW einsetzen. Vor über fünf Jahren war das noch anders. Es gab nicht viele Tools, wie z. B. Plug-ins. Ich musste so viel von Hand machen und in Unity meine eigenen Skripte oder Plugins schreiben. Das ist der Punkt, an dem Ambisonics relevant wurde.

YouTube hat dann gesagt, dass sie Ambisonics unterstützen. Seit über fünf Jahren kann man nun 360°-Videos mit räumlichem 3D-Audio auf YouTube hochladen. Wenn man darüber nachdenkt, ist das ziemlich erstaunlich. Sie wussten schon damals, dass dies die Zukunft sein würde, und es passiert immer noch so viel. Im Moment würde ich sagen, dass die meisten der Tools, die man für Spatial Audio in VR braucht, jetzt verfügbar sind. Aber es kommt wirklich darauf an, was man erreichen will.

Seitdem haben viele Hersteller neue Mikrofontypen entwickelt. Meistens Ambisonics, aber auch ORTF oder quad-binaurale Formate. Ich habe alle möglichen mehrkanaligen 360°-Mikrofonanordnungen aufgelistet in dieser Übersicht.

Ist 5.1 Surround Sound genug für Extended Reality?

Derzeit habe ich ein VR360-Projekt, bei dem wir den Ton aus Lautsprechern kommen lassen wollen. Nicht nur 5.1 oder 7.1, sondern 22.2! Es gibt im Moment nur ein einziges Plug-in, das das als objektbasierter Workflow kann. Kein anderes Tool kann das, was sehr schade ist. Man könnte sich denken: Ich mache das Gleiche wie immer. Ich füge 3D-Audioobjekte in einen virtuellen Raum ein, und dann wird das Ganze mit Lautsprechern gerendert.

Ich will damit sagen, dass, sobald du spezielle Bedürfnisse hast, ziemlich schnell an eine Grenze stößt. Man ist immer auf das VR-Headset mit seiner proprietären Hard- und Software angewiesen. Außerdem: Welchen Videoplayer kann man überhaupt mit einer anständigen Qualität verwenden? Unterstützt er das Spatial-Audio-Format, da es derzeit keinen wirklichen Standard gibt.

Ambisonics ist und bleibt relevant, und ich bin froh darüber. In Zukunft wird es aber etwas Neues geben, das versucht, es zu ersetzen. Deshalb ist es immer ein bisschen mühsam, neue Mikrofone und andere Plugins zu verwenden, weil man sofort auf Probleme stößt. Deshalb kratze ich immer nur einen technischen Teil für den Kunden an und sage, sie sollen dieses Problem mir überlassen. Ich werde es schon irgendwie lösen. Und lass uns nicht versuchen, zu viel über Technik zu reden. Ich werde eine Lösung finden. Und dann sind sie einfach nur froh, dass ich sie durch den gesamten Prozess einer XR-Produktion mit räumlichem Audio führen kann.

Wie sieht es mit interaktivem Spatial Audio für die extended reality aus?

Der Hauptunterschied ist, dass 360°-Videos oder Filme im Allgemeinen linear sind. Das heißt, man hat einen bestimmten Anfang und ein bestimmtes Ende. Die Dauer ist immer dieselbe. Wenn es sich um ein räumliches Video handelt und nicht um ein Stereosignal, fügt man einfach mehr Audiokanäle hinzu. Das fertige Stück hat immer noch dieselbe Dauer. Egal, ob Mono, Stereo, Surround oder räumliches 3D-Audio.

Aber im Game-Audio Bereich fügt man nicht wirklich so lange Dateien mit einem festen Timing hinzu. Man fügt mehr kurze Dateien hinzu, die als Assets bezeichnet werden. Diese Assets können mit all den interaktiven Möglichkeiten kombiniert werden, die man im XR-Erlebnis hat.

Wenn z. B. jemand die Tür öffnet, kann man einen „Tür offen“-Sound an ein Objekt senden. Wenn man es richtig programmiert, wird der Sound automatisch ausgelöst, sobald jemand die Tür öffnet. Man kann also im Grunde genommen jedem Objekt in der Szene einer Spiel-Engine Sounds zuweisen und sie damit verknüpfen. Dennoch gibt es viele Gemeinsamkeiten, bei denen sich beide Welten gegenseitig ergänzen. Finde heraus wie Spiele-Audio den Film beeinflusst.

Dies ist sozusagen der Hauptunterschied zwischen linearen und interaktiven Inhalten. Wenn man in linearen oder filmischen Welten arbeitet, arbeitet man mit DAWs (Digital Audio Workstations) wie Reaper, ProTools oder Nuendo. Wenn man jedoch interaktiv arbeitet, muss man mit der Unity oder Unreal Game Engine arbeiten. Oder auch Middleware wie WWise, FMOD oder Steam Audio nutzen.

Zukunft von Spatial Audio vs. Stereo in XR

Was ist der Unterschied zwischen Stereo und Spatial Audio?

Bei immersiven Medien befindet sich der Bildschirm heutzutage nicht mehr nur vor einem, sondern überall um einen herum. Das ist der Punkt, an dem sich plötzlich alles ändert. Das wurde mir klar als ich begann für XR mit Raumklang zu arbeiten. Ich musste überdenken: Wie setze ich Sound hier überhaupt ein? Wenn man zum Beispiel Musik in ein VR-Erlebnis einbaut, woher kommt dann die Musik? Das hat mit dem Storytelling zu tun, das ich erwähnt habe. Man kann nicht einfach Musik in ein 360°-Erlebnis einbauen und sagen: Das ist der Soundtrack. So wie man es mit klassischem Fernsehen oder Dokumentarfilmen machen könnte.

Aber jetzt, mit XR, muss man das neu überdenken. Macht es überhaupt Sinn, Musik zu haben? Wenn ja, woher kommt sie? Ist da ein Radio im Raum oder ist es Musik in meinem Kopf? Oder wenn man einen Erzähler hat, ein so genanntes Voice-Over, wer ist die Person in meinem Kopf? Bin ich die Person? Ist es jemand anderes?

Mit Spatial Audio kann man den Menschen helfen, zu unterscheiden, wer überhaupt Teil der XR-Szene ist. Wenn Sie zum Beispiel einen 3D-Audioeffekt von jemandem haben, der in Ihr Zimmer geht, können Sie die Person zum Beispiel von hinten lokalisieren. Jetzt weißt du, dass sich wirklich noch jemand in der VR-Umgebung befindet. Mit reinem Stereoton (also ohne binaurales Audio) ist das nicht möglich. Denn unser Gehirn denkt immer, dass es nur in unserem Kopf passiert. Das nennt man In-Kopf-Lokalisierung.

Mit 3D kann man, obwohl man nur Kopfhörer trägt, den Leuten das Gefühl geben, dass etwas von außen kommt. Das nennt man Externalisierung, und wir vergessen das Gefühl, dass wir überhaupt Kopfhörer tragen. Plötzlich wird Sound zu einem intuitiven Mittel, um den Benutzer durch eine Geschichte zu führen.

Funktioniert Ambisonics nur für Virtual, Augmented und Mixed Reality?

Man kann Ambisonics überall einsetzen, aber macht das Sinn? Das ist die eigentliche Frage, die man sich stellen sollte. Ich würde sagen, dass es Anwendungsfälle wie 360VR gibt, bei denen die Verwendung von 3D-Audio oder Ambisonics sinnvoll ist. Mehrkanalige Formate, die nicht nur zwei Audiokanäle wie Stereo haben, sondern mehr Kanäle, sind also sehr sinnvoll. Mit mehr Kanälen erhält man eine bessere Auflösung und eine räumliche Lokalisierung. Daher ist Ambisonics für VR definitiv sinnvoll. Aber ich würde sagen, bei Filmen ist es schön, wenn die Lautsprecher oben sind. Das verändert den Film nicht wie bei einem 360°-Video.

Bei der Musik ist im Moment so viel im Gange. Vor kurzem hat Apple bekannt gegeben, dass sie jetzt Dolby Atmos Music für Apple Music mit ihren Apple Pro Kopfhörern unterstützen. Diese haben auch bereits eine Art von Head Tracking und Spatial Audio aktiviert. Jetzt können die Leute Musik räumlich hören, und das begeistert viele. Momentan ist es ein Marketing-Hype, mit dem ich mich schon auseinandergesetzt habe und etwas enttäuscht war.

Ich für meinen Teil mag auch Stereo. Stereo ist nicht kaputt! Aber ich bin auf meiner Mission, Anwendungsfälle zu finden, in denen 3D-Audio wirklich Sinn macht. Um den Menschen eine neue Erfahrung zu ermöglichen und ihnen zu helfen, Klänge wie nie zuvor zu hören.

Glaubst du, dass Spatial Audio zum Standard werden wird, so wie es heute Stereo ist?

Ja, ich glaube, dass sich die Art und Weise, wie wir in Zukunft Klang erleben, verändern wird. Und das ist genau der Grund, warum ich das mache, denn ich weiß, dass es passieren wird. Es ist nur die Frage, wann es losgeht. Ich denke, dass der Sprung von Apple auf das Thema eine große Botschaft ist, weil jeder Apple liebt und sie so innovativ sind. Es ist also schon ein großer Schritt, dass die großen Unternehmen Millionen von Dollar in eine neue räumliche Audiotechnologie für XR investieren.

Was ich jetzt schon sagen kann, ist, wie wir in Zukunft Sound erleben werden. Im Moment sind wir daran gewöhnt, MP3 zu hören. Jeder weiß, was MP3 ist, aber im Grunde ist es eine Technologie, die Wave-Dateien auf eine winzige Größe komprimiert. So kann man sie auf seinen Walkman laden und an seine Freunde schicken oder was auch immer. In der Zukunft wird es ein ähnliches Format geben, aber es wird interaktiver und immersiver sein. Das ist der Punkt, an dem objektbasiertes Audio ins Spiel kommt. Es wird also auch eine Datei sein, ähnlich wie eine MP3, aber es wird mehr Möglichkeiten geben, damit zu interagieren. Es nennt sich NGA, Next Generation Audio und hier sind die Details.

Stell dir zum Beispiel vor, du schaust Fußball. Derzeit kann man nur die Lautstärke erhöhen oder verringern. Aber mit objektbasiertem Audio wird die gesamte Tonspur in Objekte aufgeteilt, mit denen man interagieren kann. Das heißt, man kann zum Beispiel den Kommentator ausschalten und einfach die Atmosphäre des Stadions verlassen. Ist das nicht erstaunlich? Stell dir vor, es ist dir egal, was der Kommentator des TV-Senders sagt, aber du willst deine eigenen Kommentare abgeben – das ist jetzt möglich! Aber du hörst immer noch den Nervenkitzel des Fan-Publikums und wirst emotional berührt. Hier ist eine kurzes Beispiel, was mit dem objektbasierten Audioformat MPEG-H möglich ist:

Es bleibt spannend, und das ist was heute schon möglich ist. Wenn wir so Filme machen, können wir diese Metadaten auch für Musik und Soundeffekte hinzufügen. So können sich die Leute auf ihren Geschmack einstellen, denn wie wir wissen, hat jeder einen anderen Geschmack. Jeder hört eine andere Art von Musik.

In Zukunft wird das personalisierte Klangerlebnis viel größer sein. Dann haben wir nur noch eine einzige Masterdatei. Zum Beispiel den Inhalt des Soundtracks eines Films, und es spielt keine Rolle, wo er abgespielt wird, ob auf einer Soundbar, mit Kopfhörern oder mit 10 Lautsprechern. Die Datei wird automatisch in das bestmögliche Format dekodiert. Derzeit ist aber die Binauralisierung noch ein großes Problem, zum Beispiel für Dolby Atmos oder ähnliche Technologien.

Im Moment muss ich noch Inhalte für das Web, für das Fernsehen und für das Kino erstellen, und alle haben unterschiedliche Auflösungen und Kanalaufteilungen. In Zukunft wird es hoffentlich nur noch eine Datei geben, die man auf jedem Gerät abspielen kann und die 3D- und personalisierungsfähig sein wird. Dies könnte mit der oben erwähnten Personalisierung kombiniert werden.

Was wird deiner Meinung nach die Zukunft von Spatial Audio sein?

Lass uns all die Schlagworte wie künstliche Intelligenz oder Blockchain verwenden, haha. Ich hasse mich dafür, dass ich das erwähne, weil es wie ein Off-Topic klingt. Aber für Sound ist es das nicht, denn man kann Sound so gut wie überall einsetzen. Man muss nur Anwendungsfälle finden! Ich habe keine Ahnung, wie Sound mit Blockchain genutzt werden kann, aber ich bin mir sicher, dass es sich bei 3D-Audio genauso verhält. Wir haben räumliches Audio, aber wo kann man es überhaupt einsetzen? Das muss man selbst herausfinden!

Wie ich schon sagte, mach dir die Hände schmutzig, versuche Usecases zu realisieren. Und das ist es, womit ich im Moment versuche herumzuspielen. Ich habe zum Beispiel gerade einen Werbespot als Klangerlebnis für eine Live-Veranstaltung gemacht. Im Moment spiele ich viel mit Zoom herum, weil ich damit 3D-Audiobeispiele teilen kann, da sie Stereo unterstützen. Das ist also meine Mission, neue Audiotechnologien kreativ zu nutzen und das volle Potenzial auszuschöpfen. Denn die meisten Hersteller werfen Hardware auf den Markt, ohne wirklich darüber nachzudenken, was sie damit machen?

Da ich der Kopfhörer-Typ bin, gefällt mir, dass hearables derzeit die gesamte Hörgeräteindustrie umkrempelt. Endlich wird personalisierter Sound auch für Senioren und Menschen mit Hörverlust zugänglich. Auch das Metaverse ist ein echter Hype und könnte die Art und Weise, wie wir in Zukunft kommunizieren, verändern.

Lange Rede, kurzer Sinn: Spatial Audio für XR ist wirklich spannend. Wenn du mehr darüber wissen willst, kontaktiere mich! Ich bin sicher, dass es auch für dich eine Möglichkeit gibt, vom dreidimensionalen Klang zu profitieren.