Erlebt 3D Audio mit künstlicher Intelligenz (KI) seinen Durchbruch?

Künstliche Intelligenz ist im Audio angekommen, und zwar nicht als Zukunftsmusik. Was sie heute schon kann, überrascht auch mich als Tonmeister. Was sie angeblich kann, wird dagegen oft überschätzt. Hier ist meine Einschätzung, ohne Marketingnebel.

Was KI im Audio heute wirklich kann

Wenn eine Mischung mit allen Instrumenten fertig ist, war es praktisch unmöglich, den Gesang wieder herauszuziehen. Jetzt kommt KI und macht es möglich.

Es ist, als würde man im Supermarkt einen fertigen Kuchen kaufen, ihn zu Hause in die Mikrowelle stellen, und auf einmal kommen die einzelnen Zutaten wieder heraus. Eigentlich unmöglich, aber es geht.

Der Witz daran ist, dass das ganz ohne objektbasiertes Audio funktioniert. In einer objektbasierten Mischung wären alle Einzelobjekte ohnehin enthalten, nur wird uns der Zugriff darauf verwehrt. Die KI holt sie aus einer fertigen Stereomischung zurück.

Nutzbar ist das längst: Apple Music hat eine Karaoke-Funktion, mit der sich die Stimme leiser stellen lässt, wenn man selbst mitsingen will.

Braucht man bald keinen Dolby-Atmos-Content mehr?

Das ist meine steilste These zum Thema. Upmixer werden schnell besser, und in Zukunft braucht man womöglich gar keinen Dolby Atmos Content mehr.

Der Beleg steht im Auto. Upmixing-Algorithmen erzeugen dort heute schon beeindruckende räumliche Erlebnisse aus einer reinen Stereodatei. KI kann das besser als Tonleute, die von Zeit und Budget begrenzt sind.

Was mich daran reizt: Eine Version eines Songs, die mit der Zeit besser wird, finde ich spannender, als auf die beste Mischung festgelegt zu sein, die zum Zeitpunkt der Veröffentlichung möglich war.

Objektbasiertes Audio entfaltet sich erst mit KI

Ich verfolge die Fortschritte der objektbasierten Audiotechnik seit Jahren und bin überzeugt, dass sich ihr Potenzial erst über künstliche Intelligenz entfaltet. Trotz der immensen Fähigkeiten zahlloser Toningenieure weltweit übersteigt die Komplexität einer vollständigen Optimierung objektbasierten Audios die Möglichkeiten des Menschen allein.

Deshalb halte ich die KI-basierte Szenenanalyse in IAMF für einen bemerkenswerten Fortschritt. Sie verspricht, Audiospuren automatisch für unterschiedliche Inhalte zu optimieren.

Der Preis dafür ist real. In der Audio-Community gibt es die Sorge, dass die ursprüngliche künstlerische Absicht für bestimmte Szenen außer Kraft gesetzt wird und das Hörerlebnis anders ausfällt als von den Machern gedacht. Genau dieses Gleichgewicht zwischen KI-Optimierung und individueller Präferenz wird entscheidend.

Was KI im immersiven Audio noch nicht kann

An meinem Arbeitsablauf ändert KI bisher wenig. Möglicherweise entstehen sogar mehr Filme, weil hohe Qualität zugänglicher wird. Aber immersives Audio ist so spezifisch, dass sich eine KI damit derzeit nicht wirklich trainieren lässt. Wohin sich das entwickelt, muss man sehen.

Ein zweites Beispiel für unfertige Technik ist die Personalisierung. Es gibt keine universelle HRTF, die für alle gleich gut funktioniert, deshalb erforschen Firmen dynamische oder KI-basierte Auswahl. Das steckt aber noch in der Entwicklung.

Viele Nutzer können in gewöhnlichen Hörsituationen zwischen einer allgemeinen und einer personalisierten HRTF nicht ohne Weiteres unterscheiden. Erschwerend nutzen Apple, Samsung und Ceva unterschiedliche HRTF-Datenbanken, was zu uneinheitlichen Erlebnissen über Geräte und Inhaltsquellen hinweg führt.

Vorsicht bei dem Wort künstliche Intelligenz

Nicht alles, was als KI verkauft wird, ist welche. Die Klipsch T5 II True Wireless ANC bieten Gestensteuerung: Anrufe per Kopfnicken annehmen, Songs mit Bewegungsmustern überspringen.

Das Forbes-Magazin hielt das für künstliche Intelligenz. Es ist Head-Tracking.

Ersetzt KI Tonleute?

Hier widerspreche ich der Mehrheit meiner Zunft. Die meisten Tonleute sagen, KI könne Menschen nicht ersetzen. Ich sage: natürlich kann sie das.

Bei immersivem Audio habe ich noch gute Hoffnung für sehr spezifische Anwendungsfälle, nämlich meine eigenen, weil es dort schlicht nicht genug Trainingsdaten gibt, um mich zu ersetzen. Das ist im Moment gut für mich.

Für Podcasts und sogar Musikproduktion wird es dagegen eine KI geben, die den ganzen Job macht. Was sie nicht kann, sind Mikrofone aufstellen und andere physische Dinge. Und selbst wo sie heute scheitert: Stell dir vor, wie es in einem Jahr aussieht.

Daraus folgt meine Prüffrage für alle in diesem Beruf. Konzentriere dich auf sehr spezifische Anwendungsfälle und frage dich ernsthaft, ob eine KI das in den nächsten zwölf Monaten ersetzen kann. Wenn die Antwort ja lautet, solltest du es nicht tun. Das ist eine unpopuläre Meinung, ich weiß.

Dazu kommt die Marktlage. Die Filmproduktion kämpft ohnehin hart, und KI wird das Tempo erhöhen, mit dem klassische Filmproduktionen zurückgehen. Das betrifft Tonleute direkt.

Mein Rat: KI ernst nehmen und zum eigenen Vorteil nutzen. Man sollte keine Angst vor KI haben, sondern vor einem Toningenieur, der KI nutzt.

In zehn Jahren geht es um Kontrolle

Meine Prognose für die nächsten zehn Jahre dreht sich nicht um Formate, sondern um Kontrolle. Bisher legt eine andere Person oder ein System fest, was man zu hören bekommt und wie.

Ich sehe den starken Trend, dass Nutzer mehr Kontrolle darüber bekommen: die Gitarre lauter, weil man Gitarre mag, die Filmmusik leiser, weil sie manchmal zu laut ist. Objektbasiertes Audio ist die technische Grundlage dafür, KI spielt die große Rolle.

Das geht über Unterhaltung hinaus. Selbst Telefonieren und Navigation werden persönlicher, man wird anders angesprochen als jeder andere Nutzer. Technisch ist es noch sehr schwierig, jedem andere Audioinhalte zu geben. Aber synthetisches Audio, das auf Abruf erstellt wird, sehe ich in den nächsten Jahren immer mehr kommen.

Lass uns über dein Projekt sprechen

Du willst wissen, was bei deinem Projekt sinnvoll automatisiert werden kann und was nicht?