Objektbasierte 3D Musik Produktion: Mixing gegen Stereo?

Ein Gastbeitrag von Daniela Rieger

„While an engineer familiar with the complications of sound reproduction may be amazed at the tens of thousands of trouble-free performances given daily, the public takes our efforts for granted and sees nothing remarkable about it.[…]

The public has to hear the difference and then be thrilled by it […]. Improvements perceptible only through direct A-B comparisons have little box-office value.“

(Garity & Hawkins, 1941)

Dies ist Teil 1 von zwei Teilen über die Herausforderungen der immersiven Musikproduktion. Hier geben wir einen Überblick über die Geschichte und Zukunft von 3D Audio. Im nächsten Teil werden wir auf die Schwierigkeiten eines immersiven Musikproduzenten eingehen.

Der Reiz von 3D-Audio

3D-Audio oder immersives Audio übt zweifelsohne einen Reiz aus – auf Tonschaffende möglicherweise noch mehr als auf KonsumentInnen. Dies zeigt sich auch durch die Vielzahl an Beiträgen zu „3D-Audio“ auf den Audio-Konferenzen der letzten Jahre (Tonmeistertagung 2018, Prolight+Sound 2019, AES Virtual Vienna 2020, TMT 2021).

3D-Audio bringt eine neue Komplexität mit sich – Codecs und Formate, verschiedenste Technologien und Software, neue, kreative Gestaltungsmöglichkeiten und erweiterte Wiedergabesysteme. Doch eben diese Komplexität birgt die Gefahr, dass EndkonsumentInnen aus dem Fokus verdrängt werden.

Wie bereits die beiden Fantasound-Entwickler William E. Garity und John N.A. Hawkins im Jahre 1941 feststellten, so kann eine Technologie noch so kompliziert und komplex sein.

KonsumentInnen interessieren sich großteils nicht für all die Hürden, die überwunden wurden oder all die Technik, die dahintersteckt. Sie möchten die Inhalte möglichst unkompliziert hören und einen Mehrwert erleben.

Denn nur so kann eine neue Technologie funktionieren – nur so entsteht Begeisterung und Interesse. Nur so wird das neue Format konsumiert und nur so kann es sich durchsetzen. Auch dies haben Garity und Hawkins bereits vor knapp 80 Jahren festgestellt und auch dies hat in der heutigen Zeit nicht an Relevanz verloren.

Der größte Reiz bietet sich, wenn Technik kreativ genutzt werden kann. Erst so kann ein „Sweetspot“ gefunden werden, der das innovative und neue Potential wirklich entfacht. Kann immersive Musikproduktion also wirklich eine Chance gegen jahrzehntelang etablierte Stereo-Workflows haben?

Immersive Musik früher und heute

3D-Audio hat sich im Filmbereich bereits seit längerem etabliert (Dolby Atmos, DTS:X, Auro-3D), und es gibt schon etliche Tausend Kinofilme in diesen Formaten. Die Verfügbarkeit von (kanalbasierten) 3D-Musikproduktionen allerdings ist bisher noch recht gering.

Objektbasierte, immersive Musik wurde Ende 2019 erstmals eingeführt, indem die beiden Technologien Dolby Atmos Music und 360 Reality Audio vorgestellt wurden. Genau genommen handelt es sich nur bei 360 Reality Audio um eine rein objektbasierte Technologie, Dolby Atmos ist “hybrid” (durch Verwendung des Kanalbettes).

Es gab zuvor schon etliche Experimente, die aber absolutes Nischendasein genossen. Knackpunkt war und ist einfach, dass die wenigsten der KonsumentInnen auch die nötige Anzahl an Lautsprechern zu Hause haben. Hier werden gerade und in Zukunft wohl Soundbars und Smartspeaker immer passender werden.

Es war daher ein Format gefragt, welches Lautsprecher- und damit kanalunabhängig ist. Das Stichwort: objektbasierte Produktion. Somit bringen 360 Reality Audio und Dolby Atmos Music gerade frischen Wind in ein altes Problem.

Anmerkung: “objektbasiert” ist nicht ausschließlich mit „3D“, „immersiv“ oder „Raumklang“ gleichzusetzen. Prinzipiell kann auch objektbasiert und mono produziert werden. Im Folgenden wird aber davon ausgegangen, dass die objektbasierte Musikproduktion immersiv gestaltet wird.

Erleidet 3D-Musik das gleiche Schicksal wie Quadrophonie?

Wie bei der Quadrophonie ab den 1960er Jahren und der darauffolgenden Einführung von 5.1 Surround – was sich beides kommerziell nicht durchsetzen konnte – handelt es sich bei den objektbasierten Formaten um neue Technologien zur Produktion, Distribution und Wiedergabe von Musik.

Im Unterschied zu damals ist die Ausgangslage heutzutage jedoch eine andere: Während 5.1 Surround durch die kanalbasierte Produktionsweise auf ein festes Lautsprecher-Layout und die Distribution über physische Medien abzielte, so kann objektbasiertes Audio flexibel auf verschiedene Wiedergabesysteme (Lautsprecher und Kopfhörer) gerendert und über Musik-Streaming-Dienste vertrieben werden.

Abgesehen von der bereits erwähnten, nötigen Abspielsituation zuhause kam auch hier wieder das Henne-Ei-Problem zur Geltung. Solange es keine guten Surround-Inhalte gab, war die Motivation für die Investition auch gering. Umgekehrt mussten Tonschaffende überzeugt werden, in einem Format zu produzieren, dass bei einem Großteil der NutzerInnen überhaupt nicht wiedergegeben werden konnte.

Produktionsworkflows: Seit Jahrzehnten etabliert

Seit den ersten Versuchen der Schallaufzeichnung gegen Ende des 19. Jahrhunderts hat sich der Bereich „Musik“ stetig gewandelt und unterliegt einer fortlaufenden Entwicklung:

• Techniken zur Aufnahme und Produktion (Mono, Stereo, 5.1 Surround, 3D)
• Distributionsarten (Schallplatte, CD, Digital, Streaming-Dienste)
• Wiedergabemöglichkeiten (Plattenspieler, Radio, Lautsprecher, Kopfhörer, Soundbar)

Somit haben sich über die Jahre bei der Musikproduktion, abhängig von Genre und Kontext, viele einzelne Produktionsschritte etabliert sowie auf Seiten der Distribution und Wiedergabe einheitliche Konventionen gefestigt.

Dieser Prozess der Entwicklung eines Workflows steht bei objektbasiertem Audio generell, sowie insbesondere der objektbasierten Musikproduktion noch am Anfang. Es existiert eine Vielzahl an unterschiedlichen Begrifflichkeiten, Formaten und Codecs, welche sich auf alle Schritte der Produktionskette von der Mischung bis zur Wiedergabe auswirken.

Neue Anforderungen an immersive 3D-Musik Produktionen

Durch die vielfältigen Musik-Distributionsarten (Schallplatte, CD, Blu-ray, digitale Portale wie iTunes oder Soundcloud, Streaming-Dienste) ergeben sich insbesondere im Hinblick auf mögliche formatagnostische Produktionsweisen neue Anforderungen. Es warten also diverse Herausforderungen auf alle Beteiligten an der Produktion. Plötzlich müssen Mischentscheidungen, die wir das ganze Audio-Leben lang fast automatisch getroffen haben, auf einmal grundlegend hinterfragt werden.

Produktionsart

Ein Aspekt ist die Produktionsart – aktuell wird neben herkömmlichen Stereo-Mischungen auch kanalbasiert, szenenbasiert und objektbasiert, immersiv sowie rein binaural produziert. Diese Vielzahl an Produktionsweisen, die auf unterschiedlichen Codecs basieren und verschiedene Endformate sowie Wiedergabeanforderungen mit sich bringen, sorgen für Unübersichtlichkeit und hindern möglicherweise daran, dass Produktions-Ressourcen aufgewendet werden.

Im Idealfall würde in Zukunft nur noch objektbasiert produziert werden: Es gäbe somit ein Format, das auf jedem Endgerät bestmöglich wiedergegeben werden kann – und das alles mit Verwendung von nur einem Masterfile. Anders als bei klassischen Surround Produktionen, in der Downmixe und Upxmixe für Kino oder TV nötig sind.

Trotzdem stoßen auch objektbasierte Formate wie Dolby Atmos oder 360RA an ihre Grenzen. Sei es, weil – zumindest aktuell – der Produktionsaufwand im Vergleich zu Stereo steigt. Oder die Anwendungen eben nicht so leicht der Unterhaltungs Schublade “Musik” oder “Film” zugeordnet werden können, und bei der Produktion spezielle Ansprüche gelten, die bei den aktuell verfügbaren objektbasierten Technologien nicht unterstützt werden. Denn die 3D Audio Welt ist vielfältig, wie diese Übersicht zeigt.

Ähnlich wie bei der Quadrophonie in den 1960er–1980er Jahren bergen die verschiedenen Formate und Codecs die Gefahr, dass sich nichts davon durchsetzen wird. Dennoch ist hier ein Unterschied festzustellen: Während beim Quad-Format das Problem eher auf der Seite der EndanwenderInnen lag (kein Kauf der Lautsprecher für die Quad-Wiedergabe), so liegen bei objektbasierten Inhalten die Probleme vielmehr auf Seiten der Tonschaffenden und Technologie an sich.

Warum ist objektbasierte Musikproduktion so anders als Stereo-Musikproduktion?

Aktuell bedeutet die Produktion objektbasierter Musik eine Produktion für einen spezifischen Codec. Das ist ganz anders als bei der Stereo-Musikproduktion, welche codec-agnostisch erfolgt. Das heißt, dass nicht für eine spezielle Technologie produziert wird, sondern das Endprodukt flexibel nutzbar ist.

Bei der objektbasierten Produktion werden zum einen herkömmliche Produktions-Workflows aufgegriffen und weiterentwickelt. Zum anderen lassen sich beide objektbasierte Technologien zwar in herkömmliche Produktionsketten integrieren, weichen jedoch ab dem Schritt der Nutzung der objektbasierten Software bis hin zur Wiedergabe von etablierten Stereo-Produktionsprozessen ab.

Der Vergleich dieser zwei objektbasierten Formate hat gezeigt, dass bereits hier große Unterschiede insbesondere im Export-, Encoding-, Distributions- und Wiedergabeprozess herrschen. Damit sich objektbasierte immersive Produktionen behaupten können, bedarf es einer Entwicklung von einheitlicheren Vorgängen in allen Bereichen der Produktionskette. Aber wie gesagt, meist entscheidet der Content selber, welches Format am besten geeignet ist. Eine One-Stop Solution ist noch nicht in Sicht.

Aktueller Stand objektbasierter Workflows

Wie kann objektbasierte Musikproduktion attraktiver werden?

Sofern sich nicht ein Format durchsetzen wird, so muss zumindest der Aspekt der kombinierten Produktionsweise und Konvertierung verschiedener Formate in den Vordergrund rücken: Für ein Album die kompletten Produktionsketten für mehrere Formate zu durchlaufen ist zeit- und kostenintensiv.

Bei Verwendung der jeweiligen Produktions-Software wurde deutlich, dass bereits ab diesem Schritt der Workflow stark von technischen Spezifikationen abhängt und von diesen vorgegeben wird, begonnen bei der Nutzung der Produktions-DAW.

Weiterhin bedarf es der Entwicklung von Plugins, die speziell für die Anwendung in objektbasierten und immersiven Mischungen ausgelegt sind (beispielsweise Hall-, Kompressions- oder Mastering-Plugins, die sowohl mit dreidimensionaler Räumlichkeit als auch mit Objekten arbeiten können).

Mastering

Weiterhin muss der gesamte Schritt des Masterings für objektbasierte Mischungen angepasst werden – insbesondere in diesem Fall ist es notwendig, dass sich Vorgehensweisen etablieren, die formatübergreifend durchgesetzt werden können.

Hierzu zählt auch, den neuen Workflow-Schritt des Authorings (der Generierung und Überprüfung der Metadaten) in den Mastering-Prozess zu integrieren.

Weiterentwicklung technischer Anforderungen

Die konsequente Implementierung technischer Anforderungen ist unerlässlich, um sowohl Produktionsprozesse als auch Wiedergabemöglichkeiten zu verbessern. Flächendeckende Lautheitsmessung- und normalisierung muss für objektbasierte Formate genauso etabliert werden, wie für herkömmliche Stereoproduktionen, um den Ausbruch eines neuen “Loudness-Wars” zu verhindern.

Weiterhin könnten die objektbasierten Audioinhalte auf einer Vielzahl an Wiedergabegeräten abgespielt werden, hierfür fehlt es jedoch noch an konsequenter Implementierung der technischen Anforderungen in den Endgeräten.

Finanzielle Aspekte

Nicht zuletzt spielt der finanzielle Aspekt eine Rolle – während Stereo-Produktionen eine Vielzahl an Verwertungswegen bieten (Schallplatte, CD, Blu-ray, digitale Portale wie iTunes oder Soundcloud, Streaming-Dienste) und wirtschaftlich betrachtet somit breit aufgestellt sind, so beschränkt sich dies bei objektbasierten Produktionen aktuell auf einige Streaming-Dienste sowie vereinzelte Blu-rays.

Abschließend gilt, wie bei jeder neuen Technologie, dass die Nachfrage über den kommerziellen Erfolg entscheiden wird. Durch die Einbindung von Dolby Atmos Music und 360 RA bei Streaming-Diensten werden die objektbasierten Inhalte der breiten Öffentlichkeit präsentiert.

Wird dieses Angebot von der breiten Masse angenommen, so steigt der Bedarf an Produktionen sowie der Entwicklung und Optimierung von spezieller Soft- und Hardware – und damit einhergehend die Nachfrage nach einheitlicheren Workflows zur Produktion von objektbasierter Musik.

Interesse, objektbasiertes Audio zu produzieren? Hier geht’s zur Kontakt-Seite!