Head-Locked Stereospur mit Ambisonic mixen

Was bedeutet head-locked?

Head-locked heißt zweierlei, und die Verwechslung führt regelmäßig zum falschen Schluss. Am Kopfhörer ist es ein Betriebszustand: Der Ton klebt am Kopf und dreht sich mit, weil ein normaler Kopfhörer nichts anderes kann. In der Produktion ist es dagegen eine eigene Tonspur, die parallel zur räumlichen Szene läuft.

Auf der Wiedergabeseite ist es ein Entweder-oder, weil man einen Modus wählt. Bei den AirPods Pro liegen beide direkt nebeneinander, Spatialize Stereo mit oder ohne Kopferfassung. Wer das sucht, findet es bei mir unter 3D Audio mit AirPods Pro und Beats.

In der Produktion ist es kein Entweder-oder, sondern ein Nebeneinander. Die Szene wird head-tracked ausgespielt und dreht sich beim Kopfdrehen mit. Alles, was nicht zur Szene gehört, also Musik, Erzählerstimme, Effekte über dem Bild, bleibt fest am Kopf. Genau darum geht es in diesem Artikel.

Warum das überhaupt ein Problem ist

Der Grund liegt im Material. Musik liegt zu neunundneunzig Prozent in Stereo vor, und Stereo passt schlecht zu Ambisonics oder anderen Mehrkanallayouts. Man braucht also einen Weg, den Stereoton in die Szene zu bekommen, ohne dass er mitdreht.

Für 360°-Video hat sich Ambisonics als Quasi-Standard etabliert, offiziell unterstützt seit 2016. Dazu kommt eine head-locked Stereospur, die sich im Gegensatz zum Ambisonics-Bett nicht mitdreht. Eine Mischung aus der FB360 Workstation besteht deshalb aus einer achtkanaligen Ambisonics-Datei im TBE-Format plus einer optionalen Stereospur.

Der Haken: YouTube nimmt dieses Hybridformat nicht an. Dort gehen vier Kanäle ambiX, mehr nicht. Die head-locked Spur fällt damit weg, und genau an dieser Stelle stehen die meisten Fragen aus der Praxis. Die Workarounds unten sind das, was übrig bleibt.

Wozu man das braucht, an einem Beispiel

Zum fünfzigsten Jahrestag der Olympischen Spiele in München sollte ein 360°-Video die Zeit seither erlebbar machen, ohne die Zuschauenden mit harten Schnitten zwischen den Epochen herauszureißen. Die Lösung lief über den Ton: Die Blickrichtung wählt das Jahrzehnt. Schaut man nach vorn, hört man die eine Musikdekade, dreht man sich, kommt eine andere.

Das funktioniert nur, wenn man Musik gezielt in die Szene setzen kann statt sie fest am Kopf zu lassen. Es ist der Gegenfall zu allem, was unten steht, und zeigt, warum die Entscheidung zwischen head-locked und head-tracked eine gestalterische ist, keine technische. Bei UNvisible, einem VR-Kurzfilm aus der Unreal Engine, habe ich es aufgeteilt: Hintergrundmusik bleibt am Kopf, in einer Szene sitzt sie im Raum.

Stand der Dinge bei 3D Audio

Eines der Probleme, nachdem in der Facebook Spatial Audio Gruppe wohl am meisten gefragt wird, ist folgendes: Mischungen, die mit der FB360 Workstation erstellt wurden, haben eine obligatorische 8-kanalige Ambisonic wav-Datei im TBE-Format, sowie eine optionale Stereo-Spur für Musik, also ein sogenanntes head-locked Audio, das sich im Gegensatz zur Spatial Audio Datei bei einer Kopfbewegung nicht mit dreht.

Head-Tracking heißt also, dass sich der Ton zur Blickrichtung mitverändert, head-locked bleibt bei der Wiedergabe von der Blickrichtung unabhängig. Diese beiden Begriffe – head-locked und head-tracked audio – bezeichnen unterschiedliche Arten von Spatial Audio.

Die Unterschiede zwischen fixed (head-locked) und head tracked spatial audio liegen darin, dass fixed audio unabhängig von der Kopfbewegung bleibt, während head tracked spatial audio die Position der Ohren im 3D-Raum erfasst und das Klangbild dynamisch anpasst.

Die Wahl zwischen diesen Arten hängt von den individuellen Anforderungen und Präferenzen des Nutzers ab, da beide Ansätze unterschiedliche Vorteile bieten. Wer wen Ambisonics Neuland ist, dem rate ich zuerst meinen kleinen Artikel als Einführung zu lesen: Ambisonics für Virtual Reality Video.

Soweit so gut, bei Facebook mit seinem eigenen TBE-format zu Arbeiten kein Problem. Der eigene Audio 360 Encoder kann neben dem 360° Video, die mehrkanalige Spatial Sound Datei, sowie die statische head-locked als Input auswählen und er gibt ein finales Video-File mit den 8 + 2 Audiokanälen.

YouTube unterstütz aber schon etwas länger 360° Sound, aber als 4-kanaliges Audio, Ambisonics erster Ordnung im Format ambiX.

Wenn man nun beim Facebook-Encoder versucht, als Format nicht „Facebook 360 Video“, sondern „YouTube Video (with 1st order ambiX) auszuwählen“, wird die Option „Head-Locked Stereo“ ausgegraut.

Weil diese Tatsache sehr unbefriedend ist und im besagten Social mMedia Kanälen entsprechend für Forure sorgt, wollte ich mit diesem Artikel Abhilfe schaffen. Wie eine Synchronstimme trotzdem ins Ambisonics-Feld muss, weil YouTube keine zweite Spur vorsieht, zeigt der Case zu Humboldt 360°.

Zurück zum Thema, dass der Encoder hier den Dienst verweigert, ist gar nicht mal seine Schuld: YouTube unterstütz hybride Formate von Facebook einfach nicht. Man kann nun lediglich seine 8-kanalige tbe-Datei automatisch ins 4-kanalige ambiX transcodieren lassen, das statische Stereo wird außen vorgelassen.

Doch was macht man nun mit Musik? Bevor ich eine Grundsatzdiskussion losbreche, ob Musik spatial oder statisch sein soll, das habe ich hier schon etwas diskutiert. Jetzt aber wirklich zu den Lösungsansätze:

Workarounds für head-locked Stereo mit head tracking

Mach‘ es Mono

Die wohl einfachste Lösung ist es, seine head-locked Stereo-Datei in eine summierte Mono-Datei umzuwandeln. Diese wird dann auf den ersten Kanal der Ambisonics-Datei geroutet. Dieser repräsentiert, unabhängig ob TBE oder ambiX, einen mono-kompatiblen, omnidirektionalen Stream.

Dieser Ansatz ist besonders für fixed spatial audio geeignet, da er eine grundlegende Richtungswahrnehmung (basic sense of directionality) ermöglicht.

Fixed spatial audio ist nicht dynamisch im 3D space, das heißt, der Sound bleibt immer aus derselben Richtung, unabhängig von Kopfbewegungen. Das ist zuverlässig für Nutzer, die stationär bleiben, zum Beispiel bei Anrufen oder während der Schreibtischarbeit.

Als Beispiel für geeignete Audiosysteme oder Soundstage Kopfhörer können klassische Studiokopfhörer wie die Sennheiser HD600 oder Audio-Technica ATH-M50x dienen, die für die Wiedergabe von festem räumlichem Audio geeignet sind.

Diese Lösung ist also für Voice-Overs am besten geeignet, welche meistens mono und als Im-Kopf-Lokalisation gewünscht sind.

Stereo Musik wird danach aber deutlich schlechter klingen, weil alle Seitenanteile verloren gehen. Generell sollte man hier aufpassen, dass der erste Kanal nicht zu laut wird, da selbst wenn der Pegel nicht 0dBFS ist, kann das beim späteren Decodieren der binaurale Wiedergabe zu Verzerrungen führen.

MS – Mid/Side Stereo

Eine ähnliche Herangehensweise, die aber die Seitenanteile beibehalten kann ist Folgende. Die head-locked Stereo-Spur, welche normalerweise zwei Spuren hat, also linker und rechter Kanal, wird jetzt MS-codiert.

Dabei entählt der erste Kanala alle Mono-Anteile (links+rechts)x0.5 und der zweite Kanal alle Seiten-Anteile (links-rechts)x0.5. Nun wird der erste Kanal, wie beim Mono-Workaround beschrieben auf den ersten Kanal der Spatial Audio Quelle geroutet.

Im Vergleich zu anderen Arten von Spatial Audio, wie etwa fixed audio und Spatial Audio mit headtracking, bestehen wichtige

Unterschiede: Während fixed spatial audio eine grundlegende Richtungswahrnehmung ermöglicht, erlaubt head tracked spatial audio eine dynamische Anpassung des Klangs an die Kopfbewegung des Nutzers.

Der beschriebene MS-Workaround bietet ebenfalls eine grundlegende Richtungswahrnehmung, ähnlich wie fixed spatial audio, jedoch ohne die volle Dynamik des Headtrackings.

Der zweite Kanal kann nun beliebig auf eine der anderen Achsen verteilt werden. Dabei empfiehlt sich die Höhen-Achse, weil das die Achse ist, um die die meiste Rotation beim späteren Betrachten auf der VR-Brille geschehen wird.

Somit würde sich das Seitensignal nur ändern, wenn der Zuschauer seinen Kopf nach oben oder unten bewegt, bzw. seinen Kopf nach links oder rechts rollt, warum auch immer man das tun mag.

Abonniere die aktuellsten 3D-Audio-News

Quad-Layout

Eine andere Herangehensweise ist folgende. Hier werden die beiden Kanäle des head-locked Stereo tatsächlich im Raum platziert, z.B. bei +45 und -45° Azimuth.

Jetzt hätte man genau das erreicht, was man ja eigentlich nicht will – die Musik für sich merkbar mitdrehen – aber wir sind ja noch nicht fertig. Deswegen dupliziert man einfach die Musik und platziert die Kanäle 3 und 4 auf -135° und +135° Azimut.

Nun hat man quasi eine Quadrofonie geschaffen, vergleichbar eines 5.1 Set-Up ohne Center + LFE und symmetrischer Winkelverteilung von 90°. Es empfiehlt sich, mit den Parametern „Spread“ zu hantieren, um beim head-tracking zu meiden, dass die 4 Objekte im Raum wirklich verortbar sind, bei höherem Spread also diffuser werden und etwas ineinander über gehen.

Man kann noch mehr Feintunen und statt 4 Objekt insgesamt 6 nehmen und Winkel im Abstand von 60° wählen. Dabei wird das head-tracking, also das Mitbewegen der Musik weniger offensichtlich, dafür wird es mehr an den Klang des Mono-Workaround angenähert.

Ähnlich ist es mit dem Ansatz, die 4 Objekte nicht 100% je links, rechts, links, rechts zu routen, sondern jeweils noch z.B. 50% des jeweils anderen Kanals hinzuzumischen.

Auch mit diesem Ansatz wird eine grundlegende Richtungswahrnehmung wie bei fixed spatial audio erreicht.

Fazit

Es gibt viele Möglichkeiten, Spatial Audio umzusetzen, wobei die Unterschiede zwischen fixed und head tracked spatial audio entscheidend für das Klangerlebnis sind.

Im Vergleich zu herkömmlichem Stereo bieten beide Ansätze eine deutlich größere Immersion, jedoch hängt die Wahl zwischen fixed und head tracked spatial audio stark von den individuellen Anforderungen und Präferenzen des Nutzers ab.

Stark abhängig ist eben, was nun auf der head-locked Spur für Inhalte sind, z.B. unterscheidet sich klassische Musik von elektronischer so stark, dass hier ein jeweils anderer Workaround Sinn macht.

In Kombination mit dem 3D Audio Stream kann es sein, dass der Unterschied kaum zu hören ist, etwa wenn es sich um typischen Filmton handelt. Bei sensiblen Musikanwendungen kann es aber schnell zu einem Problem werden.

Wünschenswert für den Audio 360 Encoder der FB360 Workstation wäre, einen der Workarounds automatisch zu implementieren, weil sonst jedes Mal eine neue Mischung erstellt werden muss mit Spatial Audio, das die Musik enthält.

Das kann fürs bloße Testen schnell lästig werden. Noch besser wäre es, wenn eine head-locked Stereo Spur zum Standard auf allen Virtual Reality Plattformen oder etwa von MPEG-H unterstützt wird.

Ich hoffe ich konnte mit meinem Artikel behilflich sein. Über Anregungen oder Vorschläge freue ich mich per Mail.

Lass uns über dein Projekt sprechen

Du willst deine Musik in 3D mischen oder mastern und brauchst dabei Unterstützung?