Ambisonics für Virtual Reality und 360° Schallfeld

Warum Ambisonics?

Eigentlich ist dieses Format ca. 40 Jahre alt und hat sich kaum durchgesetzt. Problematisch ist nämlich, dass der Klang meist erst in den Ambisonics-Raum encodiert und zur Wiedergabe decodiert werden muss. Darüber hinaus ist der Sweetspot bei Lautsprecheranwendungen sehr klein.

Da aber 360° Videos bei einer VR-Brille fast ausschließlich zweikanalig über Kopfhörer wiedergegeben werden, können in den Software-Videoplayern bereits die nötigen Decoder implementiert werden. Dabei wird in Echtzeit aus dem Ambisonics-Signal über die HRTF (Head-Related Transfer Function) ein binaurales Stereo-signal berechnet, das sich je nach Blickrichtung des Zuschauers verändern kann.

Aufnahme

Für ein Ambisonics-Mikrofon hat sich eine kompakte Tetraeder-Anordnung bewährt, bei welcher vier Mikrofonkapseln mit Nierencharakteristik in alle Richtungen kugelförmig zeigen (siehe obiges Bild). Aufgezeichnet wird dieses Signal über einen mindestens vierkanaligen Recorder, der möglichst wenig Eigenrauschen und eine digitale Gain-Regelung besitzen sollte, um eine identische Vorverstärkung aller Mikrofone zu ermöglichen. Aufnahmegerät und Mikrofon werden möglichst nahe an der 360° Kamera platziert, da später das Kamera-Stativ aus dem Bild retouchiert wird und damit auch das Ton-Equipment.

Diese Ambisonics-Aufnahme wird als A Format bezeichnet und muss in der Post-Produktion später durch ein Encoder-Plugin ins B Format übertragen werden, um weiter verarbeitet werden zu können.

Im Folgenden werden einige relevante Ambisonics-Mikrofone vorgestellt, die für VR-Produktionen genutzt werden können.

Soundfield Ambisonics Mikrofone

Soundfield bietet drei hochqualitative Ambisonics-Mikrofone auf dem Markt an, die im höheren Preissegment liegen. Für VR-Produktionen könnten diese Mikrofone teilweise zu groß sein, da sie normalerweise unter der Kamera versteckt werden. Eine handlichere Alternative ist das neuere Røde NT-SF1, das in Zusammenarbeit von Røde und Soundfield entwickelt wurde

Sennheiser Ambeo VR Mic

Eine gute Balance zwischen Größe und Klangqualität bietet auch das Mikrofon Sennheiser Ambeo® VR. Das Ambeo erzeugt ein sogenanntes A-Format, ein rohes 4-Kanal-File, das in das Ambisonics B-Format umgewandelt werden muss. Sennheiser stellt dafür die entsprechende Software zur Verfügung. Sennheiser bietet zusammen mit Dear Reality ein PlugIn, das das Audiosignal vom A-Format ins B-Format umwandelt und direkt rotiert.

Zoom H3-VR

Für kleinere Produktionen stellt der Zoom H3-VR Recorder eine relativ kostengünstige und praktische Lösung dar. Im Gegensatz zu den anderen Mikrofonen ist hier bereits ein Recorder integriert, was den Workflow erheblich beschleunigen kann. Außerdem bietet Zoom eine Standalone Software für die Audiobearbeitung. Damit können die Aufnahmen etwa in Stereo, binaurales Audio oder 5.1 umgewandelt werden ohne eine DAW nutzen zu müssen.

Eigenmike

Ein interessantes System mit einem anderen Ansatz ist das MH Acoustics Eigenmike. Mit diesem Mikrofon ist es möglich, sowohl FOA als auch Higher Order Ambisonics aufzunehmen. Das Mikrofon enthält eine große Anzahl einzelner Mikrofonkapseln. Es ist jedoch nicht nur in einem sehr hohen Preissegment erhältlich, sondern stellt auch eine Herausforderung dar, ein gutes Niveau an Klangqualität mit einem solch komplexen System zu erreichen.

Post-Produktion

Das Audiosignal bleibt bei der Umwandlung vom A- ins B-Format vierkanalig, doch anstatt der Mikrofonkapseln 1, 2, 3 und 4, werden die Signale im B Format nun umgewandelt in die Kanäle W, X, Y und Z. Dabei sind X,Y und Z Raumachsen, während W ein kompatibles mono Signal ist, das alle Signalanteile enthält und damit omnidirektional ist. Nachfolgende Abbildung soll die Anordnung der beschriebenen Kanäle verdeutlichen. Man kann es sich als Mid Side Stereophonie vorstellen, nur eben mit drei Seiten-Signalen statt einem.

Die vierkanalige Auflösung ist dabei relativ diffus, eignet sich aber besonders für Atmos und O-Töne, die aufwendig in der Post-Produktion durch Foleys erstellt und im 3D Audio Raum platziert werden müssten. Da die Aufnahme vom Set meist aber komplett übernommen werden kann und das Headtracking so bereits funktioniert, bietet es in der Mischung eine gute Ausgangsbasis.

Ambisonics Formate

Es gibt zwei wichtige Spatial Audio Formate, die für VR verwendet werden. Das erste ist das offene AmbiX-Format, das mit YouTube, Facebook, Samsung, Oculus und vielen anderen VR-Playern kompatibel ist. Das zweite Format nennt sich Ambisonics-Format Two Big Ears (.tbe). Das System wurde von dem Unternehmen „Two Big Ears“ entwickelt, welches später von Facebook aufgekauft wurde.

Beim Sound Design für VR-Filme in einer Digital Audio Workstation (DAW) wird häufig das B-Format genutzt. Hierbei ist es wichtig, dass die DAW mindestens über 4-Kanal-Spuren verfügt. Standard-DAWs wie ProTools, Logic oder Audition unterstützen das Mischen von Sound für Videos, jedoch sind sie nicht mit VR-Videos kompatibel. Hierfür werden zusätzliche Plugins benötigt, zum Beispiel das kostenlose Plugin Facebook 360 Spatial Workstation (FB360). Mit diesem Programm können VR-Videos in der DAW wiedergegeben und Spatial Audio für VR erzeugt werden.

Surround-Sound und Ambisonics

Surround-Sound-Enthusiasten werden in Ambisonics einen überzeugenden Vorteil sehen. Im Gegensatz zu den meisten Surround- oder Immersive-Audio-Formaten, die halbkugelförmig sind und sich in erster Linie auf die Links-Rechts-Klangprojektion konzentrieren, bietet Ambisonics eine sphärische Klangprojektion im Gegensatz zu Technologien wie Dolby Atmos sogar Höheninformationen „von unten“ mit ein.

Plattformen

Mit der stetig wachsenden Fangemeinde erhöht sich auch die Anzahl der Plattformen, auf denen VR-Inhalte zur Verfügung gestellt werden. Bei vielen dieser Plattformen werden jedoch anspruchsvolle Anforderungen an die Inhalte gestellt und sind für VR-Kreatoren nicht immer leicht zugänglich.

Die beiden führenden Plattformen, die das Hochladen von VR-Filmen ermöglichen, sind YouTube 360 und Facebook 360. Beide Plattformen haben bereits Zehntausende von VR-Videos hochgeladen. YouTube 360 unterstützt First Order Ambisonics im b format, während auf Facebook 360 auch tbe Inhalte erlaubt mit optionale head-locked stereo Spur. Die entsprechenden Audioformate können mit dem FB360 Encoder exportiert werden, um eine korrekte Darstellung auf der jeweiligen Plattform zu gewährleisten.

Vorteile/Nachteile

First-Order Ambisonics ist eine äußerst nützliche Methode, um räumlichen Klang für VR-Filme zu erzeugen. Es hat jedoch auch einige Einschränkungen. Die räumliche Auflösung des B-Formats ist begrenzt und kann nicht immer perfekt wiedergegeben werden, insbesondere bei Aufnahmen mit Ambisonics-Mikrofonen in halligen Umgebungen oder wenn das Mikrofon weit von der Schallquelle entfernt ist.

In solchen Fällen kann der Klang diffus wirken. Die Verwendung von computergeneriertem Ambisonics-Audio, das die HRTF (Head-Related Transfer Function) simuliert, kann ebenfalls zu Lokalisierungsfehlern führen. Eine mögliche Lösung besteht darin, das Ambisonics-Mikrofon näher an der Schallquelle zu platzieren, wie es in herkömmlichen Filmen üblich ist. Allerdings hat dies den Nachteil, dass das Mikrofon in einer 360°-Aufnahme sichtbar ist. Andererseits kann die räumliche Wahrnehmung verzerrt werden, wenn das Mikrofon weit von der 360°-Kamera entfernt ist, da die Klangquellen dann nicht mehr mit den visuellen Positionen übereinstimmen.

Hier die Vorteile und Nachteile vom Audio Format in Kürze:

Vorteile

• Ambisonics ist kugelförmig, kann damit im Gegensatz zu den meisten Surround- oder immersiven Audio-Formaten, welche eine Halbkugel darstellen, auch Höheninformationen „von unten“ projezieren.
• Patente für Verfahren sind bereits abgelaufen, damit ist die Technologie quasi frei zugänglich.
• Ambisonics ist durch höherer Ordnungen mit mehr Kanälen beliebig erweiterbar, andersherum ist kein extra Downmix nötig, um z.B. von 16 Kanälen auf 4 zu kommen; lediglich die Auslösung wird geringer.
• Mit First Order Ambisonics Ambix (ACN, SN3D) etabliert sich gerade ein Standard. (z.B. auf YouTube)

Nachteile

• Kann nicht ohne Decoder richtig wiedergegeben werden, auf verschiedenen Plattformen kann ein und die selbe Audio unterschiedlich klingen.
• Geringe Kompatibilität für statische Stereo-Sounds (z.B. Musik) -> Workaround nötig
• Ambisonic ist Szenen-basiert. Ein Wegbewegen von der Ausgangsposition ist nur begrenzt möglich, für interaktive VR-Anwendungen also weniger gut geeignet als objekt-basiert.
• Higher Order Ambisonic ermöglicht zwar eine bessere Ortung, hat aber eine große Datenmenge und löst das ursprüngliche Problem nicht, an eine bestimmte Anzahl von Audio-Kanälen gebunden zu sein.
  Erfahre mehr über Audio Formate