Virtual Reality Musik bei cinematischen 360° Videos

Dank VR Videos muss man wieder damit beginnen Dinge zu hinterfragen, die seit Jahrzehnten eigentlich klar sind – wie etwa der Einsatz von Musik. Das Problem ist nämlich folgendes: hört man Musik im 360° Raum, dann müsste man doch auch irgendwo Musiker oder Künstler sehen, oder nicht? Und wenn man sie trotzdem nutzt, soll sie sich auch mit der Blickrichtung mitdrehen oder statisches Stereo sein?
Diese Fragen lassen sich pauschal nicht so einfach beantworten, da sie stark von der Anwendung abhängen. Deswegen möchte ich hier die einzelnen Szenarien diskutieren.
Anmerkung: Dieser Artikel bezieht sich ausschließlich auf zeitlich lineare Videos. Musik bei interaktiven VR-Inhalten ist nochmal ein ganz anderes Thema, dem ich bei Gelegenheit auch mal auf den Grund gehen werde.

Spatial oder nicht-Spatial – das ist hier die Frage

Live-Musik in 360°

Der einfachste Fall ist wohl die Videoaufzeichnung einer Live-Performance. In einem Konzerthaus sieht man meist Musiker auf einer Bühne, hier stimmt also der Ton/Bild-Bezug und es ist klar, dass die Musik auch aus Richtung der Musik kommt. Während z.B. Applaus aus Richtung der Zuschauer und vom Publikum kommen würde.
Vorsicht bei Realismus: In Echt würde nämlich der Sound aus den Lautsprechern kommen. Hier würde es aber mehr Sinn machen, den Klang von z.B. der E-Gitarre auch auf die Position des E-Gitarristen zu setzen.

VR360 Musik-Video

Musik-Videos setzen dem Song das Sahnehäubchen auf und erfreuen sich einer unveränderten Beliebtheit. Der Trend geht aber zu 360° Videos – wer hätte es gedacht? Aus persönlicher Erfahrung kann ich sagen: Zurecht! Mit einer VR-Brille auf den Augen und der Musik auf den Ohren, taucht man nochmal wahnsinnig tief in die Musik ein. Es ist ein bisschen so, wie wenn man die Augen schließt und in der Musik versinkt. Doch statt Kopfkino zeigt das Video wohin die musikalische Reise auch visuell geht.
Hier kann nicht ohne weiteres die Frage beantwortet werden, ob eine statische Stereo-Mischung oder die potentiell immersivere Variante in Richtung Virtual Reality Musik sinnvoller ist.

Stereo-Mix

Es ist naheliegend einfach die Musik-Mischung zu nehmen, die auch im Radio läuft. Für mich einer der wenigen Anwendungen, um bei Virtual Reality Videos komplett auf Spatial Sound zu verzichten. Der Vorteil ist, dass die Musik immer genau so gehört wird, wie es gedacht wird, da es nur genau eine Version gibt, die plattform- und geräteübergreifend funktioniert.

3D Audio Musik

Hierfür muss aus den Spuren der Musik eine extra Mischung gemacht werden, die natürlich die Produktionkosten und -aufwand erhöht. Ich stelle gerade fest, dass ich hierfür fast einen eigenen Blogeintrag machen müsste, um alle Vor- und Nachteile ausführlich festhalten zu können. Doch am Besten bildet man sich ein eigenes Urteil zur Virtual Reality Musik mit folgenden Beispiel:

Great Case: EDEN – drugs (VR Experience)

Für diesen Song wurde der Aufwand betrieben, für alle möglichen VR-Plattformen eine Spatial Audio Mischung zu machen. Heißt auf YouTube mit Ambisonics, auf JauntVR mit Dolby Atmos VR. Aber natürlich gibt es auch den handelsüblichen Stereo-Mix auf YouTube.
Am Besten einfach mal selber den Vergleich mit Kopfhörern machen, JauntVR auf der GearVR, auf Android mit der YouTube-App oder dem Chrome-Browser auf Desktop.

Ich persönlich finde den räumlichen Eindruck bei der Spatial Mischung toll, da hier die Tondrehung mit dem Bild über einstimmt und dadurch die Immersion größer ist. Aber auch der Stereo-Mischung kann ich etwas abgewinnen. Sie wirkt für mich direkter am Ohr/im Kopf, so wie man Musik eben aus dem mp3-Player kennt.

Storytelling in Cinematic VR mit Musik

Über dieses Thema kann ebenfalls viel gesagt werden, ich möchte es aber aufs Einfachste herunter brechen:
Der Einsatz von Filmmusik innerhalb eines 360° Videos muss grundlegend hinterfragt werden, da die Musik im seltensten Fall durch sichtbare Schallquellen wiedergespiegelt werden kann (Musiker, Lautsprecher im Bild etc.)
Doch man kann es sich auch einfach machen und Filmmusik so nutzen, wie es bei nicht-VR Videos gemacht wird. Der Zuschauer hat im Kino gelernt, sich durch die Musik emotional leiten zu lassen und denkt sich nicht „Ich höre ein Orchester, wo ist also Hans Zimmer!?“.
Ich persönlich nutze Musik eher sparsam, aber dann, wenn in einer Reihe von Szenen wenig passiert und die Musik die Sinneseindrücke nicht überlädt. Dabei bleibe ich im herkömmlichen Stereo. Ich habe für mich als Komponist entschieden, dass ich nicht möchte, dass der Betrachter einen Einfluss auf die Virtual Reality Musik nehmen kann. Hier stecken aber auch Möglichkeiten den Zuschauer über den O-Ton hinaus zu lenken, etwa mit einzelnen Instrumenten, die in den Raum gelegt werden und sich im Vergleich zum Rest der Musik mitdrehen.

Musik in Surround, ohne Virtual Reality

Eine letzte Unterscheidung möchte ich noch durchführen. Musik in Surround (5.1, Dolby Atmos, Auro 3D etc.) zu mischen, ist schon seit etlichen Jahren gängig. Die Herangehensweisen beim Mixing können aber nicht ohne weiteres auf VR-Inhalte übertragen werden. Der Grund ist folgender:
Bei Surround-Mischungen wird von einer fixen Blickrichtung ausgegangen, da der Zuschauer meist in einem Surround-Lautsprecher-Setup sitzt und sich vor ihm der Bildschirm befindet. So ist es z.B. üblich den Gesang oder die Snare-Drum im Center zu platzieren, somit kommt sie für den Zuhörer „von vorne“. Würde man diese Mischung aber in 360° übernehmen und über Kopfhörer wiedergeben, hätte das zu Folge, dass bei einer Kopfdrehung nun z.B. der Gesang auf nur einem Ohr wiedergegeben wird, wenn man sich um 90° dreht.
Es kann also vereinfacht gesagt werden, dass bei Virtual Reality Musik einzelne Instrumente weniger extrem auf einer Position platziert werden, da sie durch das Headtracking weitaus schneller herausstechen können.

Fazit

Es gibt keine allgemein gültige Antwort. Diese hängt eben stark vom Case ab. Persönlich bevorzuge ich Musik im statischen Stereo, da es die Musikproduktion klassisch hält und weniger Überraschungen bietet. Trotzdem ist hier viel unerforschtes Terrain und werde auch selber vermehrt mit dem Thema Virtual Reality Musik experimentieren und bin gespannt, wie andere Content-Producer mit dieser neuen Möglichkeit und Technologie arbeiten werden.