UNvisible: 3D-Sound für einen VR-Kurzfilm aus der Unreal Engine

Ein VR-Film, der nur auf einem Gaming-PC läuft, hat es auf Festivals schwer. UNvisible ist so ein Film: gebaut in der Unreal Engine, mit MetaHumans als Figuren und sechs Freiheitsgraden, Mindestanforderung eine Grafikkarte der oberen Mittelklasse. Viele Festivals nehmen solche Arbeiten gar nicht erst an, weil sie dafür eigene Rechner und jemanden bräuchten, der die ganze Zeit danebensteht, während sie einen 360°-Film einfach auf ihre Brillen laden.

Für die Kölner Produktionsfirma Digitalclay habe ich deshalb den Raumton der 360°-Fassung gebaut. Die Filmemacherin Pratima Pal hat UNvisible im Masterstudiengang Digital Narratives an der IFS Internationale Filmschule Köln entwickelt, Mahee Pal hat die VR-Anwendung programmiert. Meine Aufgabe war, die räumliche Tonebene, die in der Engine in Echtzeit entstand, in eine einzige Videodatei zu übertragen, ohne dass unterwegs die Richtung verloren geht.

Warum aus einem Unreal-Projekt ein 360°-Video werden musste

Die Geschichte dauert sieben Minuten. Van, ein Graffiti-Künstler, fährt U-Bahn und hält sich an der Erinnerung an eine kurze Begegnung mit Frida fest, bis Erinnerung und Vorstellung verschwimmen und er selbst allmählich verblasst. Das Thema ist Unsichtbarkeit, also die Menschen, denen man jeden Tag begegnet und die man trotzdem übersieht, weil man sich an ihren Anblick gewöhnt hat.

Interaktiv ist daran nichts. Man sitzt und schaut zu. Die PC-VR-Fassung erlaubt zwar, sich im Waggon zu bewegen, aber die Erzählung ist dafür nicht gebaut, und wer sich zu weit zur Seite lehnt, bringt die Szene ins Wanken. Das kenne ich aus eigenen Projekten. Lineare Erzählungen mit sechs Freiheitsgraden halte ich für einen guten Kompromiss, weil man einfach auf Play drückt und nicht erst überlegt, welchen Knopf man jetzt drücken soll. Zweimal habe ich Erlebnisse, die technisch 6DoF waren, bewusst in drei Freiheitsgraden gemischt, weil ich den Klang damit besser in der Hand hatte.

Bei UNvisible kam der Anstoß von außen: Die Festivals wollten 360°. Der Wechsel nimmt dem Film wenig, weil man ohnehin auf einem Platz im Waggon sitzt, und er macht ihn auf jeder autarken Brille abspielbar. Das Problem lag beim Ton. Bis dahin hatte die Engine jede Stimme und jedes Türgeräusch in Echtzeit im Raum platziert, und diese Rechenarbeit fällt im Video komplett weg. Das heißt: Was dort räumlich klingen soll, muss vorher fertig gemischt sein.

Wie die räumliche Logik aus der Engine in eine Datei wanderte

In der Unreal-Fassung saßen die Figuren und bestimmte Geräusche als Klangquellen in der Szene, etwa Türen, die aufgehen, oder Figuren, die im Gehen auf einen zukommen und dabei sprechen. Die Musik von Tom Owen lief dagegen als durchgehende Spur ohne Ort, dazu kam ein einzelner Musik-Clip, der von außerhalb der Station hereinklingt. Die Violine im Score spielt Juta Õunapuu-Mocanita, das Sounddesign der Originalfassung stammt von Tommy Kolak.

Aus diesem Material habe ich die Szene neu zusammengesetzt. Grundlage waren ein equirektangulärer Render des Films und die Einzelspuren als getrennte WAV-Dateien. Dabei habe ich das Sounddesign für die 360°-Fassung angepasst und zusätzlich Foley erstellt. Stimmen und Geräusche wurden wieder zu Objekten, die dort sitzen, wo die Figuren im Bild stehen und laufen. Gemischt habe ich objektbasiert, ausgespielt als Ambisonics. Dreht man in der Brille den Kopf und die Stimme bleibt trotzdem vorne kleben, denkt das Hirn sofort: Moment, da stimmt was nicht. Deshalb hört man Van weiter von seinem Platz, und was draußen am Bahnsteig passiert, bleibt draußen am Bahnsteig.

Für die Arbeit selbst ist das ein ziemlicher Bruch. Bei sechs Freiheitsgraden liefert man Assets, weil niemand weiß, wann die Zuschauerin an welchem Ort steht; Raum und Zeit sind variabel, einen Sweet Spot gibt es nicht. Ein lineares 360°-Video liefert eine einzige Datei. Ambisonics ist szenenbasiert und taugt deshalb wenig, sobald man sich frei durch den Raum bewegt, für eine feste Perspektive ist das Format aber gemacht, und bei UNvisible war die Perspektive ohnehin festgelegt.

Die Musik ist bei solchen Projekten die heikelste Ebene. Eine Stereospur, die starr am Kopf klebt, kämpft gegen die räumlichen Töne, weil sie keinen Ort hat und sich beim Umschauen nicht mitdreht. Wie man damit technisch umgeht, habe ich im Artikel über Head-Locked Stereo in Ambisonics-Mischungen beschrieben. Bei UNvisible habe ich das aufgeteilt: Wo die Musik nur trägt, liegt sie als Hintergrund am Kopf. In einer Szene habe ich sie dagegen in den Raum gesetzt, dort kommt sie von einem Ort und dreht sich beim Umschauen mit.

Viel Zeit war nicht. Die Festivalfristen lagen eng, das 8K-Rendering der MetaHumans dauerte länger als geplant, und trotzdem musste früh feststehen, welches Ambisonics-Format der Festival-Player überhaupt erwartet, weil Festivals 360°-Filme oft über eigene Player-Apps abspielen und nicht jede App gleich dekodiert. Klärt man das nicht, merkt man es erst vor Ort: Der Ton dreht sich nicht mit, und dann ist es zu spät.

Was entstanden ist: UNvisible als 360°-Film im Festivalwettbewerb

Die 360°-Fassung liegt als 8K-Video mit Ambisonics-Ton vor. Beim Umschauen in der VR-Brille oder am Handy dreht sich die Mischung mit, auf Kopfhörern wird daraus binauraler 3D-Sound. Wie das bei 360°-Videos auf YouTube funktioniert und wo es hakt, steht im Artikel über YouTube Ambisonics.

Mit dieser Fassung lief UNvisible vom 11. bis 15. August 2026 im Wettbewerb VR-shorts (360°) der ALPINALE in Bludenz. Die ursprüngliche PC-VR-Fassung war schon vorher unterwegs: 2025 bekam sie eine lobende Erwähnung bei Digital Arts Zurich und war beim Miami Art Tech Summit ausgewählt. Diese beiden Stationen gehören zur Unreal-Fassung, an der ich nicht beteiligt war.

Mir gefällt an dem Projekt, wie offen das Team mit seiner Technik umgeht. Mit MetaHumans und Echtzeit-Rendering hat es viel gelernt, auch darüber, was es beim nächsten Mal anders machen würde. Der Schritt zu 360° passt zu einer Geschichte, bei der man ohnehin sitzt und zuschaut, und er bringt sie vor ein Publikum, das keinen Gaming-PC neben der Brille stehen hat. Wie beim VR-Erlebnis Eddie and I geht es um einen Perspektivwechsel, und da muss der Ton dafür sorgen, dass man in der Szene sitzt und sie nicht von außen anschaut.

Hinter UNvisible steht ein Team aus Deutschland, Indien, Großbritannien, den USA, Polen und Kanada. Die vollständigen Credits stehen auf der Projektseite von Digitalclay.

Bildmaterial: © Digitalclay

Planst du einen VR-Film, der auch als 360°-Video laufen soll?

Ob Unreal, Unity oder gedrehtes 360°-Material: Welche Fassungen du am Ende brauchst, entscheidet schon beim Sounddesign mit. Lass uns früh darüber sprechen, bevor die Festivalfrist drückt.