A History of VR – Sounddesign für einen interaktiven VR-Prototyp

Die Geschichte von VR in VR zu erzählen ist naheliegend und trotzdem heikel. Ein Museum kann Vitrinen aufstellen, ein Film kann Archivmaterial zeigen. In einer Brille sitzt das Publikum mittendrin und hat Hände, mit denen es Dinge anfassen will, statt zuzuhören.

Für den Prototyp „A History of VR“ habe ich den Ton gemacht. Die Erzählerin dieser Anwendung ist keine Person, sondern die Realität selbst, eine Stimme mit Meinung und schlechter Laune. Man sieht sie nie. Man sieht ein Licht, das mit ihrer Stimme schwingt.

Warum eine Erzählerin ohne Körper den Ton zur Hauptrolle macht

Damit dreht sich die übliche Rangfolge um. In einem Film ist die Erzählstimme ein Kommentar über Bildern, die auch ohne sie funktionieren würden. Hier ist die Stimme die Figur, und das Bild ist nur ihre Anzeige: ein Sternbild, dessen Leuchten sich nach dem gesprochenen Wort richtet, im Grunde ein Equalizer mit Charakter. Was in der Aufnahme passiert, entscheidet also darüber, was man sieht.

Dazu kommt, dass diese Erzählerin auf einen reagiert. Sie fordert einen auf, ein schwebendes Objekt anzufassen. Fasst man es nicht an, wird sie ungeduldig. Fasst man es ein zweites Mal an, kommt eine andere Spur, weil sie es langsam leid ist. Legt man das Objekt weg, bricht ihr Kommentar mitten im Satz ab und ein neuer beginnt, sobald man wieder zugreift.

Für den Ton heißt das etwas sehr Konkretes. In einem Film mische ich einen Ablauf, der immer gleich läuft. Hier gibt es keinen Ablauf, sondern eine Menge von Zeilen, von denen jede jederzeit starten, wechseln oder abbrechen können muss. Eine Zeile, die nur im Zusammenhang funktioniert, ist in einer Engine unbrauchbar. Warum diese Denkweise aus dem Game Audio inzwischen auch den Film erreicht, habe ich in Wie Game Audio das Film Sound Design beeinflusst aufgeschrieben. Das ist derselbe Unterschied, der auch beim VR-Prototyp zum Flugboot Dornier Do X die ganze Arbeit bestimmt hat.

Wie fünfzig Takes zu einer Figur wurden

Aufgenommen habe ich die Erzählerin im Juni 2021 mit einer Schauspielerin, in rund fünfzig Takes. Das Skript ist dabei kein Text zum Vorlesen, sondern eine Sammlung von Reaktionen. „Trau dich.“ „Hast du Angst?“ „Puh, du bist ja eine träge Socke.“ Solche Sätze stehen im Skript ohne festen Platz, weil erst der Spieler entscheidet, ob sie überhaupt vorkommen.

Beim Aufnehmen bedeutet das eine andere Arbeitsweise als bei einem Voice-Over. Jede Zeile braucht einen eigenen Anfang und ein eigenes Ende, weil sie kalt starten und hart aufhören können muss. Man kann keinen durchgehenden Monolog aufnehmen und ihn hinterher zerschneiden, weil die Betonung dann von einem Zusammenhang erzählt, den es im Spiel gar nicht gibt. Also nimmt man einzeln auf und achtet darauf, dass die Figur trotzdem über alle Zeilen hinweg dieselbe bleibt.

Neben der menschlichen Stimme gibt es eine zweite, die aus einem Signalgenerator kommt. Sie ist der Gegenpol: mechanisch, gleichmäßig, ohne Haltung. Der Kontrast macht erst hörbar, wie sehr die Erzählerin eine Figur ist und keine Ansage.

Ein zweites Problem entsteht dadurch, dass niemand weiß, was gerade sonst noch läuft. Wenn die Erzählerin zu sprechen anfängt, während der Spieler eine Münze in eine Schale wirft und im Hintergrund die Musik läuft, muss sie trotzdem verständlich bleiben. In einem Film löse ich das in der Mischung, weil ich weiß, was übereinanderliegt. In einer Engine muss die Regel vorher feststehen und für jede denkbare Kombination gelten. Das heißt in der Praxis: klare Rangfolge, wer wem ausweicht, und Effekte, die von vornherein so angelegt sind, dass sie den Sprachbereich frei lassen.

Die Mischung selbst war zur Hälfte Lokalisation. Die Stimme muss aus dem Licht kommen, sonst zerfällt die Idee sofort. Sitzt sie neutral im Kopf, ist sie wieder ein Kommentar von außen, und das Sternbild wird zur Dekoration. Kommt sie hörbar von dort, wo das Licht steht, dreht sich das Publikum von selbst hin, und die Figur existiert.

Bei der Musik lief eine eigene Kurve mit, die zu den drei Szenen gehört. Für Morton Heiligs Werkstatt war Swing und Jazz der fünfziger und sechziger Jahre die Richtung, für den Zeittunnel Synthesizer in der Machart von Stranger Things. Das Hauptthema kam von Simon Michel, ich habe es im Raum verteilt und in die Übergänge eingepasst.

Was daraus geworden ist

Entstanden ist ein spielbarer Prototyp für die Meta Quest 2 mit drei Szenen. Man beginnt in einem schwarzen Raum unter einem Sternenhimmel, landet in Morton Heiligs Werkstatt vor dem Sensorama von 1962, wirft eine Münze ein, schaut hinein und wird in einen Zeittunnel gezogen, in dem TRON-Motorrad, Virtual Boy und Arcade-Automat vorbeifliegen und im Vorbeiflug erklärt werden.

Das Sensorama in der Mitte dieser Geschichte ist übrigens der passendste Gegenstand, den man für so ein Projekt aussuchen kann. Morton Heilig baute die Maschine Anfang der sechziger Jahre und ließ sie 1962 patentieren, und sie war von Anfang an mehr als ein Bildgerät: stereoskopisches Bild, Stereoton, Fahrtwind, Vibration im Sitz und Gerüche. Der Ton war dort selbstverständlich Teil der Sache, lange bevor jemand das Wort Virtual Reality benutzte. Dass man in dieser Anwendung eine Münze einwirft und hineinschaut, während einem eine Stimme dabei zusieht, ist insofern ein hübscher Kreis.

Vierzehn einzelne Klangelemente hängen an diesen drei Szenen, vom Münzeinwurf über den Spotlight-Wechsel bis zum Sog in den Tunnel. Das klingt nach wenig für einen Film. Für einen Prototyp, der in einem Monat stehen musste, ist es eine Menge, weil jedes davon nicht nur klingen, sondern auch ausgelöst, unterbrochen und wieder aufgenommen werden können muss.

Der Prototyp diente als Grundlage für den Förderantrag beim FilmFernsehFonds Bayern, für den ich als Tonpartner eine Absichtserklärung beigesteuert habe. Der Antrag war erfolgreich: Der FFF Bayern bewilligte „A History of VR (in VR)“ am 24.11.2020 mit 30.000 Euro Projektentwicklungsförderung. Solche Vertical Slices sind in der XR-Produktion die übliche Währung: eine kurze, aber vollständige Strecke, an der sich zeigen lässt, wie das ganze Projekt funktionieren würde.

Umgesetzt hat das Team von straightlabs um Fabrizio Palmas, gemeinsam mit Matthias Leitner und Christian Schiffer, Design von Marcel Rühmer, Musik von Simon Michel. Ich war für Sprachaufnahme, Sounddesign, Mischung und Lokalisation zuständig.

Planst du einen VR-Prototyp für eine Einreichung?

Ein Prototyp muss beim ersten Durchlauf überzeugen, bei Leuten, die das Projekt nicht kennen. Lass uns früh darüber sprechen, welche Töne dafür einzeln liegen müssen.