Apple Immersive Video Sound: ASAF Aufnahme und Post-Produktion

Eine Geländefahrt ist eine der wenigen Erfahrungen, die fast vollständig körperlich sind. Du spürst den Untergrund über den Sitz, du hörst das Fahrwerk einen Schlag nehmen, bevor du den Stein siehst, und allein am Motor merkst du, wie hart das Auto arbeitet. Leg das auf einen flachen Bildschirm, und all das verschwindet. Das Bild überlebt, die Erfahrung nicht.

In diesem Projekt ging es darum, sie zurückzuholen, als Apple Immersive Video, für ein Fahrerlebnis, das einmal am Berg und einmal auf einem abgesperrten Testgelände stattfindet. Ich habe den Ton im Apple Spatial Audio Format aufgenommen und die Mischung der einzelnen Szenen gemacht, inklusive des zusätzlichen Sounddesigns.

Warum eine Geländefahrt zuerst Ton braucht und dann Bild

Die Bildseite ist gelöst. Stereoskopisches 180°-Video ist auf der Vision Pro scharf genug, schnell genug und stabil genug im Head-Tracking, dass das Bild aufhört, die Grenze zu sein. Übrig bleibt der Teil, den niemand bemerkt, solange er da ist.

Sieh dir ein Fahrzeug ohne Ton über eine Schotterpiste fahren an, und du siehst ein Auto in Bewegung. Nimm den Ton dazu, und etwas anderes passiert. Das Knacken der Steine unter den Reifen sagt dir, dass der Untergrund lose ist. Das Rattern vom Fahrwerk sagt dir, wie hart die Federung arbeitet. Die Bremsen quietschen, die Reifen schmirgeln, wenn das Heck ausbricht, der Motor heult auf, wenn der Fahrer es verlangt. Nichts davon ist Dekoration. Das ist die Information, aus der dein Körper schließt, ob er in etwas Robustem sitzt oder in etwas Zerbrechlichem.

Deshalb kann der Ton hier nicht aus der Bibliothek kommen. Ein generischer Schotter-Loop klingt nach Schotter. Er klingt nicht nach diesem Fahrzeug auf diesem Untergrund bei dieser Geschwindigkeit. In dem Moment, in dem beides auseinanderfällt, bricht die Illusion, und auf einem Headset bricht sie härter als auf einem Bildschirm, weil der Betrachter in der Szene sitzt statt davor.

Apple behandelt Ton in diesem Format gleichrangig zum Bild, und das Apple Spatial Audio Format gibt dir die Präzision, ihn entsprechend zu platzieren. Das hilft nur, wenn die Aufnahmen darunter es wert sind, platziert zu werden.

Wie die Fahrt unter extremen Bedingungen aufgenommen und in ASAF gemischt wurde

Gedreht wurde mit mehreren Fahrzeugen gleichzeitig, am Berg und auf dem Testgelände, und der Ton musste beides überstehen.

Rigging auf und im Fahrzeug. Mikrofone kamen mit Saugnapfhalterungen an die Karosserie und in den Innenraum, sodass derselbe Durchgang die Außen- und die Innenperspektive lieferte. Das ist wichtig, weil beide Verschiedenes erzählen: von außen hörst du eine Maschine arbeiten, von innen hörst du, was der Fahrer spürt. Im fertigen Stück braucht der Hörer beides, und es muss sample-genau zusammenliegen.

Im Format aufnehmen, nicht hineinkonvertieren. Das Material wurde von Anfang an für das Apple Spatial Audio Format aufgenommen. Eine konventionelle Mehrkanalmischung nachträglich umzuwandeln kostet genau die räumliche Präzision, für die das Format existiert, und auf einem Headset ist dieser Verlust hörbar.

Angel zu Fuß. Nicht alles lässt sich riggen. Eine Wasserdurchfahrt, ein Stück loser Untergrund, ein bestimmter Reifenklang in einer bestimmten Kurve: Das wird vom Ufer aus aufgenommen, von Hand, während das Fahrzeug vorbeifährt. Genau hier schlagen die extremen Bedingungen zu. Wasser, Staub, Kälte, und Fahrzeuge, die eine Passage nur ein- oder zweimal fahren.

Perspektive aus der Luft. Eine Drohne trug das stereoskopische Immersive-Kamerarig für die weiten Überflüge am Berg. Ton in Drohnennähe ist unbrauchbar, deshalb entstehen diese Perspektiven in der Mischung aus den Bodenaufnahmen statt zusammen mit dem Bild.

Ausspielen im Apple-Ökosystem. Die fertige Mischung verlässt die Post-Produktion im Apple Spatial Audio Format und wird über den Apple Positional Audio Codec (APAC) transportiert. Für die Apple Vision Pro heißt das: Die Objektpositionen bleiben bis zum Kopfhörer erhalten, das Head-Tracking rechnet gegen die aufgenommene Position statt gegen eine nachträglich geschätzte, und ein Bett aus Ambisonics höherer Ordnung trägt die Umgebung, während die einzelnen Objekte darüber liegen.

Szene für Szene mischen. Jede Szene bekam ihre eigene Mischung statt einer globalen Einstellung. Eine Steigung, eine Wasserdurchfahrt und eine schnelle Passage auf dem Testgelände haben akustisch nichts gemeinsam, und sie gleich zu behandeln ist der schnellste Weg, ein immersives Stück flach wirken zu lassen. Auf die Aufnahmen kam zusätzliches Sounddesign, wo die Realität entweder nicht verfügbar oder nicht lesbar war: einen Aufprall verstärken, den das Mikrofon zu höflich eingefangen hat, einer Bewegung eine klare Richtung geben, eine Passage aufräumen, damit das eine Detail, das den Moment trägt, nicht unter allem anderen begraben liegt.

Was am Ende entstanden ist

Das Ergebnis ist ein Apple Immersive Video, in dem die Fahrt etwas ist, worin man sitzt, statt etwas, das man ansieht. Dreh den Kopf zu dem Rad, das gerade den Stein gefunden hat, und der Ton ist schon da, weil die Position aufgenommen und nicht nachträglich geschätzt wurde.

Drei Dinge, die das einem Markenerlebnis gibt und ein konventioneller Film nicht:

Fähigkeit wird hörbar. Ein Datenblatt sagt, was ein Fahrzeug kann. Der Klang eines Fahrwerks, das einen Schlag aufnimmt und dabei ruhig bleibt, zeigt es, und der Betrachter zieht den Schluss selbst, statt ihn gesagt zu bekommen.

Der Körper reagiert. Spannung in den Schultern an der Steilpassage, ein Zusammenzucken beim ersten Steinschlag. Körperliche Reaktionen bleiben hängen, und sie werden von Ton weit zuverlässiger ausgelöst als von Bild.

Es funktioniert im kontrollierten Raum. Ein Headset-Erlebnis setzt den Betrachter aus einem Showroom, von einem Messestand oder aus der Fläche heraus an den Berg. Kein Testgelände, kein Wetter, kein Risiko, und für jeden dieselbe Erfahrung.

Den technischen Hintergrund zum Format gibt es unter Apple Spatial Audio Format (ASAF) Plugins in Pro Tools, und wie sich ASAF zu anderen räumlichen Formaten verhält, steht unter MPEG-H Audio und Was ist Dolby Atmos.

Planst du ein Apple Immersive Video oder ein 360°-Projekt?

Wenn du für die Vision Pro produzierst und der Ton die Erfahrung tragen soll statt sie zu begleiten, ist das der Teil, den ich mache.