Spatial Video von Apple funktioniert am besten mit Spatial Sound

Einführung in Spatial Video und die Innovationen von Apple

Immersive Medien haben ein beträchtliches Wachstum verzeichnet, das durch die Nachfrage nach tieferen, fesselnderen Erfahrungen angetrieben wird. Apple hat eine Schlüsselrolle bei der Weiterentwicklung von Video-, Foto- und Tontechnologien gespielt. Die Einführung von Spatial Video stellt einen großen Schritt nach vorne dar und bietet ein neues Format für die Erfassung von Tiefe und Dimensionalität.

Mit dem Update auf iOS 17.2 können Nutzer nun räumliche Videos mit dem iPhone 15 Pro aufnehmen, was die Nutzererfahrung mit dem Vision Pro Headset erheblich verbessert.

Was ist die Funktion „Spatial Video“?

Spatial Video ermöglicht es Benutzern, Momente mit Tiefe und Immersion festzuhalten, die über traditionelle 2D- und 3D-Bildformate hinausgehen. Das iPhone 15 Pro kann räumliche Videos aufnehmen, was die Intuitivität und Einfachheit der Aufnahme betont. Durch die Kombination fortschrittlicher Kamerasysteme mit räumlichem Audio wird den Zuschauern ein lebensechteres Erlebnis geboten, sei es für persönliche Erinnerungen oder kreative Projekte.

Die Wiedergabe dieser 3D-Inhalte auf dem Vision Pro Headset bietet ein lebendiges und intensiv realistisches Erlebnis, das mit herkömmlichen Videoformaten nicht vergleichbar ist.

Schlüsselgeräte: iPhone 15 Pro, iPhone 16 Pro und Vision Pro

Das iPhone 15 Pro, iPhone 16 Pro und Vision Pro sind von zentraler Bedeutung für diese Innovation. Das iPhone 15 Pro ist ein innovatives Smartphone, das bei der Erstellung räumlicher Videos eingesetzt wird.

• Die iPhones führen den räumlichen Videomodus ein, der Momente mit Tiefe und Realismus einfängt.
• Das Vision Pro verbessert diese Videos und bietet ein beeindruckendes Seherlebnis. Das Vision Pro ist ein Mixed Reality Headset, das als erstes Produkt dieser Art angekündigt wurde und innovative Funktionen wie die Möglichkeit bietet, räumliche Videos in 3D aufzunehmen und anzusehen.

Alltägliche immersive Erlebnisse

Die räumliche Videofunktion von Apple ermöglicht es auch alltäglichen Nutzern, immersive Inhalte zu erstellen und besondere Momente des Lebens mit Tiefe und Dimension festzuhalten. Nutzer können mit den neuen Funktionen des iPhone 15 Pro interagieren und beeindruckende 3D-Videos aufnehmen, die mit dem Apple Vision Pro Headset betrachtet werden können.

Diese Mischung aus Video- und Audiotechnologie läutet eine neue Ära in der Art und Weise ein, wie wir Medien erstellen und erleben. Die Erfahrung, die durch die Nutzung dieser Technologien entsteht, ist sowohl realistisch als auch involvierend.

Was ist räumliches Video und wie funktioniert es?

Tiefe in räumlichen Videos einfangen

Der Schlüssel zu räumlichen Videos liegt in der Verwendung von Dual-Kamerasystemen, insbesondere der Haupt- und Ultraweitwinkelkameras auf Geräten wie dem iPhone 15 Pro Max. Diese Kameras arbeiten zusammen, um Bilder aus mehreren Winkeln und Perspektiven gleichzeitig aufzunehmen und so ein 3D-ähnliches Erlebnis zu schaffen.

Eine optimale Lage bei der Aufnahme ist entscheidend, um verwackelte Aufnahmen zu vermeiden und die Qualität der 3D-Wiedergabe auf dem Vision Pro Headset zu gewährleisten. Die Ultraweitwinkelkamera erweitert das Sichtfeld, während das Telefon und die Hauptkamera die Kerndetails erfassen, was zu einem Video führt, das die Tiefe und den Raum der aufgenommenen Szene widerspiegelt.

Die Nutzung des Querformats ist erforderlich, um den Aufnahmemodus zu aktivieren und eine optimale Anzeige der Videos auf dem Vision Pro Headset zu gewährleisten.

Spatial Audio Integration

Ein wesentlicher Bestandteil des räumlichen Videoerlebnisses ist die Integration von räumlichem Audio. Diese Audiotechnologie verbessert die immersive Qualität räumlicher Fotos, indem sie den Ton mit der Bewegung und Position des Betrachters synchronisiert, insbesondere bei der Verwendung von Apps wie Vision Pro. Nutzer müssen den Modus für räumliche Videos in der Kamera-App aktivieren, um diese mit dem iPhone 15 Pro aufzuzeichnen.

Der Ton ist so konzipiert, dass er sich auf natürliche Weise verschiebt, wenn man den Kopf bewegt, wodurch das Seherlebnis noch realistischer wird. Die beeindruckenden Funktionen des Vision Pro heben die Qualität der 3D-Videos hervor, die in einer einzigen Datei gespeichert werden. Ganz gleich, ob man sich ein Familienereignis oder ein Kinofilmvideo ansieht, räumlicher Ton verleiht dem Ganzen eine zusätzliche Ebene der Tiefe, die dem Zuschauer das Gefühl gibt, wirklich im Moment präsent zu sein.

Die Rolle von Vision Pro bei der Verbesserung räumlicher Videos

Der Apple Vision Pro definiert die Art und Weise, wie wir räumliche Videos erleben, neu, indem er ein Maß an Immersion bietet, das von anderen Geräten nicht erreicht wird. Videos, die mit dem iPhone 15 Pro aufgenommen wurden, können bei der Bearbeitung auf einem Mac in 2D-Dateien umgewandelt werden, was auf eine begrenzte Unterstützung für räumliche Videos auf der Mac-Plattform hinweist.

Mit seinem hochauflösenden Display und der fortschrittlichen Integration von räumlichem Audio verleiht der Vision Pro Videoinhalten eine lebensechte Tiefenschärfe, sodass der Zuschauer das Gefühl hat, vollständig in den Moment einzutauchen. Apple hat bislang spärliche Informationen zur Unterstützung dieser Funktion bereitgestellt, während die Benutzerfreundlichkeit und die intuitiven Eigenschaften der Aufnahme betont werden.

Ob es sich um ein zwangloses Heimvideo oder ein Kinoerlebnis handelt, der Vision Pro verbessert die visuellen und akustischen Elemente und gibt dem Zuschauer das Gefühl, Teil der Szene zu sein.

Spatial-Video-Modus: Vision Pro vs. iPhone 15 Pro Max

iPhone 15 Pro Max:

• Video: 1920×1080 Auflösung, 30 FPS, 15,5 Mb/s Bitrate. Das Dual-Kamerasystem (Haupt- und Ultraweitwinkelkamera) ermöglicht eine hochwertige 3D-Aufnahme. Die HEVC-Dateien bieten eine kompakte Größe bei gleichzeitigem Erhalt der Qualität, sind jedoch auf eine maximale Auflösung von 1080p und 30fps beschränkt und erzeugen detaillierte und immersive räumliche Videos.
• Audio: AAC LC-Format mit 2 Kanälen und einer Bitrate von 170 kb/s, das einen klaren, aber einfachen Stereoklang für den täglichen Gebrauch bietet.

Apple Vision Pro:

• Audio: Ausgestattet mit 6 Mikrofonen ist das Vision Pro für eine verbesserte räumliche Audioaufnahmeausgelegt und liefert ein reichhaltiges, immersives Klangerlebnis. Der Ton passt sich dynamisch den Bewegungen des Benutzers an und schafft so eine authentischere Umgebung.
• Video: Das Kamerasystem des Vision Pro kann zwar nicht mit der Videoqualität des iPhone 15 Pro Max mithalten, aber sein Schwerpunkt liegt auf der Schaffung eines verbesserten, immersiven Erlebnisses, indem es der Klangtreue und der visuellen Einbindung Vorrang einräumt. Die Aufnahmen können sowohl im Raum als auch im Vollbild auf der Vision Pro betrachtet werden. Die Kombination aus detailliertem Klang und interaktiven Bildern gleicht alle technischen Einschränkungen der Kamera aus.

Wichtigste Anwendungsfälle für Vision Pro

Das Vision Pro eignet sich hervorragend für verschiedene Szenarien, bei denen es auf Immersion ankommt. Es ermöglicht Familien, persönliche und intime Momente gemeinsam zu erleben und schafft eine lebendige und realistische Verbindung zwischen den Familienmitgliedern.

• Familienerinnerungen: Persönliche Momente werden mit zusätzlicher Tiefe und Klarheit wiedererlebt, wodurch sich Ereignisse lebendiger anfühlen als je zuvor. Diese Videos vermitteln eine Intimität und Lebendigkeit, die herkömmliche Videoformate nicht erreichen können, und lassen die Zuschauer in das Leben der dargestellten Personen eintauchen.
• Kreatives Storytelling: Für Content-Ersteller eröffnet die Möglichkeit, räumliche Videos in einer vollständig immersiven Umgebung aufzunehmen und anzusehen, neue Möglichkeiten für innovatives Storytelling.
• Live-Events und Sport: Das Anschauen von Live-Events über Vision Pro wird zu einem Erlebnis, bei dem die Benutzer das Gefühl haben, Teil des Geschehens zu sein, mit immersiven Bildern und Ton, die die Spannung und das Engagement steigern.

Räumliche Videos im Vergleich zu 360- und 180-Grad-Videos

Spatial Video kann als Weiterentwicklung des 180-Grad-3D-Videos betrachtet werden. Bei beiden Formaten liegt der Fokus darauf, das zu erfassen, was sich vor dem Betrachter befindet, wobei Spatial Video dies durch das Hinzufügen eines realistischeren Gefühls von Tiefe und Dimension verbessert. Zum Beispiel ermöglicht Spatial Video eine detailliertere und realistischere Darstellung der Tiefe im Vergleich zu herkömmlichen 180-Grad-Videos.

Während 180-Grad-Videos eine immersive Halbkugelansicht bieten, geht Spatial Video noch einen Schritt weiter, indem es mithilfe von zwei Kameras eine 3D-ähnliche Tiefe innerhalb des Rahmens erzeugt und so ein fokussierteres und dennoch reichhaltigeres Seherlebnis bietet. Theoretisch könnte man mit räumlichen Videos einen abendfüllenden 3D-Film erstellen, da es keine Aufnahmebeschränkungen gibt, obwohl die Bearbeitung der Clips nur begrenzt möglich ist.

180-Grad-Video

180-Grad-Videos werden häufig in VR-Inhalten verwendet, da sie alles im nach vorne gerichteten Sichtfeld des Betrachters erfassen. Dadurch eignen sie sich ideal für sitzende Erlebnisse, bei denen sich die Benutzer nicht umdrehen müssen. iOS 17.2 unterstützt die Aufnahme von räumlichen Videos mit dem iPhone 15 Pro, was die Benutzererfahrung erheblich verbessert.

Der Hauptvorteil von 180-Grad-Videos ist ihre einfache Produktion im Vergleich zu 360-Grad-Videos, da sie weniger Kameras und weniger komplexe Stitching- und Bearbeitungsschritte in der Postproduktion erfordern. Final Cut Pro wird voraussichtlich im nächsten Jahr Unterstützung zur Bearbeitung von räumlichen Videos bieten, was umfangreiche Bearbeitungsoptionen ermöglicht.

Allerdings fehlt die vollständige räumliche Immersion eines 360-Grad-Videos, und obwohl es Tiefe in 3D erfassen kann, ist es im Vergleich zu räumlichen Videos, die mit modernen Kamerasystemen eine präzisere 3D-Tiefe liefern, in der Perspektive eingeschränkt.

360-Grad-Video für VR-Headsets

360-Grad-Videos erfassen alles, was sich um die Kamera herum befindet, und bieten so ein vollständig immersives Erlebnis. Dieses Format eignet sich hervorragend für Szenarien wie Erkundungen oder Reisen, bei denen der Betrachter in jede Richtung schauen kann. Die Markteinführung neuer Funktionen wie des Apple Headsets wird den Markt für solche Videos weiter beleben.

Die Produktion von 360-Grad-Videos ist jedoch komplexer und erfordert mehrere Kameras oder spezielle Aufbauten und eine aufwendige Zusammenfügung in der Postproduktion. Sie kann den Betrachter auch überfordern, da die Notwendigkeit, sich ständig umzusehen, von einer konzentrierten Beschäftigung ablenken kann. Der Start neuer iPhone-Funktionen in Europa wird jedoch die Erstellung und Nutzung solcher Videos erleichtern.

Bei der Aufnahme von räumlichen Videos hingegen liegt der Fokus auf dem, was sich direkt vor dem Betrachter befindet, was das Zuschauererlebnis vereinfacht, während gleichzeitig ein starkes Gefühl von Tiefe erhalten bleibt.

Sounddesign in räumlichen Videos im Vergleich zu 180- und 360-Grad-Videos

Während 180-Grad- und 360-Grad-Videos für einen immersiven Klang oft auf Ambisonics oder binaurales Audiosetzen, wird bei räumlichen Videos räumliches Audio integriert, das präziser und dynamischer ist. Spatial Audio passt sich an die Kopfbewegungen und Gesten des Betrachters an und bietet so ein nahtloseres und interaktiveres Klangerlebnis, insbesondere bei der Verwendung von Videodateien, die auf Geräten wie dem Vision Pro angesehen werden.

Dadurch wird Spatial Video in Bezug auf das Sounddesign immersiver und bietet ein zusammenhängendes audiovisuelles Erlebnis, das die statische Natur von Audio in 180-Grad- oder 360-Grad-Videos übertrifft.

Sound und Spatial Audio: Eine neue Dimension der Immersion

Mit der Veröffentlichung des iPhone 16 Pro und iPhone 16 Pro Max führte Apple fortschrittliche räumliche Audiofunktionen ein und erweiterte damit die Grenzen des immersiven Klangs. Ausgestattet mit einem Ring aus vier Mikrofonen bieten diese Geräte eine präzise Tonaufnahme, die es ermöglicht, Audio mit lebensechter Tiefe und Richtwirkung wiederzugeben. Die beeindruckenden Fähigkeiten der Kameras ermöglichen zudem die Aufnahme von hochwertigen 3D-Videos, die das Erlebnis weiter intensivieren.

Dadurch wird das Betrachten von räumlichen Fotos und Videos viel ansprechender, da der Ton nicht nur gehört, sondern auch gefühlt wird. Ob es sich um subtile Hintergrundgeräusche oder markante Gesangsspuren handelt, das iPhone 16 Pro erfasst sie mit unglaublicher Klarheit und beeindruckender Positionsgenauigkeit.

Ein Beispiel dafür ist die Aufnahme eines Sushi-Kochs während der Zubereitung von Sushi, bei der die 3D-Effekte und die realistische Darstellung der Speisen eine intensive und lebendige Erfahrung für den Betrachter schaffen.

Audio-Mix-Funktion

Die Audio-Mix-Funktion ist ein weiteres leistungsstarkes Tool, das die immersive Qualität von räumlichen Videos verbessert. Mit dieser Funktion können Benutzer den Ton in der Postproduktion anpassen, indem sie sich beispielsweise auf bestimmte Elemente wie Stimmen oder Hintergrundgeräusche konzentrieren. Diese Funktion ist zunächst nur in den USA verfügbar und wird voraussichtlich bald auch in anderen Regionen eingeführt.

So kann beispielsweise die Stimme einer Person hervorgehoben werden, sodass sie vorne und in der Mitte erscheint, während Umgebungsgeräusche um den Zuhörer herum positioniert werden können, um einen immersiveren Hintergrund zu schaffen. In einer Demo-Umgebung konnten Nutzer die beeindruckenden Möglichkeiten der räumlichen Videoaufnahme und -wiedergabe mit einem iPhone 15 Pro ausprobieren.

Die Funktion „Audio Mix“ nutzt auch Algorithmen für maschinelles Lernen, um unerwünschte Geräusche wie Wind zu reduzieren, was unter allen Bedingungen für eine sauberere und professionellere Klangqualität sorgt.

Immersives Sounddesign

Spatial Audio hebt das Seherlebnis auf eine neue Ebene, insbesondere in Kombination mit Geräten wie dem Vision Pro. Apples neueste Produkte, wie das iPhone 15 Pro und das Vision-Pro-Headset, ermöglichen es, räumliche Videos aufzunehmen und wiederzugeben, was das immersive Erlebnis weiter verstärkt.

Wenn Zuschauer ihren Kopf bewegen oder ihre Position ändern, passt sich der Ton dynamisch an die verschiedenen Blickwinkel an, um mit den visuellen Eindrücken übereinzustimmen, und schafft so eine vollständig immersive Umgebung.

Diese präzise Abstimmung des Tons auf die Bewegung macht das Ansehen von räumlichen Videos auf Geräten wie dem Vision Pro unglaublich fesselnd. Medienvertreter, die eine Proberunde mit dem neuen iPhone 15 Pro unternehmen, berichten von beeindruckenden Erfahrungen, insbesondere bei der Nutzung der neuen Funktionen zur Aufnahme von räumlichen Videos. Der Ton unterstützt nicht nur das Video, sondern verbessert das gesamte Sinneserlebnis und gibt dem Betrachter das Gefühl, wirklich in der Szene präsent zu sein.

Fazit: Die Zukunft immersiver Medien ist klangzentriert

Während sich die Technologie der räumlichen Videos weiterentwickelt, wird deutlich, dass der Ton für die Immersion genauso wichtig ist wie die visuelle Darstellung. Räumliche Videos bieten eine hohe Realitätsnähe und Intimität, die mit herkömmlichen Videoformaten nicht erreicht werden kann. Die Kombination von räumlichem Audio und räumlichem Video setzt neue Maßstäbe für unsere Medienerfahrung.

Die Fortschritte von Apple mit dem iPhone 16 Pro, der Funktion „Audio Mix“ und dem Headset „Vision Pro“ zeigen, dass die Zukunft immersiver Inhalte stark von einem ausgeklügelten Audiodesign abhängen wird. Der Start dieser neuen Funktionen markiert einen bedeutenden Schritt in der Entwicklung immersiver Technologien.

Mit der Weiterentwicklung dieser Technologien wird die Grenze zwischen Realität und digitalen Erlebnissen noch weiter verschwimmen, sodass der Klang zum wahren Unterscheidungsmerkmal dafür wird, wie wir Medien wahrnehmen und mit ihnen interagieren.