Spatial_Audio_Apps
NewsOverview

Alle Apps mit Spatial 3D Audio – Apple AirPods Pro, Galaxy Buds Pro und mehr!

Inhalt

    Spätestens seit der Etablierung von VR-Brillen als ernstzunehmende Wiedergabegeräte in der Unterhaltungsindustrie hat die Head Tracking Technologie einen großen Anwendungsbereich gefunden.

    Dass das Potential von 360° Sound noch lange nicht erschöpft ist, lässt sich an den neuesten Entwicklungen im Spatial Audio Bereich erahnen. Mit der Einführung von Head Tracking – fähigen Kopfhörer bzw. Pods machen die beiden Big Player Apple und Samsung einen gewaltigen Schritt in Richtung der Etablierung von 3D Audio am Konsumenten Markt – heraus vom Nischendasein.

    Der Folgende Artikel soll einen Überblick über die aktuell wichtigsten Apps zur Wiedergabe von Spatial Audio über Handheld Devices wie Smartphones und Tablets geben.

    Update

    • 21/04: M1 MNTR CTRL (Mach1 Spatial) wurde zur Liste der Apps für Apple Airpods Pro und Bose AR ergänzt
    • 21/06: Sony WF-1000XM4 True Wireless Kopfhörer für 360 Audio Reality hinzugefügt.
    • 21/08: Netflix unterstüzt nun 3D Spatial Audio mit Airpods Pro
    • 22/01: Artikel erweitert um Artikel über AR 3D Audio Headphones und dynamic head-trackers
    • 23/03: Immersive Audio-Erfahrung „Ammersive“ hinzugefügt. Sowie Portal – Immersive Escapes zu den Headtracking Apps für Airpods

    Wenn Kopfhörer das Tracking der VR-Brille ersetzen

    Ich finde es zunächst wichtig, die grundsätzliche Funktionsweise dieser Anwendungen darzulegen, nicht nur aus technologischer, sondern aus konzeptueller Sicht. Das soll die ‘falsche’ Nutzung dieser Technologie vorbeugen und damit auch einhergehende Enttäuschungen.

    Außerdem werden aktuell Begrifflichkeiten um die Spatial Audio Technologie wild durcheinander geworfen. Apple spricht von 3D-Audio mit dynamischer Kopferfassung. Samsung von einer 360 Audio Funktion mit smartem Bewegungsmelder. Bose AR sprach sogar von Augmented Audio Reality (ARR).

    Doch alle reden letztendlich von einem immersiven, kino ähnlichen Surround-Sound, der die Blickrichtung der Kopfhörer erkennt. Passend zum Thema Filme direkt ein Spoiler: die Hersteller aktivieren die Funktion aktuell fast ausschließlich in Kombination mit Bewegtbild. Dabei gibt es tolle Anwendungen, die auch ohne Bildanteil funktionieren, beispielsweise 3D Podcasts und Hörspiele. Oder immersive 3d Musik mit Dolby Atmos auf die ich später eingehen werde.

    Head-Tracking: die dynamische Kopfbewegung

    Damit das Head-Tracking in Bezug auf die Bewegungsfreiheit in einer virtuellen Klang-Szenerie funktioniert, braucht es neben den passenden Kopfhörern einen Bezugspunkt. Diesen stellt das Handy oder Tablet dar. Die Kopfhörer wissen also anhand der Position des Abspielgeräts aus welcher Richtung die Sounds kommen sollen. Head Tracking sorgt dafür, dass der Sound immer aus der richtigen Richtung kommt und die Hörerlebnisse noch realistischer werden. Die Verwendung von 3D Sound und Head Tracking ermöglicht es, den Klang in alle Richtungen zu lenken und so ein räumliches Kinoerlebnis zu schaffen, das seinesgleichen sucht.

    Aber Achtung, das bedeutet nicht, dass der Sound nur aus der Richtung des Handys kommt, dieses dient, wie eben erwähnt, nur zur Kalibrierung der Klangszene. So kann sichergestellt werden, dass beispielsweise Klänge die von links kommen sollen auch wirklich von links kommen.

    Spaß macht Technik, wenn sie auch funktioniert

    Der entscheidende Aspekt zur Nutzung von besagten Kopfhörern ist die Software, also die Smartphone Apps und das richtige Betriebssystem. Auch wenn für einen statischen, räumlichen 3D Audio Eindruck handelsübliche Kopfhörer reichen. Für Headtracking muss gewährleistet sein, dass die entsprechenden Apps ebenfalls Spatial Audio unterstützen.

    Im Usecase sind das größtenteils diverse Streaming-Plattformen. Bei meiner Recherche hatte ich nämlich bei manchen User-Berichten das Gefühl, dass es nicht immer klar ist, dass es hier eine Kompatibilität geben muss. Damit dem/der treuen LeserIn dieses Blogs solche Diskrepanzen ausbleiben, soll im Folgenden Klarheit über die Hardware- und Software-Komponenten geschaffen werden, damit einem 3D Audio-Erlebnis nichts mehr im Wege steht.

    Spatial Audio für Apple vom Appstore

    Apple war mit der Einführung der AirPods Pro und der AirPods Max Vorreiter in Sachen Spatial Audio mit Head Tracking für Handheld Devices. Bei Apple werden Surround Sound Formate wie 5.1 und 7.1, sowie Dolby Atmos unterstützt. Allerdings heißt das nicht, dass jeder Streaming-Anbieter der Surround Sound oder Atmos anbietet auch kompatibel mit Apple ist. Mit Spatial Audio können Nutzer Musik in einer völlig neuen Dimension erleben und Klänge aus verschiedenen Richtungen wahrnehmen. Apps, die 3D Audio unterstützen, eröffnen eine Welt voller neuer akustischer Möglichkeiten für Musikliebhaber und Kinofans. Einen kleinen Überblick die AirPods Pro gibt im folgenden Video, interessant wird es ab 0:57.

    Hardware und Software Anforderungen

    Abgesehn von den Streaming-Services muss auch die Hardware und das Betriebssystem stimmen. In Sachen Hardware benötigt man ein iPhone 7 oder neuer, oder ein iPad. Zudem ist das Betriebssystem iOS 14 bzw. iPadOS 14 erforderlich, doch wie die technischen Anforderungen im Detail aussehen erfährst du hier.

    User Experience Apple 3D Audio

    Es immer etwas schwierig ist, zu beschreiben, wie Ton klingt. Trotzdem ein kurzes Fazit aus meiner Tonmeister Sicht:

    • Die dynamische Kopferfassung funktioniert gut und hat eine nicht wahrnehmbare Latenz,. Das trotz Bluetooth.
    • Die Usability ist sehr gelungen. Man weiß anhand der Symbole sofort, ob die Funktion aktiviert ist und hat ein kleines Demo. Unterstützt eine App das Headtracking wird auch das visuell verstärkt. Hier muss Samsung nachlegen, doch später mehr.
    • Wird 3D-Audio aktiviert, wird die Lautheit etwas erhöht. Außerdem wird der Ton zusätzlich mit einem künstlichen Raum mit noch mehr Hallanteil versetzt. Das mag für den Tonmeister kritisch sein, für den Konsumenten aber gut
    • Obwohl die AirPods Pro im Hörkanal sitzen, wirkt der Eindruck der Räumlichkeit gelungen. Man hat das Gefühl, der Ton kommt von außerhalb der Ohrhörer. Die sogenannte Externalisierung ist also gut.
    airpods pro

    Überblick der kompatiblen Apps für AirPods Pro und AirPods Max

    App Beschreibung
    Air Video HD Die App mit der man eigene Videos vom Mac oder MacBook auf das Handy bzw. das Tablet streamen kann unterstützt Spatial Audio.
    Apple TV App Der Hauseigene Streaming-Service bietet eine Vielzahl an Filmen und Serien in Spatial Audio Formaten.
    Discovery+ Der Streaming-Service für Freunde nicht-fiktionaler Unterhaltung bietet in Kombinationen mit den AirPods ebenfalls Spatial Audio Inhalte.
    Disney+ Auch Disney Plus bietet in Kombination mit den AirPods räumliche Klangerlebnisse, beispielsweise beim Blockbuster Avengers: Endgame oder der Erfolgsserie The Mandalorian.
    File Explorer Diese Daten-Management App funktioniert wie eine Cloud und lässt somit die Daten-Wiedergabe auf unterschiedlichen Geräten zu. Für Audiovisuelle Inhalte werden dabei Spatial Audio Formate unterstützt, und konnte damit erfolgreich ein 5.1 Surround Demo als Video erstellen
    Foxtel Go Der australische Internetfernsehdienst der neben einigen Live-Kanälen auch einige Video-On-Demand Inhalte bietet, funktioniert ebenfalls mit Apples Spatial Audio Funktion.
    HBO Max Auch der Video-On-Demand Dienstleister HBO Max setzt auf Spatial Audio Unterstützung.
    Hulu Die mittlerweile sehr gefragte Streaming-Anbieter Hulu bietet Inhalte im von Apple unterstützten Dolby Digital Plus 5.1 Surround Sound Format an.
    Plex Plex ist ein Client-Server-Medienabspielsystem welches auf verschiedene Inhalte wie Video, Audio und Fotos zugreifen kann. Damit die Spatial Audio Funktion hier funktioniert muss bei den Voreinstellungen “Old Video Player” aktiviert werden.
    Peacock Der Streaming-Dienst Peacock setzt ebenfalls auf räumliche Audioinhalte.
    Paramount+ Auch der erst vor kurzem von CBS All Access zu Paramount Plus umbenannte Streaming-Dienst unterstützt Apples Spatial Audio Feature.
    Vudu Der Video-On-Demand Dienstleister bietet Inhalte in den von Apple unterstützten Spatial Audio Formaten Dolby Digital Plus 5.1 Surround Sound und Dolby Atmos an.
    Spatial Scenes Die Spatial Scenes App bietet eine Vielzahl an räumlichen Soundscapes. Die für das iPad konzipierte App unterstützt ebenfalls die räumliche Audiowiedergabe über AirPods.
    Tidal Der Premium-Musikstreaming-Dienst Tidal bietet neben hochauflösender Musik in Stereo auch einige in 3D Audio gemischte Titel an (siehe Musikstreaming Blog). Entsprechende Songs werden auch von Apple unterstützt.
    Netflix Eigentlich gehört Netflix (noch?) nicht in diese Liste. Anfang des Jahres kam das Gerücht auf, dass Netflix und Apple an einer Unterstützung von 3D Audio für die AirPods arbeiten. Mittlerweile ist dieses jedoch wieder revidiert. Update 21/08: Nun ist es soweit, 3D Audio wird langsam von Seitens Apple ausgerollt. Die Grundlage bot Dolby Atmos bereits, wie ich bereits geahnt habe
    M1 MNTR CTRL Mach1 Spatial aktiviert das head-tracking für Apple Geräte und Bose AR
    Portal immersive Escapes ausgezeichnet als „App des Tages“ vom Apples App Store. Mit nur wenigen Klicks können Sie virtuell die Welt akustisch bereisen
    Apple Airpods Max

    360 Audio für Samsung aus dem Google Playstore

    Kurz nach den AirPods von Apple schickte Samsung die Galaxy Buds Pro ins Rennen. Diese nutzen Dolby Head Tracking Technologie (TM). Was für Apple Spatial Audio ist, ist für Samsung 360 Audio – zwei Begriffe für das gleiche Konzept.

    Dennoch steckt der Teufel im Detail. Aktuell funktioniert das Spatial Audio nämlich automatisch bei jedem Video. Heißt, selbst wenn das Video nur Mono oder Stereo sound enthält, wird der Ton künstlich virtualisiert. Damit hört man den Ton zwar deutlich vom Handy gerichtet. Aber es ist kein immersiver, einhüllender Ton, wie es die Apple Airpods schaffen. Es werden also nicht die Vorteile von mehrkanaligem Surround – oder 3D Sound genutzt.

    Um diese Technologie erst einmal nutzen zu können, muss natürlich Hardware und Software stimmen. 360 Audio funktioniert bei Samsung Galaxy Handys und Tablets mit dem neuesten Betriebssystem One UI 3.1. Wie die 360 Audio Funktion der Galaxy Buds Pro verwendet werden kann, findet sich hier beschrieben.

    Das Feature wurde zunächste ausschließlich für die neuen Modelle wie dem Galaxy S21 angekündigt. Doch kurz darauf, wurde das neue Betriebssystem auch für mein S10 ausgerollt und kann nun mitreden.

    Youtube, Facebook, LinkedIn und Co.?

    Wie erwähnt ermöglichen die Galaxy Buds kein 3D Audio im Sinne einer 360° Beschallung. Der Vorteil dieser Technologie ist wiederum, dass diese Klangvirtualisierung mit sämtlichen Schallquellen funktioniert. So aktiviert sich die Funktion sobald man etwa auf Facebook, LinkedIn, Youtube, oder wo auch immer Audio- bzw. Videocontent konsumiert.

    Ich habe zum Beispiel auf meinem Handy einen Podcast gehört und durch die sozialen Medien gescrollt. Sobald ein Video in meinem Newsfeed auftauchte, wurde das 360 Audio automatisch aktiviert. Dann ist zu hören, wie der Podcast plötzlich von Stereo auf Spatial Audio umschaltet. Außerdem wurde das Video nun spatializiert und gleichzeitig abgespielt. So lässt sich gut hören, was die Funktion überhaupt mit Medien macht.

    Die Chancen stehen aber gut, dass hier nachgebessert wird. Grundsätzlich haben die Galaxy Buds Pro die nötige Hardware verbaut, wie sie auch die Apple Airpods verwenden. Auch die Plattformen nutzen im Backend meist schon Dolby Atmos oder vergleichbare, mehrkanalige Audioformate. Wir können also gespannt sein.

    airpods pro

    Apps mit 3D Audio aber ohne Head-Tracking

    Zwar liegt der Fokus dieses Artikels beim Head-Tracking, jedoch sollen an dieser Stelle noch ein paar weitere Apps erwähnt werden, die zwar kein Head Tracking unterstützen, aber trotzdem für immersive Hörerlebnisse sorgen können.

    Das ist der sanfte Einstieg in das immersive 3D Audio, für alle handelsüblichen Stereo Kopfhörer. Der Ton ist hier nämlich binaural und damit für alle zugänglich.

    Headspace

    Diese App bietet geführte Meditationen und Achtsamkeitsübungen an. Zusätzlich gibt es Klangwelten mit 3D-Aufnahmen der „schönsten Orte der Welt“. z.B. Bachlauf, Regen, Gebirgsbach, Wälder, Meere und so weiter.

    Leider sind die Aufnahmen mit 45-500 Minuten riesige Dateien. So müssen meist erst einmal 800MB heruntergeladen werden, was der Entspannung durchaus im Weg steht.

    Synctuition

    Ähnlich wie Headspace ist Synctuition eine App zur Entspannung und Meditation. Doch hier wurde nicht nur mit Kunstkopf Aufnahmen für den binauralen Ton gearbeitet. Es wurde auch Musik ergänzt und mit Spatialisierungs Tools in den Raum gemischt.

    So wurde eine gesamte Sound-Experience geschaffen und mit binaural Beats kombiniert, welche ich noch einmal genauer unter die Lupe nehmen werde. Diese Audio Experiences sind mit 25 Minuten und auch einer nicht unerheblichen Ladezeit verbunden. Auch dies könnte man besser machen. Aber da kommen wir noch hin.

    Audible Reality

    Audible Reality bietet die Möglichkeit Stereo-Musik, beispielsweise über Spotify, in einem anderen räumlichen Kontext wiederzugeben. Die Musik wird in einem virtuellen Raum abgespielt, die in der App als Vibes bezeichnet werden. Das ganze erinnert an den YouTube Hype um 8D Audio. Hier sind ähnliche Klangverfärbungen zu finden wie etwa Bass-Boosted Musik.

    Ich finde den Aspekt der Klang Personalisierung super, nur leider leidet hier das Stereo sehr darunter. Es sind phasing-Artefakte zu hören. Hier ist der Ansatz von Sonarworks mit Sound-ID besser durchdacht.

    Waves NX

    Auch wenn wir das Thema Headtracking gerade abgehakt haben, gibt es einen kleinen Sonderling. Der Audio Software Hersteller hat mit einer eigenen App eine Möglichkeit im Angebot, die sich mit jedem Kopfhörer kombinieren lässt. Man kann also den Hardware Headtracker nicht nur mit dem Computer verbinden. Über Bluetooth ist dieser auf mit dem Smartphone einsatzbereit.

    In der App kann man schließlich Musik oder eigenes Audio anhören. Passend zum Nx Virtual Mixing Room, klingt der Stereo Ton nun so, als würde man im Abbey Road Studio 3 sitzen. Leider wurde aber hier nicht der mehrkanalige 5.1 Surround Sound implementiert, wie es beim DAW plugin der Fall ist.

    Es gibt sogar eigene Kopfhörer, die den Headtracker im Gerät verbaut haben. Die Audeze Mobius 3D Headphones. Vom Prinzip also genau das, was Apple mit den Airpods Max gemacht hat – nur Jahre später 😉

    Artist Connection

    Auch hier eine kleine Sonderrolle von Sony 360 Reality Audio. Auch hier ist die Idee, immersive und direkt in den Sound einzutauchen. Genau genommen in Musik, denn hier stehen auch Künstler im Vordergrund. Dieser produzieren mit den eigenen Tools von Sony 360RA, der Creative Suite, wie sie auch auf TIDAL genutzt wird. Auch hier gibt es eigene Kopfhörer, die das Klangerlebnis weiter verbessern sollen: Die Sony 1000XM2, kabellose Kopfhörer mit Noise Cancelling. Oder die True-Wireless-Kopfhörern Sony WF-1000XM4 Inears.

    Ammersive

    Mit ihrem Potenzial, Stress und Ängste zu reduzieren, die kognitive Leistung zu verbessern und ein Gefühl der Entspannung und Ruhe zu vermitteln, kann eine immersive Klanglandschaft ein wirkungsvolles Instrument sein. Auf der Suche nach ganzheitlicheren Lösungen für die Bewältigung des psychischen Wohlbefindens wird weiter geforscht, um ein tieferes Verständnis dieses Prozesses zu erlangen.

    Ammersive ist eine App, mit der sich solche einzigartigen immersiven Klangerlebnisse ganz einfach einbinden lassen. Immersive Klanglandschaften werden mit räumlichem Audio erzeugt, das ein „3D“-Hörerlebnis schafft und dem Nutzer das Gefühl gibt, sich tatsächlich in der dargestellten Umgebung zu befinden.

    Allerdings können nicht alle Personen die gleichen Effekte von Klanglandschaften erleben. Es ist wichtig, die individuellen Reaktionen beim Hören zu berücksichtigen und sich selbst die Erlaubnis zu geben, das Hören jederzeit zu beenden, wenn die Klänge unangenehm sind oder eine unerwünschte Reaktion auslösen. Es lohnt sich, immersive Klanglandschaften zu erforschen, da sie therapeutische Wirkungen haben können, die in vielen Studien beschrieben werden.

    Übersetzt mit www.DeepL.com/Translator (kostenlose Version)

    Musik-Streaming Dienste

    Mittlerweile bieten einige Musik-Streaming Plattformen Musik in Dolby Atmos oder 360 Reality Audio an. Hier sei auf diesen Blogeintrag verwiesen.

    Rekapitulation und Action!

    Wie man sieht gibt es mittlerweile wirklich viele Möglichkeiten Spatial Audio Inhalte zu genießen. Glücklicherweise erkennen die meisten ohnehin sehr populären Streaming-Dienste das Potential von immersiven Hörerlebnissen. Es bleibt zu hoffen, dass die Head Tracking kompatiblen Kopfhörer auf Anklang stoßen. Denn in Kombination mit dem Streaming-Hype könnte das die bisher größte Chance für 3D Audio sein endlich die berechtigte Anerkennung am Markt zu finden!

    Die richtige Technologie braucht aber auch die richtigen Inhalte. Egal ob Apple Airpods-Pro oder Samsung Galaxy-Buds-Pro. Bisher wird oft schon bestehendes Material in entsprechende räumliche Audioformate “umgewandelt”, bzw Upmixing betrieben.

    Das wahre Potential von Spatial Audio liegt aber darin, Inhalte speziell zu erstellen, um mit Kreativität das beste aus der Technologie zu holen. Und genau das ist meine Aufgabe hier bei VRTonung, wenn du darüber mehr erfahren willst oder sogar schon konkrete Ideen im Kopf hast, zögere nicht Kontakt aufzunehmen!

    Kontakt aufnehmen mehr erfahren


    Diese Webseite verwendet Cookies. Wenn Sie diese Webseite weiterhin besuchen, stimmen Sie der Nutzung von Cookies zu. Mehr dazu finden Sie in meiner Datenschutzerklärung.
    Notwendige Cookies
    Tracking
    Alles akzeptieren
    oder Auswahl speichern