Spatial 3D Audio Medien von Google für Android, Chrome, SDKs etc.
Inhalt
Gibt es bald von Google 3D Audio nativ auf Android? Bereits seit 2020 hat nämlich die Konkurrenz von Apple-Nutzer die Möglichkeit, Spatial Audio auf ihren iPhones und anderen Apple Geräten zu erleben. Und wenn man sich die neuesten Release Notes für Android 13 anschaut, könnte es bald auch für Android Nutzer so weit sein, dass sie nativ in den Genuss von 3D-Audio kommen.
Für mich hat es etwas Star Wars Charme. Die dunkle Seite gegen helle Seite der Macht. Ob Dolby mit Apple jetzt gut oder böse ist, darüber können sich die LeserInnen auf diesem Blog selber ein Bild verschaffen. Aber tatsächlich richten sich nun so langsam die Augen und Ohren auf Google 3D Audio. Denn zum AC-4 von Dolby Atmos gibt es mit MPEG-H von Fraunhofer einen ebenbürtigen Konkurrenten. Ob nun Google also den Dolby Atmos Pfad wählt oder doch eine andere Seite der Macht auswählt? Es wird Zeit die Spekulationen unter die Lupe zu nehmen.
Update 22/09:
- Sony Xperia 10 IV Smartphone kommt mit großer Unterstützung für 360 Reality Audio und 360 Reality Audio Upmixer. Ergänzung unter Kapitel Android
- Google Resonance unterstützt auch Audio-Middlewares wie FMOD und Wwise. Hinzugefügt im Kapitel SDK.
- Google Pixel Buds Pro und Samsung Galaxy Buds Pro 2 sollen ein Software-Update erhalten, um Spatial Audio und Headtracking zu ermöglichen
- Projekt Caviar könnte Dolby ernsthaft angreifen, anders als MPEG-H
- Google Glass mit Knochenschall eingefügt
Update 23/01:
- Google bringt endlich 3D Audio auch für Pixel 6 (Pro), 7 (Pro) und Pixel Buds Pro. Die Samsung Buds Pro unterstüzten ebenso mehrkanaliges Audio
Was macht Google im Bereich Spatial 3D Audio?
Wie schon mehrere Media-Outlets in der Vergangenheit berichteten, ist Google seit längerem dabei, Firmen aus dem Audiobereich aufzukaufen und investiert dabei Millionenbeträge. So hat Google beispielsweise im Dezember 2020 über 35 Millionen Dollar dafür ausgegeben, die Audioabteilung der Firma Synaptics und damit sehr wichtige Patente zu übernehmen.
Auch das 3D-Audio Startup Dysonics wurde im selben Monat für 3D Audio übernommen. Dieses Unternehmen hatte sich auf Bewegungs- und Audioanpassungen für Kopfhörer spezialisiert. Mit RevX und dem französischen Startup Tempow hat sich Google dann auch noch In-Ear-Monitoring und Wireless Kopfhörer Experten ins Boot geholt.
Neue Audio Features mit Android 13
3D Audio hat Google bereits einige neue Features für Android 13 bestätigt. So gibt es neue API-Schnittstellen im Audio-Framework, welche künftig Head Tracking über Bluetooth unterstützen könnten. Durch das Head Tracking wird die Kopfposition des Hörers bei der Klangwiedergabe in die Berechnung des Audiosignals miteinbezogen. Damit kann die virtuelle Position von Klangquellen an die Kopfbewegung des Nutzers mit angepasst werden. Apple verspricht sich mit diesen Features ein Kinoähnliches Surround Erlebnis.
Man kann davon ausgehen, dass viele Geräte auf denen Android 13 läuft, letztendlich Spatial Audio unterstützen werden. Wenn man sich im Vergleich Apple’s Vorgehen aus der Zeit des Umstiegs auf Spatial Audio ansieht, merkt man, dass mittlerweile auch alte Geräte aus der iPhone 7-Serie noch Dolby Atmos unterstützen. Das bedeutet – Android 13 kommt im Herbst, und im Verlauf bis zum Anfang des nächsten Jahres wird es wohl dann für die meisten Android-Geräte so weit sein, dass Spatial Audio unterstützt wird. So wurde beispielsweise jetzt schon in einem Update des Google Pixel 6 Pro die Spatializer-Funktion entdeckt.
ro.audio.spatializer_enabled=true
Diese Fakten und Google’s Jobanzeigen für ein experimentelles Akustik-Lab ließen den Schluss nahe, dass Google schon bald neue Soft- oder Hardware auf den Markt bringen wird. Und so war es dann auch, die 3D-fähigen Pixel Buds Pro kommen schließlich im Juli schon auf den Markt! Kommt also nach den 3D-fähigen Pixel Buds Pro bald eventuell die Unterstützung für MPEG-H?
Sony Xperia 10 IV mit 360 Reality Audio
Das Sony Xperia 10 IV ist mit Sony 360 Reality Audio ausgestattet, um die Klangqualität zu optimieren. Das nutzt Sony clever die Infrastruktur von Android Smartphones. Dies funktioniert am besten beim Streaming von Musik auf Amazon Music, Deezer, nugs.net und TIDAL über Kopfhörer. Binaurales Audio zu hören, das objektbasiert gemischt wurde, ist also immer noch eine große Sache. Dolby Atmos bleibt der größte Konkurrent.
Mit 360 Reality Audio Upmix kann das Xperia .10 IV 2-Kanal-Stereotracks in Echtzeit optimieren. Ähnlich wie bei Apples „Spatialize Stereo“-Funktion bedeutet dies, dass die Musik mit der Lokalisierung im Kopf kämpft. Man hat vielmehr das Gefühl, die Musik käme aus Lautsprechern im Inneren des Roms – trotz Kopfhörern.
Spatial Audio wie Apple für Samsung Galaxy und Pixel.
Der 360°-Audio-Sound mit Direct Multi-Channel (5.1ch / 7.1ch / Dolby Atmos) schafft angeblich eine Kinoatmosphäre und Live-Gefühl. Man kann damit Instrumente, Stimmen und Geräusche differenzierter Wahrnehmen. Wenn Sie Ihren Kopf bewegen, kommt der Ton immer noch aus der entsprechenden Richtung, so wie wir Menschen das aus der Realität kennen. Eine reaktionsschnelle Kopfverfolgung macht es möglich.
Samsung: Nur verfügbar auf Samsung Galaxy-Smartphones und -Tablets mit Android One UI Version 4.1 oder höher. Die Unterstützung von 360 Audio und Head Tracking™ kann je nach Anwendung und Inhalt variieren. Head Tracking und Direct Multi-Channel werden mit Android One UI Version 4.1 oder höher unterstützt.
Google: Spatial Audio ist eine der vielen Funktionen, die Google ursprünglich für die Pixel Buds Pro angekündigt hatte, aber erst später per Update nachliefern wollte. Es muss von beiden Seiten unterstützt werden. Zum einen von den Kopfhörern (Pixel Buds Pro), zum anderen vom Smartphone (Pixel 6, Pixel 7).
Mit dem Update vom Januar 2023 geht es also endlich los. Laut Google wird Spatial Audio mit dem ersten Update des neuen Jahres sowohl für die Pixel 6- als auch für die Pixel 7-Reihe kommen. Das Pixel 6a bleibt trotz des Tensor-Chipsatzes unerwähnt.
Was macht MPEG-H eigentlich mit Google 3D Audio?
Da wäre es natürlich gut zu wissen, was MPEG-H denn eigentlich genau alles mit sich bringt. MPEG-H ist das Next Generation Audio Format vom Fraunhofer Institut. Dabei wird die zuhörende Person rundherum in Klang gehüllt, wie das bei Dolby Atmos ähnlich ist. Dennoch hat man zudem die Möglichkeit, den Klang stark zu personalisieren. Beispielsweise basiert Sony’s 360 Reality Audio-Format auf MPEG-H und wird schon fleißig von den Musikstreamingdiensten TIDAL und Amazon Music HD eingesetzt.
Außerdem können beispielsweise Dialoglautstärken oder die Lautstärken von Audiodeskriptionen angepasst werden. MPEG-H wurde speziell für die Integration in die Streaming- und Rundfunk-Welt entwickelt. Die 3D-Bestandteile können daher über alle möglichen Lautsprecher-, Soundbar- oder Kopfhörerkonfigurationen wiedergegeben werden. So kann mit der Zuschaltung von Höhenlautsprechern und der Higher Order Ambisonics Technologie auch zu Hause leicht ein Kinoähnlicher Klang geschaffen werden. Auch das ist ähnlich zu der Vorhergehensweise von Dolby aber die Anwendungen sind wohl hier eher im Live als Kinobereich zu finden.
Was noch alles kommt? 2019 wurde beispielsweise auch ein Prototyp vom Fraunhofer IIS, Sony und Audi für immersives Musikstreaming im Auto vorgestellt. Es bleibt also spannend, was in der nächsten Zeit noch alles für neue 3D-Audio-Technologie auf uns zukommen wird.
Project Caviar
Meine Spekulation um MPEG-H ist nicht weit entfernt. Tatsächlich arbeitet Google im Hintergrund an einem neuen Open Source Media Format. Damit soll Dolby Atmos und Dolby Vision angegriffen werden. Der Name suggeriert hier Premium Features. So soll HDR (High Dynamic Range) und 3D Audio unterstützt werden. Anders als bei Dolby fallen keine Lizenzgebühren an.
Ich denke nicht, dass mit Dolby bei Kinofilmen konkurriert werden kann. Sie haben dafür schon zu viel Land in Hollywood und Streaming Portalen gewonnen. Das ist aber gar nicht schlimm, weil Google’s Fokus mit Project CAviar auf YouTube zu liegen scheint. Wie wäre es nämlich, wenn Influencer, mit Milliarden von Followern auf einmal Zugang zu Hightech Audio-Visuellen Formaten bekommen würden? Es bleibt also spannend
Welche Anwendungen für 3D-Audio gibt es denn schon auf Android?
Zum einen gibt es da schon die Galaxy Buds Pro, welche Samsung kurz nach Apple’s Airpods Pro auf den Markt geworfen hat. Diese nutzen Dolby Head Tracking Technologie™. Allgemein ist die Nutzung jedoch eher durchwachsen. Ich habe in diesem Artikel schon mal näher beleuchtet, was die Probleme dabei sind. Kurz gesagt: Die Headphones geben keinen immersiven, einhüllenden Ton sondern geben den Klang vom Handy gerichtet wieder, was dem Potenzial von 3D-Audio natürlich nicht gerecht wird.
Ansonsten habe ich in diesem Artikel schon einige Apps aufgezeigt, die bereits jetzt auf Android laufen und 3D-Audio ohne Head-Tracking verwenden.
SDKs (Software Development Kits)
ARCore
In Google’s SDK für Augmented Reality Anwendungen ist bereits ein 3D Audio Funktion integriert.
Google Resonance
Google Resonance Audio wurde 2017 veröffentlicht und 2018 open-sourced. Es zielt darauf ab, für AR und VR-Apps realistischere und überzeugendere Surround Experiences zu erschaffen. Auch wenn es nicht weiter entwickelt wird, nutzt es die VR Szene immer noch.
Resonance Audio ist dafür gemacht, auf Mobile und auf Desktop zu funktionieren und ist kompatibel über viele Plattformen hinweg, von Unity bis hin zum Web. Es gibt auch Plugins für DAWs um etwa Sound für 360° Videos zu erzeugen. Resonance funktioniert mit Ambisonics und Head-Related Transfer Functions, um dem Gehör Entfernung und Positionierung von Sounds um uns herum vorzutäuschen.
- Resonance Audio Listener: Enables binaural spatialization of sound sources created using the Resonance Audio Source or Resonance Audio Soundfield plugins. Additionally handles room effects simulation.
- Resonance Audio Source: Spatialize mono sound sources anywhere around a listener. Apply effects such as distance attenuation and directivity patterns. Requires Resonance Audio Listener
- Resonance Audio Soundfield: Play first-order Ambisonic soundfields that react to a user’s head rotation. Requires Resonance Audio Listener
Google VR
Hier kommt nun ein Alleinstellungsmermal, das Google gegenüber Apple hat. Nämlich ist Google auch gewillt eigene Plattformen zu sein. Etwa im Social Media Bereich. Das ist mit Google+ etwas missglückt. Der Kauf von YouTube war aber durchaus erfolgreich.
YouTubeVR
Seit 2015 Kann man auf YouTube 360° Videos hochladen. Im Jahre 2016 wurde die Funktionalität mit Ambisonics in der ersten Ordnung erweitert. Mit den richtigen Meta-Daten kann also ein vierkanaliges Audio an ein Video geheftet werden und erlaubt Raumklang im Webbrowser.
Es wurde ein paar Jahre später noch eine Anpassung vorgenommen, weil Content-Creators die Funktion eines Head-Locked Audios vermisst haben. So kann also neben dem Ambisonics Bett, das sich dynamisch der Blickrichtung anpasst auch nun auch eine Stereo-Spur implementiert werden, die immer konstant durchläuft. Das kann praktisch für die Verwendung von typischer Musik oder Sprache sein, die aus dem Off kommt. Für Voice-Over etwa, die nicht Teil der Szene sind.
Google Jump Inspector
Higher-Order Ambisonics wird auf YouTube seither vermisst. Es gab aber eine Zeit lang den Google Jump Inspector. Dieser erlaubte es Quicktime-Files abzuspielen, welche unkomprimiertes Audio erlauben. Damit konnte man nicht nur 4 Audiokanäle anhängen, sondern sogar 16. Damit konnte man Android Smartphones nutzen, um Ambisonics dritter Ordnung etwa in Kombination mit einer Cardboard schauen zu können.
Die APK ist leider nicht mehr offiziell verfügbar, kann aber im Internet über Drittanbieter bezogen werden. Sonst habe ich auf irgend einer Festplatte bestimmt noch die Installationsdatei 😉
Google Daydream
Ob und wie die Google Daydream auch 3D Audio Funktionalität hatte ist rückwirkend schwer zu recherchieren. Man kann aber davon ausgehen, dass über die YouTubeVR App dies möglich war. Ähnlich wie es damals bei der Oculus Go oder Samsung GearVR gelöst wurde. Herkömmlicher Google VR Apps mussten – wie alle anderen VR Anwendungen auch – in Unity eben 3D Audio implementiert haben. Womit Google VR Brille weniger damit zu tun hat, sondern der Content ausschlaggebend ist, ob überhaupt 3D Audio für Google vorliegt.
Google Smartspeaker
Im Gegensatz zu Apple lässt Google’s hauseigener Smart Speaker Google Nest und Google Nest Mini leider 3D-Audio Features vermissen. Auch andere Google-fähige Geräte, wie etwa Bang&Olufsen’s “Beosound Balance”, Sonos’ “Move”-Lautesprecher oder Bose’s “Portable Smart Speaker” haben leider keine 3D-Audio-Features.
Kopfhörer
Können die Galaxy Buds Pro Spatial Audio?
Die Galaxy Buds Pro konnten z.B. Headtracking (nachzulesen bei meinen AR Kopfhörer Artikel). Jedoch wurde aus dem Stereo bloß ein Mono gemacht, was keinen richtigen Mehrwert bietet.
Haben die Pixel Buds 3 Head-Tracking?
Die neue Generation der Pixel Buds 3 werden also den Air Pods Pro nachziehen. Damit wird also nicht nur Mono und Stereo künstlich auf 3D hochgemischt. Sondern es können so endlich mehrkanalige Audioformate spatialisiert werden. Wie es Apple eben schon mit Dolby macht, hier könnte aber die Fraunhofer Technologie zum Einsatz kommen.
Es scheint im Herbst 2022 über ein kommendes Software Update für Android eine ähnliche Spatial Audio Funktionalität wie im Apple Universum mit Dolby Atmos möglich zu werden.
Das könnte auch die Galaxy Bud Pro 2 betreffen.
Google Glass
Wie konnte ich die nur vergessen? Ihrer Zeit weit voraus wurden sie als eines der ersten großen Produkte im Bereich Augmented Reality gehypt. Ich konnte keine Informationen finden, ob Spatial Audio wirklich damals schon verwendet wurde. Dennoch ist die Audio Technology spannend:
Der Ton von Google Glass kommt aus dem Knochenleitungswandler (Bone Conduction Transducer, BCT). Auch bekannt als Lautsprecher, der sich im Inneren des Geräts kurz vor der Batterie befindet. Es ist das ovale Teil mit dem Glass-Logo darauf, das direkt hinter dem Ohr sitzt. Man konnte aber auch Kopfhörer anschließen.
Fazit Google 3D Audio
Wie wir sehen, gibt es auf Android schon einige Möglichkeiten, 3D-Audio zu konsumieren, leider aber meist ohne Head-Tracking. Wie es scheint, wird das aber bald um die Möglichkeit, nativ auf Android 3D-Audio mit Head-Tracking zu konsumieren, erweitert. Ob und wann Google Raumklang mit MPEG-H um die Ecke kommt, steht dabei aber noch nicht fest. Es wäre zumindest in Anbetracht der Apple-Dolby Kooperation eine willkommene Alternative, sollte sich diese Spekulation bewahrheiten.
Erfahre mehr