head tracking audio header
NewsOverviewTools

Head Tracking 3D Audio – Kopferfassung für Surround Kopfhörer

Inhalt

    In letzter Zeit habe ich ein paar Prognosen aufgestellt, die nach kurzer Zeit auch tatsächlich eingetreten sind. Etwa wie die Implementierung von 3D Audio für Video Calls wie Zoom. Denn Clubhouse legte gerade vor.

    Dort habe ich schon den Begriff Headtracking im Audio Kontext angeschnitten. Also die dynamische Kopferfassung für Audioinhalte die räumlich verteilt sind. Denn für die Lokalisation und das räumliche Hören ist diese Technologie ein richtiger Booster. Das Gefühl, dass sich das Schallfeld dynamisch zur Kopfbewegung anpasst, kennen die meisten Personen – wenn überhaupt – von VR Brillen. Also lautet meine Prognose für heute:

    „Head-Tracking Implementierung wird in Zukunft für 3D Audio quasi Standard bei Kopfhörern sein. Genau wie heutzutage Antischall zur Geräuschunterdrückung im HiFi Bereich immer verbaut ist“.

    Doch alles, was man für die technische Realisation von Head-Tracking im Audio-Bereich braucht, lässt sich auch ohne HMD (head-mounted display) realisieren. Im Klartext gibt es nämlich schon Millionen von Kopfhörern auf dem Markt, die genau das bereits können!!! Verrückt, oder?

    Nur die wenigsten Konsumenten wissen davon, da es einfach noch sehr wenig 3D Audio Inhalte gibt, die das Potential ausschöpfen. Dabei könnte man schon diese diese Augmented Audio Reality Geräte mit tollen Inhalten befüllen – woran ich gerade unter anderem arbeite.

    Was ist Head-Tracking für Audio?

    Du weißt wahrscheinlich was Head-Tracking ist, oder? Es handelt sich dabei um eine Technologie oder vielmehr um verschiedene Technologien mit demselben Ziel: die Erfassung der Kopfbewegung auf die eine oder andere Weise. Meistens wird es in Verbindung mit verschiedenen visuellen Medien wie VR oder 360°-Videos genutzt. Eine kleine Veranschaulichung zum Verständnis der Technologie: Stell dir ein Virtual-Reality-Headset vor und entferne die visuellen Elemente. Am Ende erhält man Sound über Kopfhörer, der sich an den Ort anpasst, auf den man gerade schaut.

    Apple nennt diese Technologie etwa dynamische Erkennung von Kopfbewegungen oder „Kopferfassung“. Sie sprechen von Sound mit 3D-Audio der für Airpods und Beats funktioniert. Bose nannte seine Technologie Bose AR. Auch Augmented Audio Reality fiel in dem Zusammenhang. Man merkt also, die Begriffe sind noch etwa unklar, die Inhalte für headtracking aber kommen.

    Denn die Sache ist die: gute visuelle Erlebnisse, die eine Geschichte erzählen, benötigen in der Regel auch Audio. Damit hat man bereits einen Teil der Antwort auf die obige Überschrift. Immersive digitale visuelle Erlebnisse sind auch auf immersiven Ton angewiesen. Deshalb sollte beim Headtracking nicht nur der visuelle Aspekt im Vordergrund stehen, sondern auch das Hörerlebnis.

    video call

    Wie funktioniert Head-Tracking mit Audio?

    Ohne auf technische Details einzugehen (dazu kommen wir später, keine Sorge), funktioniert es ähnlich wie das visuelle Head-Tracking. Wenn wir unseren Kopf bewegen, verhält sich das Sichtfeld normalerweise wie in der realen Welt. Das bedeutet, dass vermeintlich unbewegliche Objekte dort bleiben, wo sie sind, auch wenn wir den Kopf drehen. Das Gleiche gilt für Audio. Das ist einer der Vorteile von objektbasierten und klangfeldbasierten 3D-Audioformaten: Sie sind sehr vielseitig. Das eröffnet viele neue Möglichkeiten, von denen das Head-Tracking nur eine ist, wie der geneigte Leser dieses Blogs weiß!

    Wie sieht es mit Beispielen aus?

    Ich habe bereits über VR und 360°-Videos gesprochen und wie richtige Erlebnisse in diesem Bereich sein sollten: mit gutem Ton. Das bedeutet, dass sich der Ton wie das Bild verhalten sollte, um zu einem immersiven Erlebnis zu verschmelzen. Ich hatte das Vergnügen, nach Kenia zu reisen, um mit meinen Teamkollegen ein 360°-Video zu erstellen. Hier kann man es sich ansehen und darüber lesen.

    Dies ist „nur“ eine ziemlich einfache Demo, die Ambisonics in Kombination mit einem immersiven VR-Video auf Facebook360 verwendet. Es ist seit 2016 technisch möglich, diese Art von Klangerlebnis zu verbreiten: YouTube unterstützt seither Ambisonics erster Ordnung (FOA). Facebook nutzt ein sogenanntes Hybrid Higher Order Ambisonics (tbe). Die Details dazu findest du hier.

    Das Audio-Headtracking wird also schon seit Jahren eingesetzt. Jetzt wird diese Technologie bereits in Kopfhörer eingebaut. Ich betrachte sie gerne als das neue ANC (Active Noise Cancelling). Es wurde schnell in die neueren Produkte integriert. Und bei Kopfhörern braucht man seine Augen nicht, oder? Schauen wir uns also einmal genauer an, was unsere Ohren leisten können:

    Wird Audio Head-Tracking nur in Verbindung mit visuellen Medien eingesetzt?

    In den allermeisten Fällen wird Audio-Head-Tracking in Kombination mit visuellen Medien eingesetzt. Ein Beispiel für eine reine Audio-Head-Tracking-Anwendung wären AR-Soundwalks, aber dafür gibt es derzeit keinen wirklichen Markt, es ist zwar interessant, aber eine Nische. Allerdings hat Apple vor kurzem die Unterstützung von dynamischem Head-Tracking für seinen Musik-Streaming-Dienst Apple Music angekündigt.

    Die Unterstützung von Head Tracking für Apple Spatial Audio ist eigentlich nicht so neu, der VOD-Sektor (Video on Demand) bietet Head Tracking seit der Einführung von Apples Spatial Audio. Was aber immer noch ziemlich neu ist, um ehrlich zu sein. Du kannst hier mehr darüber erfahren .

    Anzumerken ist, dass im Kontext von VOD das Head Tracking nur audiobezogen ist, was bedeutet, dass nur das Audio auf die Kopfbewegungen reagiert, das Video jedoch nicht. Dies unterstreicht offensichtlich die Relevanz von Audio-Headtracking. Um auf die angekündigte Headtracking-Unterstützung für Apple Music zurückzukommen, wird es spannend sein zu sehen, wie sich dies auf den Audiokonsumentenmarkt auswirken wird. Meiner Meinung nach gibt es Raum für Verbesserungen in Bezug auf räumliches Audio mit Apple Music, was man hier nachlesen kann. Aber mit der Einführung von Head Tracking könnte und wird das wahrscheinlich eine große Verbesserung sein!

    Brauche ich Mehrkanalton für Head-Tracking?

    Die kurze Antwort ist nein, aber das muss ein bisschen genauer erklärt werden. Derzeit gibt es zwei Möglichkeiten für Audio-Headtracking:

    Einige Geräte, wie die Galaxy Buds Pro Ohrhörer, verwenden einen Upmix-Algorithmus, bei dem Mono- oder Stereoquellen in den virtuellen Raum gestellt werden. Das erinnert mich an das berüchtigte 8D Audio, bei dem Mono- oder Stereo-Inhalte mit einem binauralen Panner um den Kopf herumgeschwenkt werden. Der Unterschied zu den Galaxy Buds Pro ist, dass das Panning von der Kopfbewegung abhängig ist. Es handelt sich also nicht um eine tatsächliche 360°-Umgebungserfahrung. Das ist nicht sehr vorteilhaft für Medien wie Musik oder Film, aber sehr gut für Kommunikation, wie video calls.

    Die andere Möglichkeit ist die mehr umgebende mit entweder Ambisonics, objektbasierten Formaten oder Mehrkanalformaten. Für 360°-Videos ist Ambisonics das bevorzugte Format, im VOD- und Musik-Streaming-Bereich kommt es darauf an: Ohne zu sezieren, wo welches Format verwendet wird, kann man sagen, dass Dolby hier ein großer Player ist und es auch nicht immer sicher ist, welches Format tatsächlich verwendet wird. Wenn es jedoch um objektbasierte Audioformate geht, sind Dolby Atmos und MPEG-H prominente Beispiele. Auch 5.1 Surround ist immer noch eine gute Option. Letztendlich muss es sowieso in binaurales Audio umgewandelt werden, daher können viele verschiedene Audioformate für Headtracking verwendet werden.

    Wofür brauche ich Head-Tracking?

    In den meisten Fällen wird Head-Tracking für die Navigation und/oder Steuerung verwendet. Wenn wir uns VR-Anwendungen oder 360°-Videos ansehen, steuern wir das Sichtfeld und das Klangfeld durch Kopfbewegungen, um durch die virtuelle Welt zu navigieren. Dabei kann man zwischen sogenannten „Three Degrees of Freedom“ (3DoF) und „Six Degrees of Freedom“ (6DoF) unterscheiden. 3Dof bedeutet, dass man den Kopf in alle Richtungen bewegen kann, aber die Position in der virtuellen Welt nicht verändert wird. Dies ist normalerweise bei 360°-Videos der Fall. Mit 6DoF kann man sich auch in der virtuellen Welt bewegen, wie in vielen VR-Erlebnissen.

    Neben der Steuerung der virtuellen Umgebung kann das Head-Tracking auch für die Sicherheit genutzt werden. Zum Beispiel, um bestimmte Bewegungsmuster als Passwörter zu verwenden. Hier würden wir Head-Tracking also als 3DoF betrachten, da es sich zwar drehen, aber nicht im Raum bewegen kann. Ähnlich wie das Inside-Out-Tracking von VR-Headsets.

    Was sind die Vorteile von Head-Tracking?

    Head-Tracking ermöglicht uns realistische virtuelle Erlebnisse. In Bezug auf räumliches Audio verstärkt die Verfolgung von Kopfbewegungen das Gefühl der Immersion noch weiter. In der realen Welt nutzen wir kleine Kopfbewegungen, um Geräusche zu lokalisieren, und Head-Tracking ermöglicht uns dies auch in der virtuellen Welt. Das ist auch der Grund, warum die Einführung von Head Tracking bei Apple Music ein Erfolg werden könnte, aber wir werden sehen.

    Außerdem können wir dank Head-Tracking frei navigieren oder steuern, ohne unsere Hände zu benutzen. Als Menschen sind wir es gewohnt, Klang in drei Dimensionen zu erleben. Und wir wissen, wie sich das Klangfeld um uns herum verändert, wenn wir unseren Kopf bewegen. Jetzt kann dieses Gefühl endlich in Echtzeit wiedergegeben werden. Daher auch die neuen Diskussionen darüber.

    Ein weiterer großer Vorteil von Headtracking und 3D-Audio ist die Verringerung der Zoom-Fatigue. Wenn man einen Raum voller Stimmen hört, die alle aus der gleichen Quelle kommen (Lautsprecher oder Kopfhörer), muss das Gehirn sehr viel tun, um sie zu entschlüsseln. Denn bei Mono lokalisiert das Gehirn den Klang als „in unserem Kopf“. Dies wird auch als „In-Kopf-Lokalisierung“ bezeichnet. Diese kognitive Überlastung ist eine Schlüsselkomponente der Zoom-Fatigue, wie in dieser Arbeit erklärt.

    Head Tracking kann dieses Problem beseitigen, indem es den Stimmen eine Richtung gibt. So scheinen sie aus mehreren Quellen zu kommen, was mit dem übereinstimmt, was deine Augen dir sagen. Da dies so offensichtlich zu sein scheint, aber in jeder Anwendung unterrepräsentiert ist, habe ich diesem Thema einen ausführlichen Artikel gewidmet.

    Wo wird Head-Tracking sonst noch eingesetzt?

    Head-Tracking wird auch in verschiedenen militärischen Technologien eingesetzt. Piloten zum Beispiel nutzen es, um mehr Kontrolle über ihre Maschine zu bekommen. Sie können damit ihr Cockpit schneller steuern. Oder sie hören, wo sich ein Feind befindet, wie hier angegeben.

    Während Musik und Filme die wichtigsten Optionen zu sein scheinen, würde ich sagen, dass dies nur einen kleinen Teil des Potenzials umfasst. Selbst wenn wir nur über Unterhaltung sprechen. Denn hier haben Spiele bereits 3D-Audio eingesetzt, um zum Beispiel einen Feind von hinten zu hören. Das ist buchstäblich das, was Piloten in Zukunft mit räumlichem Klang machen werden. Also genau wie oben beschrieben – aber weniger schädlich.

    Auch Konferenzen werden sehr davon profitieren, dass man ein realistisches Gefühl von Gesprächen in der virtuellen Welt hat. Da wir mehr Freiheitsgrade haben als bei einem Zoomgespräch, hat auch der Ton mehr Dimensionen. An dieser Stelle wird gerne der Begriff „Metaverse“ verwendet. Wenn du mehr darüber wissen willst, wie man in digitalen Realitäten kommuniziert, schau dir diesen Post an.

    Ist Head-Tracking der Wendepunkt für räumliches 3D-Audio?

    Das kommt auf den Inhalt an. Es gibt Anwendungsfälle, die mich wirklich begeistern, wie 360-Sound-Erlebnisse. Oder auch das Anschauen eines Films mit unterschiedlichen Apps, wie oben beschrieben.

    Aber es gibt auch Szenarien, bei denen selbst ich – ein großer Enthusiast – skeptisch bin, nämlich bei räumlicher 3D-Musik. Das ist im Moment ein großes Thema mit Dolby Atmos und Apple Music, also finde heraus, was wirklich dahinter steckt.

    Einige Leute sagen, dass eine personalisierte HRTF der heilige Gral des räumlichen Klangs für Kopfhörer sein wird. Andere behaupten, es sei Headtracking. Aber es steckt viel mehr dahinter, wie Frequenzkurven von Kopfhörern, Verstärkern, Lautstärke. Und rate mal: der Inhalt. Ich kann gar nicht genug betonen, dass wir hier die Aufmerksamkeit der Leute erregen können. Letztendlich mag ich Head-Tracking sehr, es hilft gegen die Front-Rücken-Lokalisierung. Damit hat man eine gute Hilfe, um alle Geräusche einer Szene zu hören. Aber herauszufinden, wo das sinnvoll ist und besser als Stereo, da wird es interessant – und ich zeige dir gerne wie.

    Welche Hardware ist bereits auf dem Markt?

    Bei der Headtracking-Hardware können wir zwischen eingebauter bzw. interner und externer Technologie unterscheiden. Internes Head-Tracking ist bei Head-Mounted-Displays, aber auch bei immer mehr Kopfhörern üblich. Gyroskope und Beschleunigungsmesser im Inneren des Geräts messen die Kopfbewegungen.

    Externe Head-Tracking-Geräte werden in der Regel an den Kopfhörern oder dem Headset angebracht. Für diese Geräte gibt es natürlich unterschiedliche technische Ansätze. Einige arbeiten mit Infrarotkameras, andere mit den erwähnten Gyroskopen und so weiter. Auch die Software spielt beim Head-Tracking eine große Rolle, da die Lokalisierungsdaten interpretiert werden müssen. Mit der richtigen Software kann sogar eine Standard-Webcam zu einem Head-Tracker werden.

    Welche externen Head-Tracking-Geräte gibt es?

    Head-Tracker Beschreibung
    Waves NX Head-Tracker Dieser Head-Tracker arbeitet mit der NX Virtual Mix Room Software.
    AudioEase Das Head-Tracking von AudioEase funktioniert mit der 360pan Suite Software, die mit einem preiswerten Beschleunigungsmesser und Gyroskop kompatibel ist, das leicht bei Amazon erhältlich ist.
    3D Sound Labs Das Unternehmen stellt Head-Tracking-Module und entsprechende Software her. Außerdem hat es 2017 einen Kopfhörer mit Headtracking-Funktion auf den Markt gebracht, den 3D Sound ONE.
    MrHeadTracker Dies ist ein Do-It-Yourself-Kopf-Tracker, der auf der Arduino-Plattform basiert. Der Preis für das Gerät beträgt nur 25 €.
    Supperware Der längliche Headtracker von Supperware lässt sich einfach an den Kopfhörern befestigen und wird mit der dazugehörigen Software geliefert.
    MMR – METAMOTIONR Davon gibt es bereits eine neuere Version namens MMRL – METAMOTIONRL
    NVSonic Headtracker NYU Er kann mit OSC-Daten arbeiten, ähnlich wie NXOSC von audioo.com

    Wenn ihr wissen wollt, welche Kopfhörer und Earbuds bereits Head-Tracking für räumliches 3D Audio nutzen klick hier. Spoiler: Apple, Yamaha, Samsung und Bose sind bereits dabei – das ist schon mal eine Ansage.

    Millionen von Kopfhörern mit Head Tracking wurden bereits auf dem Verbraucher Markt verkauft. Aber kaum ein Konsument ist sich bewusst, dass er diese Technologie überhaupt besitzt. Und die Hersteller tun sich schwer, geeignete Inhalte und Anwendungsfälle zu finden, die von der Infrastruktur profitieren. Lasst uns das ändern!

    Wie sieht es mit dem Audiocontent aus?

    Die Hardware und die Technologie sind bereits weitgehend vorhanden, aber der Inhalt noch nicht so sehr. Man muss verstehen, dass es eine Dualität ist: Guter Inhalt profitiert von guter Technologie und andersherum. Deshalb ist es an der Zeit, kreativ zu werden und herauszufinden, was mit der bereits vorhandenen Hardware überhaupt möglich ist. Sicher, es gibt bereits ziemlich coole Sachen und gute Inhalte, aber oft ist die Verfügbarkeit oder Kompatibilität auf verschiedenen Geräten und/oder Plattformen ein Problem. Außerdem ist oft nicht klar, was eigentlich „guten Content“ ausmacht. Ich denke also, es gibt noch viel zu erforschen! Außerdem sollten wir nicht vergessen, dass diese Technologien noch in den Kinderschuhen stecken. Stereo zum Beispiel kam in der Mitte des letzten Jahrhunderts auf und es dauerte eine ganze Weile, bis man herausfand, wie man damit „richtig“ umgehen kann.

    Wie kann Head-Tracking richtig umgesetzt werden?

    Aber woher wissen wir, ob das Head-Tracking richtig benutzt wird? In einer idealen Welt würden die Verbraucher die Technologie nutzen, ohne überhaupt darüber nachzudenken. Aber in der Realität gibt es noch viele Einschränkungen zu beachten. Deshalb bin ich froh, mit CEVA zusammengearbeitet zu haben, um mehr Licht in dieses komplexe Thema zu bringen.

    Sie bieten ein komplettes 3D-Audio-Referenzdesign an. Es wird für die Entwicklung von Headsets und True Wireless Stereo (TWS) Ohrhörern verwendet, die Spatial Audio unterstützen. Das Produkt kann später für die oben genannten Anwendungsfälle wie Spiele, Multimedia und Konferenzen verwendet werden.

    Um alles in Betrieb zu nehmen, muss man nur ein beliebiges Paar Stereokopfhörer einstecken. Zusätzlich schließt man ein Bluetooth-Gerät wie ein Smartphone als Wiedergabegerät an. Jetzt kann man Musik vom Telefon abspielen und Musik mit Headtracking erleben. Das heißt, du hörst sie so, als würdest du sie über Lautsprecher in deinem Zimmer wiedergeben. Genau so, wie man es aus der Realität gewohnt ist, wenn man keine Kopfhörer trägt.

    head tracking

    Was hört man, wenn Stereo mit Raumklang eingesetzt wird?

    In diesem Fall verwenden wir also einen Stereoeingang, der hochgemischt wird. Apple bezeichnet dies jetzt als „Spatialized Stereo“. Wenn du dir zum Beispiel einen Film ansiehst, ist die Tonspur nur ein 2.0-Stereo-Mix. Das bedeutet, dass man keine ausgefallene Mehrkanaldatei in 5.1 oder Dolby Atmos benötigt. Ehrlich gesagt war ich skeptisch, da die Samsung Galaxy Buds Pro das nicht wirklich gut hinbekommen haben.

    Aber ich habe etwas Neues gelernt, denn ich hatte das Gefühl, dass die Musik ihren ursprünglichen Schwung nicht verloren hat. Meiner Meinung nach ist dies das Hauptproblem bei 3D-Musik, wie ich in Bezug auf Apple Music feststellte. Das Ziel der Externalisierung kämpft gegen die Lokalisierung im Kopf. Sie soll das Gefühl vermitteln, dass man die Musik außerhalb des Kopfhörers hört.

    Bei den meisten Algorithmen führt der Bass zu Artefakten und klingt im Vergleich zum normalen Stereoklang schlechter. Mit dem Referenzdesign von CEVA hatte ich zum ersten Mal das Gefühl, dass die Musik ihr Timbre nicht verliert. Es war nahe dran, so wie ich es von nicht-räumlichem Audio mag, aber es fühlte sich immer noch nicht wie „in meinem Kopf“ an.

    Der Grund dafür ist in der Software und der Hardware zu suchen. Das Referenzdesign nutzt die BK3288X Bluetooth Audio SoC-Serie von Beken. Es ist mit dem CEVA-X2 Audio DSP ausgestattet, auf dem die RealSpace ® 3D-Audio-Software von VisiSonics läuft. Zusammen mit den MotionEngine™ Kopfverfolgungsalgorithmen von CEVA. Dies ist der Punkt, an dem die latenzfreie Hardware den Sweet Spot trifft. Kombiniert mit einer Software, die nicht nur technisch um ihrer selbst willen funktioniert. Sondern auch das gesamte Klangerlebnis auf eine gute Art und Weise beeinflusst. Hier ist ein kleines Demo-Video:

    Latenz

    Wie bereits erwähnt, ist eine weitere Schlüsselkomponente für ein reibungsloses Head-Tracking-Erlebnis die Latenzzeit. Bisher haben die meisten Geräte, die ich getestet habe, eine spürbare Verzögerung, wenn den Kopf bewegt. Das bedeutet, dass sich der Ton leicht verschiebt, nachdem man den Kopf bewegt hat. Dennoch würde ich sagen, dass die meisten Verbraucher dies nicht einmal hören werden.

    Das Problem liegt in den Sensoren, die buchstäblich einige Zeit brauchen, bevor sie die Bewegung überhaupt bemerken, da sie zeitbasiert sind. Selbst wenn alle 10 Millisekunden eine Bewegung überprüft wird, ergibt sich eine Latenzzeit von mindestens 10 Millisekunden. Aber so sehr ich auch versuchte, meinen Kopf zu drehen, ob schnell oder langsam, ich hatte das Gefühl, dass das Tracking immer einwandfrei funktionierte.

    Diese hochoptimierte Hardware- und Softwarelösung bietet OEMs und ODMs (Original Design/Equipment Manufacturer) ein kostengünstiges, sofort einsatzbereites SoC (System-on-a-Chip). Mit jedem Audiodateiformat, für VR, AR und die neue Generation von bewegungsempfindlichen Ohrhörern, bei denen 3D-Audio das gesamte Benutzererlebnis verbessert.

    Schlussfolgerung zu einem Referenzdesign

    Als ich die Referenzdesign-Kits zum ersten Mal sah, hatte ich einen kleinen Flashback zu meinem Informatikstudium, als ich mit Leiterplatten arbeitete. Normalerweise kenne ich nur marktreife Produkte, die irgendwie auf magische Weise Sound ausgeben. Es war also super interessant für mich, den Schritt zu sehen, bevor es überhaupt zu einem Produkt wird.

    Was die Funktionen angeht, so hatte es alles, was ich zum Testen brauchte. Ich konnte – sozusagen – meine Sounddateien einstecken und abspielen, und es gibt sogar eine Taste, um das 3D-Audio-Upmixing abzuschalten. Das ermöglicht sofortige Vergleiche. Aber natürlich kann man noch ein wenig tiefer gehen und verschiedene HRTFs anfordern, um die Ausgabe nach Wunsch zu optimieren.

    Das 3D-Audio-Referenzdesign ist direkt bei CEVA erhältlich. Das zugehörige Softwarepaket kombiniert VisiSonics‘ RS3D mit CEVAs MotionEngine™. Es ist ebenfalls ab sofort zur Lizenzierung durch CEVA erhältlich.

    head tracking

    Was ist neben der Klangrotation noch möglich?

    Wir haben gelernt, dass Head-Tracking im Audiobereich und darüber hinaus viel Potenzial hat. Aber was könnte man damit noch alles machen? Die neuen T5 II True Wireless ANC-Ohrhörer von Klipsch bieten zum Beispiel Gestensteuerung. Das bedeutet, dass man Telefonanrufe durch einfaches Kopfnicken annehmen oder Lieder mit verschiedenen Bewegungsmustern überspringen kann. Und es wird prognostiziert, dass dieses Feature in Zukunft um weitere Funktionen erweitert wird.

    Manchmal ist einfach Kreativität gefragt, wenn es darum geht, bereits vorhandene Technologie für neue Anwendungsfälle zu nutzen. Aber lass dich nicht von Marketingbegriffen täuschen. Das Forbes Magazin hält diese Gestensteuerung für künstliche Intelligenz (KI). Jetzt weißt du es besser, es ist Head-Tracking 😉

    Wie sieht die Zukunft aus?

    Ein großes Thema in diesem „Tracking-Bereich“ könnte das Face- und Eye-Tracking sein. Es kann zur weiteren Verfeinerung des Head-Trackings, aber auch als eigenständige Technologie eingesetzt werden. Face Tracking ermöglicht die Analyse von Gesichtsausdrücken und kann in VR-Erlebnissen eingesetzt werden, um beispielsweise die emotionalen Zustände des Spielers zu übersetzen. Auch das Eye-Tracking kann als weiteres Werkzeug zur Navigation oder Steuerung eingesetzt werden. Meistens liegt der Schwerpunkt bei neuen VR-Technologien zunächst auf dem visuellen Aspekt, aber ich bin sicher, dass es in Zukunft auch spannende Audioanwendungen geben wird! Wie bereits erwähnt, handelt es sich bei dem Audio-Headtracking, über das wir hier sprechen, nur um drei Freiheitsgrade. Aber es ist wahrscheinlich, dass wir in der Zukunft mehr Bewegungsfreiheit haben werden. Wir wissen, wie es sich anhört, wenn wir unseren Körper zu einer Klangquelle bewegen. Das wird der nächste Schritt sein, um Augmented Audio hyperrealistisch zu machen. head tracking audio conclusion

    Fazit zu Headtracking Spatial Audio

    Wie bereits zu Beginn dieses Artikels erwähnt, wird Headtracking in einer Vielzahl unterschiedlicher Bereiche und Anwendungen eingesetzt. Obwohl es immer um die Verfolgung von Kopfbewegungen geht, ist es die Art und Weise, wie es eingesetzt wird, die es vielseitig und abwechslungsreich macht. Und ich denke, das ist immer ein spannender Aspekt innovativer Technologien: Man weiß nie, wofür sie in Zukunft eingesetzt werden können und werden.

    Wir haben auch gesehen, dass es bereits eine ganze Menge Hardware und Head-Tracking-Technologie im Allgemeinen gibt. Das bedeutet, dass es für uns Content Creators an der Zeit ist, diese Technologien zu erforschen und herauszufinden, was mit ihnen möglich ist. Offensichtlich bin ich ein Forscher in diesem Gebiet, wenn du also jemanden wie mich brauchst, zögere nicht zu fragen!

    weitere Beiträge

    Diese Webseite verwendet Cookies. Wenn Sie diese Webseite weiterhin besuchen, stimmen Sie der Nutzung von Cookies zu. Mehr dazu finden Sie in meiner Datenschutzerklärung.
    Notwendige Cookies
    Tracking
    Alles akzeptieren
    oder Auswahl speichern