360° Video und 360° Sound in einem Gerät?

Immer mehr 360-Grad-Kameras haben mehr als nur ein integriertes Mikro verbaut und unterstützen damit scheinbar Spatial Audio. Prinzipiell finde ich die Entwicklung spannend, da aktuell zusätzliche Surround-Mikros und Recorder nötig sind, die unter der Kamera verbaut werden müssen, was nicht immer ohne weiteres möglich ist. Es könnte also in Zukunft eine interessante Option werden.
Doch wie ist der aktuelle Stand der Technik? Hier ein Review der InstaPro, ihre Fähigkeiten und Workflow zum Thema 360° Sound.

Anmerkung: Ich habe mit der Firma Insta nichts zu tun. Aufgrund eines 360° Drehs kam ich in Kontakt mit der Kamera, einige Punkte treffen aber auch auf vergleichbare 360-Grad-Kameras wie die Nokia OZO, Kandao Obsidian, GoPro Fusion oder Vuze Camera zu.

Produktion

Das Schöne an dem Ganzen ist, dass es sehr einfach funktioniert. Man muss im Kamera-Menu lediglich den Spatial Audio Modus aktivieren und die Kamera zeichnet neben den 6 Kamera-Bildern auch die 4 Mikros auf, wie hier auch mal auf einem fahrenden Pferdeschlitten. Wie das aus technischer Sicht funktioniert, dazu später mehr.

Bei den ersten Aufnahmen fällt schnell auf, dass die Insta360 Pro nicht gerade geräuschlos ist. Der eingebaute Lüfter macht ordentlich Lärm, kann aber so eingestellt werden, dass dieser deaktiviert wird, sobald die Kamera in den Record-Modus geht. Dies kann aber gerade bei hohen Umgebungs-Temperaturen zu einem ernstzunehmenden Problem werden.

Im Vergleich zur Nokia Ozo, ist es möglich, über die passende „Insta360 Pro Camera Control App“ auch die Mikrofonverstärkung zu regeln, leider nur auf einer ungenauen Anzeige von 0 bis 100. Man weiß also nie so recht, bei wie viel Dezibel man gerade ist.

Eine ähnlich kompakte 360-Grad-Kamera ist etwa die Kandao Obsidian. Diese hat einen Blitzschuh-Adapter mit einem 3/8 Zoll Gewinde. Somit lassen sich auf die Kamera etwa eine Gear360 als Preview Kamera oder etwa ein Zoom H2n als BackUp-Recorder installieren. Dies fehlt bei der Insta360 Pro leider ebenso, wie die Remote-Funktion der Kandao, einen Zoom H2n über ein Mini-Klinkenkabel mit der Kamera zu verbinden, sodass dieser aufnimmt, sobald die Kamera aufnimmt. Das kann unter widrigen Bedingungen sehr praktisch sein, und sieht so aus, wie auf dem Bild unten, das bei meinen Dreharbeiten in Bangladesch entstanden ist.

Es fehlt außerdem ein Windschutz für die Mikrofone. Sollten also Störgeräusche auf nur einer der 4 Kapseln landen, zerstört dies das gesamte Ambisonic-Schallfeld.

Post-Produktion

Die 360-Grad-Kamera liefert 6 Video-Clips der einzelnen Linsen. Die ersten beiden Videos enthalten je eine Stereo-Spur, also insgesamt 4 Audio-Spuren, wodurch man die Signale der 4 integrierten Mikros gewinnt. Problem: Der Ton ist bereits in die mp4-Files encodiert und das Ganze mit dem AAC-Codec und einer Bitrate von lediglich 128kbit/s. Damit verliert der Ton bereits bei der Aufnahme enorm viel Qualität und stellt hier bereits fast ein KO-Kriterium dar.

Insta hat seine eigene Software, um die 6 Linsen zu einem 360° Bild zusammenzusetzen, den Insta360 Pro STITCHER. Dieser bietet nun die Möglichkeit die Rohdaten der 4 Mikros zu einem Ambisonic Schallfeld zusammenzusetzen. Dabei erhält man eine Datei, die der des Zoom H2n ähnelt. Dadurch, dass die 4 Mikrofon-Kapseln in einer Ebene liegen, gibt es keine Höheninformationen für oben und unten. Man erhält also eine 4-kanalige wav-Datei im Ambix-Format (Kanäle 1:W, 2:Y, 3:Z, 4:X), wobei der dritte Kanal stumm ist, wie beim Screenshot von Reaper unten zu sehen ist.

Frequenzspektrum

Hier eine Frequenzanalyse der 360-Grad-Kamera mit iZotope RX, siehe unten. (Blau ist die Wellenform. Je heller die Farbe Gelb/Orange, desto heller die Intensität der Frequenzen; Schwarz bedeutet also: kein Ton vorhanden). Man kann deutlich erkennen, dass alle Frequenzen oberhalb von 12kHz einfach fehlen. Darüber hinaus sind über 10kHz deutliche Löcher ins Spektrum gerissen worden, die der Datenreduktion zuzuschreiben sind. Darüber hinaus sind im Bild, unter 100Hz periodisch auftretende Signale zu erkennen, dessen Herkunft mir der Insta-Support nicht beantworten konnte. Es ist nicht hörbar aber in der Wellenform erkennbar und macht den Low-Cut-Filter obligatorisch.

So sollte das Spektrum eigentlich aussehen; Referenz-Aufnahme mit meinem Ambisonic-Mikrofon.

Wie klingt das Ganze nun?

Um ehrlich zu sein, eigentlich hätte ich mir die ausführliche Beschreibung sparen können und einfach gleich die Katze aus dem Sack lassen: Die Kamera klingt einfach nicht gut. Wer hätte es gedacht, es ist eine 360-Grad-Kamera.

Meiner Meinung nach sind die verbauten Mikrofon-Kapseln das größte Problem, die klanglich eher an Plastik, Metall und GoPro-Plagiate erinnern.
Ich konnte vor einiger Zeit die VUZE 3D-360 Grad-4K Kamera, welche ebenfalls vier Mikros verbaut hat, auf ähnliche Weise testen. Der Sound ist aber qualitativ so schlecht, dass er quasi unbrauchbar ist und die Fähigkeiten bezüglich Spatial Audio damit irrelevant sind. Ausprobiert habe ich es trotzdem, und nunja, ich hätte es mir sparen können, wenn es mir kein Spaß gemacht hätte. Zurück zur Insta.

Trotzdem kann hier ein einzelner Produktionsfehler durchaus eine Rolle gespielt haben, ein Kamera-Kollege hat von einer unscharfen Kamera-Linse erzählt. Natürlich ließ ich es mir nicht nehmen, neben dem Ambisonic-Signal auch die 4 Mikrofonsignale einzeln zu testen. Dabei fiel überraschenderweise auf, dass eine der Kapseln ganz OK klang, eine mittelmäßig und 2 hatten eine starke Absenkung bei etwa 5 bis 10 kHz. Mit Equalizern konnte man den Fehler etwas beheben, Problem ist aber, dass der Stitcher nur mit den originalen Files arbeiten kann, womit der Defekt ohne zu zögern in Ambisonic konvertiert wird, womit der 3D Sound irreparabel beschädigt wird. Kapsel 1 sieht eigentlich ganz gut aus. Kapsel 2 hat eine deutliche Absenkung im oberen Frequenzbereich.

Während Kapsel 3 und 4 eigentlich keine brauchbaren Töne über 5kHz liefern…

Hörbeispiele wären an der Stelle jetzt angebracht, aber nachdem dieser Blog-Eintrag wesentlich länger geworden ist, als erwartet, müssen diese vorerst außen vorbleiben. Bei Interesse bitte eine E-Mail schreiben, aber wer will schon schlechten Ton anhören?!

Fazit:

Eigentlich wollte ich die wichtigsten Punkte nochmal aufgreifen, hatte aber wesentlich mehr Punkte auf der Contra als auf der Pro-Seite. Deswegen möchte ich betonen, dass es insgesamt eine gute Idee ist, welche eben noch in den Kinderschuhen steckt. Auch wenn das Ergebnis insgesamt ernüchternd war, denke ich, dass es ein Schritt in die richtige Richtung ist. Detaillierte Fragen kann der Support von Insta auf Facebook beantworten.