Jugendsinfonieorchester Leipzig spielt Leonard Bernsteins Candide Ouvertüre im Konzertsaal – ein immersives Live-Musikerlebnis.

VR-Erlebnis „im Orchester sitzen“ mit 3D Audio

Einmal mitten im Orchester sitzen, zwischen Streichern, Bläsern und Pauke: Das konnten Besucherinnen und Besucher beim „Musikfest für alle“ am 13. April 2025 im Gewandhaus Leipzig mit einer VR-Brille erleben. Grundlage war ein 360°-Video des Jugendsinfonieorchesters der Musikschule Leipzig „Johann Sebastian Bach“, umgesetzt mit diginetmedia. Ich habe dafür den Ton in 360° gemischt.

Jugendorchester bei einem Konzertauftritt im Konzertgebäude Leipzig.

Warum ein 360°-Konzert mehr braucht als den Stereomitschnitt

Mit einem normalen Stereomitschnitt passiert in der Brille etwas Unlogisches: Man dreht den Kopf, das Bild dreht sich mit, aber der Ton bleibt immer gleich. Man kennt das, also fällt es kaum auf. Wer aber mitten im Orchester sitzt, erwartet, dass die Bläser von hinten kommen, wenn sie hinter einem sitzen.

Die Ausgangslage war nicht ideal. Aufgenommen wurde ausschließlich über die vorgehängten Mikrofone des MDR: ein AB-Hauptsystem und ein Decca Tree mit Auslegern, alles über dem Orchester gehängt, nichts gestellt. Ein eigenes Raummikrofon für 360° gab es nicht.

Wie aus den Mikrofonen ein Klangraum wurde

Mit dem Mikrofonplan der Musikschule habe ich jede Einzelspur an die Stelle im 360°-Bild gesetzt, an der das Mikrofon wirklich hing, und das Ganze als Ambisonics gemischt. So dreht sich der Ton mit, wenn man in der Brille den Kopf bewegt.

Das Problem war das Übersprechen. Auf jedem Mikrofon hört man auch alle anderen Instrumente im Hintergrund, und dadurch war der räumliche Effekt subtiler, als ich ihn gern gehabt hätte. Am Anfang kamen die Bläser schon deutlich von hinten, und an der Percussion konnte man die Richtung gut ausmachen. Für Laien hätte das gereicht, für Musikerinnen und Musiker noch nicht. Die Rückmeldung der Musikschule war genau das: noch recht schwach, aber „beeindruckend, virtuell mitten auf der Bühne zu stehen, das wird den Leuten gefallen!“

Kind mit Virtual-Reality-Brille erlebt immersives 3D-Audio in einer interaktiven Klanginstallation.

Also habe ich nachgelegt. Mit einer KI-gestützten Kanaltrennung ließen sich die Instrumente besser voneinander lösen, und die Ortung wurde deutlicher. Dazu kam ein Versatz zwischen Bild und Ton von einigen Millisekunden. Auf den Dirigenten zu synchronisieren war schwierig, weil er kein hörbares Signal erzeugt. Geklappt hat es mit dem ersten Paukenschlag.

Zum Schluss habe ich am Anfang einen Applaus aus dem Publikum eingefügt. Die Stille vor dem Konzert klang sonst eher nach Rauschen, und der Applaus hat einen schönen Nebeneffekt: Wer gleich zu Beginn den Kopf dreht, hört sofort, dass er aus einer Richtung kommt und der Ton wirklich 3D ist.

Was daraus geworden ist

Am Musikfest konnten Kinder und Gäste das Orchester in VR erleben, aus der Perspektive der Musikerinnen und Musiker. Das Video gibt es als 360°-Fassung mit Ambisonics und zusätzlich als 7.1.4-Mischung im Format Eclipsa Audio für Heimkino und Kopfhörer.

Für mich hat das Projekt gezeigt, dass man auch aus einem klassischen Konzertmitschnitt einen glaubwürdigen 360°-Ton bauen kann, wenn man die Mikrofonpositionen kennt. Ein eigenes Ambisonics-Mikrofon im Orchester hätte es leichter gemacht.

Flyer zum Projekt JSO in VR – Virtuelles Orchestererlebnis mit dem Jugendsinfonieorchester Leipzig.

Häufige Fragen zum Orchester in VR

Warum klingt ein Stereomitschnitt in der VR-Brille falsch? Weil er sich nicht mitdreht. Man schaut nach hinten, hört aber dasselbe wie nach vorne. Ambisonics passt den Ton an die Blickrichtung an.

Kann man ein 360°-Konzert ohne eigenes 360°-Mikrofon mischen? Ja, wenn man weiß, wo die Mikrofone hingen. Jede Spur wird an ihre Position im Bild gesetzt. Übersprechen zwischen den Mikrofonen macht den Effekt aber schwächer.

Wie synchronisiert man Bild und Ton bei einem Orchester? Am besten an einem klar hörbaren und sichtbaren Ereignis, hier dem ersten Paukenschlag. Der Dirigent selbst erzeugt kein Signal, an dem man sich festhalten kann.

Planst du ein Konzert in VR oder 360°? Reden wir.

Ton, der sich mit dem Blick dreht, vom Mikrofonplan bis zur Brille.

Jetzt unverbindlich anfragen
Diese Webseite verwendet Cookies. Wenn Sie diese Webseite weiterhin besuchen, stimmen Sie der Nutzung von Cookies zu. Mehr dazu finden Sie in meiner Datenschutzerklärung.
Notwendige Cookies
Tracking
Alles akzeptieren
oder Auswahl speichern