Beim Immersive Forum kommen jährlich Experten aus nahezu allen Audio-Bereichen zusammen und geben ihre Erfahrungen zum Thema 3D-Audio weiter.
Die HOFA-College Tutoren und Audio Engineers Leon und Julian haben das Event besucht und teilen hier Highlights und Trends aus dem Bereich Immersive Audio mit euch:
Tag 1 (Di, 08.10.24)
Nach einer kleinen Begrüßung ging es direkt mit dem ersten Vortrag los. In der „Live Stage“, einer von 3 Vortragsorten (zusätzlich gibt es noch das 3D-Studio und den Workshop-Space), an denen teilweise sogar parallel lehrreiche Themen behandelt wurden, ging es sportlich zur Sache. Denn auch die Fernsehübertragungen von Sportveranstaltungen übertragen Ton teilweise bereits in immersiver Form. Genau genommen haben wir hier einen Einblick in die Tonmischung des Finales der Fußball Europameisterschaft 2024 erhalten und innerhalb eines Dolby Atmos Speaker Setups die Immersion miterleben dürfen.
Professor Felix Krückels (Professor für Broadcast Produktion und System Design an der Hochschule Darmstadt) behandelte die Platzierung der Mikrofone bzw. Mikrofon-Arrays im Stadion. Diese ähnelt fast schon der Vorgehensweise bei der Aufnahme eines klassischen Orchesters oder einer Choraufnahme, da man in erster Linie auf eine Hauptmikrofonierung (in diesem Fall eine ORTF-3D Anordnung) setzt, die viel vom Klang vorgibt und mit Stützmikrofonen gezielt angereichert wird, wenn man beispielsweise die Ansagen der Spieler, die Fans oder Ballgeräusche hören möchte. Sind die Stützen allerdings zu laut, so kann es dem Gesamtklang die nötige Breite und Größe nehmen, es bleibt also ein schmaler Grat, auf dem man sich bewegt. Auch die Mischverhältnisse und Signalbearbeitung wurde thematisiert, die vom klassischen EQ/Kompressor und der Säuberung (auch mit AI-Tools) der Spuren wieder bekannte Züge zeigte. Auch die Schwierigkeiten wurden aufgezeigt, die unter anderem beim Übersprechen der Signale sowie auch bei den großen Laufzeitunterschieden bei den Mikrofonen im Stadion entstehen können. Man kann auch kaum glauben, welch großer Aufwand hier vorgenommen wird, um den Sound so natürlich und immersiv zu gestalten, ohne dass der Zuschauer dies auf den ersten Blick oder im Stadion durch viele Mikrofonaufbauten deutlich wahrnimmt. Ein sehr spannender Blick über den Tellerrand der reinen Musikproduktion hinaus 😉
Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Mehr InformationenDer nächste Vortrag kann dabei gut anknüpfen. Denn zur Mischung einer Live-Übertragung im Fernsehen haben wir bereits etwas gehört, aber wie und mit welchem System bzw. Codec kann dies auch in immersiver Form verbreitet werden? Hierzu konnte Marcel Remy von Fraunhofer IIS aufschlussreiche Informationen geben und auch aktuelle Entwicklungen in diesem Bereich zeigen. Durch das sogenannte Next Generation Audio (NGA) kann nicht nur immersives Audio hervorgebracht werden, sondern auch die Personalisierung des Programms (bspw. den Dialog eines Films flexibel lauter einstellen) kann vorgenommen und die Barrierefreiheit vorangetrieben werden. Die Umstellung ist ein großer Schritt, aber diesen Schritt ist Brasilien eindrucksvoll gegangen und somit einer der Vorreiter beim Thema TV 3.0. Wir müssen allerdings gespannt bleiben, wann und wie schnell andere Länder nachziehen werden und wie sich das auf die TV-Landschaft auswirken wird.
Anschließend entführte uns Martin Rieger von VRTonung in die faszinierende Welt der immersiven Audioproduktion und gab spannende Einblicke in die beruflichen Perspektiven dieses aufstrebenden Feldes. Neben den etablierten Anwendungsbereichen wie Musik und Film eröffnet immersives Audio eine Vielzahl weiterer Einsatzmöglichkeiten. Dazu zählen 360-Grad-Videos, Virtual und Augmented Reality sowie VR-Trainings in Bereichen wie der Medizin/Forschung. Auch Branchen wie Journalismus, Tourismus und sogar Wellness und Entspannung können von der Einbindung immersiver Audioelemente profitieren.
Ein zentraler Gedanke dabei ist: „Welche Tonanwendungen funktionieren in Stereo nicht gut?“ – denn gerade diese bieten kreativen Spielraum und fordern innovative Ideen, um Technik und Kreativität zu verbinden. Das Ziel ist es, einen Sweetspot zu schaffen, der sowohl technologische Möglichkeiten als auch kreative Freiheiten vereint. Es ist wichtig zu betonen, dass 3D-Audio keinesfalls das geliebte Stereo verdrängen wird; vielmehr werden beide Formate nebeneinander existieren und sich gegenseitig ergänzen.
„Lautsprecher an die Decke hängen und die Kunden kommen“ sei laut Martin Rieger nicht der richtige Ansatz. Es geht darum, den sinnvollen Einsatz von 3D-Audio gezielt zu planen und für verschiedene Medienformen präzise einzusetzen.
Mit dem neuen Ausbildungsberuf „Gestalter/in immersiver Medien“, an dessen Entwicklung Martin Rieger maßgeblich beteiligt war, entstehen nun ganz neue Möglichkeiten. So wächst nicht nur das Interesse an dieser spannenden Technologie, sondern auch die beruflichen Chancen in einem noch jungen und innovativen Bereich.
Nach einer kleinen Stärkung haben wir einen Einblick in die Welt von Game Audio erhalten. Vom Producing über das Sound Design bis hin zur Implementierung in das Videospiel haben uns die beiden Engineers der Molok Studios (beteiligt an Spielen wie: It takes two, Halo, Payday) aus Italien mitgenommen. Wir konnten den Aufnahmeprozess bestaunen und bekamen auch Einblicke in das WWise-Projekt eines Spiels. Falls ihr mit dem Begriff „WWise“ nicht viel anfangen könnt, dann schaut doch mal bei unserem Game Audio Themenkurs vorbei. Um in das Spielgeschehen einzutauchen, wird auch hier mit immersivem Audio gearbeitet. Zum Ende des Vortrags durften wir auch eine speziell für das Immersive Forum 2024 entwickelte Demo eines Spiels erleben!
Überrascht wurden wir vom Vortrag der Betreiber des Groundlift Studios. Hierbei handelt es sich um kein klassisches Tonstudio, sondern viel mehr um ein Multifunktionsstudio, in dem TV-, Video-, Musikproduktionen und auch Konzerte abgehalten werden. Das alte Brauerei-Gebäude wurde akustisch hergerichtet und vor allem technisch optimal ausgestattet. Die Besonderheit ist dabei eine Beschallung in 3D-Audio, die die Immersion der Musik an die Zuhörerinnen und Zuhörer geben soll. Über ein sehr aufwendiges Lautsprechersystem und eine Beschallung mithilfe der Ambisonics-Technik werden beeindruckende Musikstücke zum Leben erweckt. Die Immersion steht an erster Stelle und durch die technischen Möglichkeiten ist es sogar möglich, den verhältnismäßig kleinen Raum (150 Sitzplätze) deutlich größer klingen zu lassen, selbst ein Kirchensound wäre möglich, wenn dies zur Anwendung passen sollte. Durch harte Arbeit und viel Tüftelei garantieren sie in ihrer Location, dass auf allen Plätzen guter Sound und eine korrekte Lokalisation des Musikstücks gegeben ist, die dem Sweetspot in nichts nachsteht. Da bekommt man direkt Lust, eine dieser aufwendig gestalteten Produktionen zu besuchen
Zum Abschluss des Tages haben wir uns noch ein spannendes Projekt angeschaut. Die Bestandteile waren ein Kammerorchester, spezielle IKO Lautsprecher, Kuka Roboter, ein Roboter-Hund und KI-generierte Musik im Stile von Bach. Experimentell, aber eine tolle Show, die in Sound und Kreativität überzeugen konnte. Auch der Roboter spielte eine musikalische Rolle, indem er bei einem Stück den Ton C in Achteln auf dem Klavier spielte, sozusagen das „teuerste Metronom der Welt“, wie er vom Referenten genannt wurde.
Tag 2 (Mi, 09.10.24)
Das Immersive Forum wurde dieses Mal mit einem spannenden Beitrag von David Ziegler über Dolby, Dolby Atmos und deren aktuellen Neuerungen und Entwicklungen eingeleitet.
Die Möglichkeit, Dolby Atmos zu mischen, wird immer breitflächiger an die Musikschaffenden herangebracht. Viele große DAWs können den Atmos Renderer bereits nativ verwenden (Pro Tools, Cubase, Studio One etc.), während nur noch wenige Hersteller fehlen. Aber auch diese DAWs können mit Tools wie bspw. dem Fiedler Dolby Atmos Composer aufgerüstet werden, um die Vorzüge des 3D-Audio Mixings zu genießen.
Generell möchte Dolby die Produktionsphilosophie „Dolby Atmos First“ etablieren, sodass Produktionen erst in Atmos gemacht werden und dann für weitere Publikationszwecke einen Downmix erfahren. So wird gerade für den Musikbereich die neue Stereo Direct Funktion im Dolby Atmos Renderer relevant. Ein automatischer Stereo-Downmix bringt meistens Probleme mit sich – unter anderem, dass die Rear- bzw. Surround-Kanäle dabei automatisch zu weit abgesenkt werden. Somit können wichtige Signalanteile beim Downmix zu leise werden und der Mix kann auseinanderfallen. Mit Stereo Direct kann man den Trim (Absenkungen/Abhebungen der betroffenen Kanäle) aber selbst bestimmen und hat somit mehr Möglichkeiten, einen gut klingenden Stereo-Downmix zu generieren. Ob sich das allerdings etabliert oder ob Musikproduktionen doch weiterhin oftmals zuerst in Stereo und dann in Atmos gemischt werden, wird sich mit der Zeit zeigen.
Was Streaming betrifft, so rechnet Apple Music Dolby-Atmos-Mischungen mit 10 % mehr ab. Da dadurch Probleme für vor allem geringer budgetierte Produktionen entstehen, die nur in Stereo produziert werden, suchen sich kleinere Labels andere Lösungen, um mit wenig Aufwand an den höheren Verdienst zu kommen. Ein Upmix-Plugin kann in Kürze einen vermeintlichen „3D-Sound“ kreieren, der ausreichen kann, um den höheren Verdienst zu erzielen. So denkt man es sich zumindest … Um die Wertigkeit von „echten“ Atmos-Produktionen zu erhalten, arbeitet Apple mittlerweile aber mit einer Upmix Detection, die solche Upmixes erkennen und von der Plattform nehmen soll. Eine spannende Entwicklung – würdet ihr den Mehraufwand eingehen, um extra in Atmos zu produzieren, für 10 % mehr Verdienst?
Auch bei Dolby wird das Thema Next Generation Audio großgeschrieben und vorangetrieben. AC-4 heißt der Codec, der auch in Konkurrenz mit dem Fraunhofer Produkt MPEG-H steht, von welchem wir gestern erfahren haben. Fußball bei Sky und die Olympischen Spiele liefen bereits über AC-4. Laut Dolby können auch bereits 80 % der neuen UHD-TVs mit AC-4 umgehen, was die Konsumenten freuen dürfte. Die Zeit wird zeigen, wann sich welches Format durchsetzen wird.
Nach dem großen Informationsfluss ging es nun an das Hören im 3D-Studio, welches von Genelec ausgerüstet wurde. Eric Horstmann (Ski Aggu, Helene Fischer, Robin Schulz) gab uns einen Einblick in einen 3D-Mix, seinen Workflow und generelle Ideen zum Atmos-Mixing. Der Ansatz, das obligatorische Bed zu vernachlässigen und sich ein Object-Bed zu kreieren, kann einige Vorteile bei der Übertragung auf Speakersysteme, aber auch in die binaurale Kopfhörerwelt bringen. Ein Ansatz, den man sich durchaus genauer anschauen kann!
Danach wurden uns noch 3 Rockproduktionen von Audio Engineer Thomas Geiger (Blind Guardian, Axel Rudi Pell) gezeigt und vorgeführt, die von Soft bis richtig hart alles abdeckten. Natürlich waren alle Mischungen in 3D-Audio zu hören und sorgten für eine klangliche Umhüllung.
Als letzten Programmpunkt haben wir uns einen Vortrag zu 3D-Klassik-Recording angehört. Es ging hierbei vor allem um klangliche Experimente mit der Zielsetzung, eine Go-To 3D-Mikrofonierung für diesen Zweck zu finden. Spoiler: So einfach klappt das nicht. Vom ORTF 3D über den Cube, Hamasaki und PCMA-3D Mikrofon-Arrays wurde viel getestet und auch verschiedene Mikrofoncharakteristiken verglichen und probiert. Mitnehmen konnten wir vor allem, dass Kugelmikrofone gerade in der unteren Klangebene sehr gut funktionieren und den Klang toll wiedergeben, während Nieren in der oberen Ebene einen guten Job machen. Raummikros, welche weit hinten im Raum angeordnet wurden, sind dagegen sehr anfällig für Reflexionen, was unerwünschte Effekte mit sich bringen kann, wie zum Beispiel eine nähere Klangwahrnehmung oder betontere S-Laute, als es normalerweise bei einem weit hinten platzierten Raummikrofon erwartet wird.
Die beiden Tage beim Immersive Forum haben uns sehr gut gefallen und wir konnten viele spannende Themen, neue Denkansätze und viel Motivation mitnehmen. Die Atmosphäre war sehr angenehm, und der Austausch mit den Kollegen der Audiobranche ist immer anregend. Wir kommen gerne wieder!