Krentzek, Matthias
Extended Reality
Virtuelle Welten: neue Möglichkeiten in der musikalischen Bildung
Extended Realities (XR) bewegen sich auf einem Spektrum zwischen der physischen Welt und der virtuellen Welt. Welche Formen von XR gibt es, wo sind sie auf diesem Spektrum verortet – und wie können sie die musikalische Bildung unterstützen?
Technologische Diskurse zeichnen sich vor allem durch eines aus: eine hohe Dynamik. Wer neu in die Diskussion einsteigen will, kann das Gefühl haben, auf ein fahrendes Karussell aufspringen zu wollen. Das Karussell zu verlangsamen, um den Einstieg zu erleichtern, ist keine Option. Im Englischen gibt es den Ausdruck „to bring someone up to speed“, was auf Deutsch so viel heißt wie: Jemanden auf den neuesten Stand bringen. Dies ist das Ziel dieses Artikels: den LeserInnen die wichtigsten Begriffe im Bereich der immersiven Technologien zu erläutern und sie damit auf die Geschwindigkeit zu bringen, mit der sie auf das Diskussions-Karussell aufspringen können.
Wenn wir über Extended Reality oder Immersive Technologien sprechen, reden wir von Technologien, die sich zwischen zwei Polen bewegen. Am einen Ende des Spektrums befindet sich die physische Welt, in der wir uns im Alltag bewegen, und am anderen Ende die virtuelle Welt. In einem ersten Schritt werden die aktuell wichtigsten Technologien erläutert, im zweiten Schritt wird überlegt, wie sich diese Technologien in einem musikalischen Kontext nutzen lassen.
Augmented Reality
Das englische Verb „to augment“ bedeutet anreichern. Augmented Reality (AR) reichert die physische Welt an, indem sie ihr digitale Elemente hinzufügt. Durch den Einsatz eines Endgeräts mit Kamera, z. B. einem Smartphone, macht sie mehr sichtbar. Über das Kamerabild wird die reale Umgebung abgebildet. Gleichzeitig wird das digitale Element auf dem Bildschirm eingeblendet. Es ist an einem festen Platz in der physischen Welt verankert. Das bedeutet, dass NutzerInnen das Objekt umrunden und von allen Seiten betrachten können – ganz so, als stünde es wirklich vor ihnen. Mit AR bewegen wir uns also noch sehr nah an der physischen Welt, die immer im Blickfeld bleibt.
Virtual Reality
Die Virtual Reality (VR) befindet sich am äußersten Ende des Spektrums. Hier tauchen die NutzerInnen vollständig in eine vom Computer erzeugte Welt ab, die physische Welt nehmen sie nicht mehr wahr. Die virtuelle Umgebung ist ein dreidimensionaler Raum, der begehbar ist. Hier ist die Immersion vollständig. Um die virtuelle Umgebung betreten zu können, braucht es eine VR-Brille. Sie ist aber nicht mit zwei Brillengläsern, sondern mit zwei Monitoren ausgestattet. Durch sie sehen die NutzerInnen die digitale Welt. Gleichzeitig misst die Brille die Bewegungen der TrägerInnen. Das Sichtfeld wird abhängig von der Bewegung ständig neu berechnet – ganz so, als würden wir uns in einem normalen Raum umschauen.
Mixed Reality
Zwischen AR und VR befindet sich Mixed Reality (MR). Das Headset ist hier ähnlich wie die VR-Brille aufgebaut. Neben den beiden Monitoren verfügt eine typische MR-Brille aber auch über Kameras. Sie filmen die physische Umgebung und spielen die Kamerabilder über die Brillenmonitore wieder an die NutzerInnen aus. Analog zur AR können dem Bild digitale Elemente beigemischt werden. Ein Beispiel für Mixed Reality ist der VirtualCurator.1 Diese Anwendung wurde von der Firma mxr storytelling für Museen entwickelt. An einer Station können die BesucherInnen mit Hilfe eines Headsets virtuelle Gemälde an einer physisch leeren Wand im Museum aufhängen. Die Brille mischt das Abbild der physischen Realität mit der virtuellen Realität.
Spatial Computing und Metaverse
Neben diesen drei Hauptbegriffen finden sich noch weitere in den aktuellen Diskussionen. „Spatial Computing“ nutzt Apple als Marketing-Begriff für das Headset Apple Vision Pro. Seine Funktionsweise entspricht jedoch im Grunde der eines wie oben beschriebenen Mixed-Reality-Headsets. Den Begriff „Spatial Computing“ nutzt Apple zur Distinktion. Der Facebook-Konzern hingegen pusht das Thema „Metaverse“ – so sehr, dass er sogar den gesamten Konzern in Meta umbenannt hat. Das Metaverse beschreibt einen digitalen Raum, der dauerhaft konsistent existiert. Die NutzerInnen können diese Welt jederzeit betreten, um dort mit Gleichgesinnten in Kontakt zu treten.
Drei Impulse für die musikalische Bildung
Die XR-Technologien zeichnen sich aktuell durch eine hohe Dynamik aus – in schneller Folge werden innovative Hard- und Software veröffentlicht. Gleichzeitig ist die Technik noch nicht im Massenmarkt angekommen. Es ist also genau der richtige Zeitpunkt, um über den sinnvollen Einsatz von XR in der Musik nachzudenken. Dies kann nur gelingen, wenn ProgrammiererInnen und MusikerInnen zusammenarbeiten. Die folgenden drei Beispiele sollen als Impuls und Gedankenanregung verstanden werden.
1. Üben in Mixed Reality
Mixed Reality bietet beispielsweise die Möglichkeit, SchülerInnen beim Lernen des Klavierspiels zu unterstützen. Das Headset liefert das Bild von der Klaviatur vor ihnen. Die zu spielenden Noten laufen als farbige Blöcke über das Blickfeld auf die Tastatur. Ihre Position gibt die Taste an, die zu spielen ist, ihre Länge entspricht dem Notenwert. Eine Anwendung, die diese Lernform unterstützt, ist Pianovision.2 Es gibt zwei Möglichkeiten, dieses Feature zu nutzen: Gespielt wird entweder über ein MIDI-Piano oder über eine virtuelle Klaviatur, die über die MR-Brille auf dem eigenen Tisch eingeblendet wird. Hier kommt das „Hand-Tracking“ der MR-Brille zum Tragen, das über die Kameras registriert, welche Tasten auf der virtuellen Tastatur angeschlagen werden.
2. Neuartige Konzerterlebnisse durch Immersive Sound
Oft werden VR- und MR-Brillen auf ihre optischen Fähigkeiten reduziert, obwohl die akustischen Effekte ebenso wirkungsvoll sind. Immersive Sound beschreibt die räumliche, dreidimensionale Verteilung von Klangquellen im virtuellen Raum. Dabei beeinflusst die Positionierung der NutzerInnen im virtuellen Raum die Qualitäten des Klangs. Stehen sie näher an der Klangquelle und sind ihr zugewandt, vernehmen sie sie lauter und klarer. Sind sie weiter entfernt und ihr abgewandt, wird das Signal leiser und ist weniger deutlich. Im Falle eines klassischen Konzerts können sich die HörerInnen völlig frei durch das Orchester bewegen, von den Holzbläsern zu den Streichern wandeln. Immersive Sound verstärkt die Illusion, sich tatsächlich zwischen den MusikerInnen zu bewegen. Mit der räumlichen Positionierung der RezipientInnen ändert sich auch der Klang: Stehen sie dichter an den Streichern, treten diese deutlicher hervor. Damit können die NutzerInnen individuell den Fokus auf ein bestimmtes Instrument legen.
3. Virtuelle Instrumente
Ähnlich wie beim Theremin lassen sich in XR neue Instrumente realisieren und umsetzen, die zwar im Klang und in der Funktionsweise an reale Vorbilder angelehnt sind, aber völlig neu in ihrer Bedienung sind. Die App Virtuoso3 stellt den NutzerInnen beispielsweise neue Instrumente in VR zur Verfügung. Auch hier kommt wieder das Tracking der Handbewegungen zum Einsatz, die auf die virtuellen Instrumente übertragen werden. Diese produzieren dann einen entsprechenden Ton. Gerade dieses Beispiel deutet die Freiräume an, die durch die virtuelle Welt geschaffen werden: Was für Instrumente lassen sich im Digitalen bauen, die so in der physischen Welt vielleicht nie umsetzbar wären? Welche neuen Klangwelten lassen sich dadurch hervorbringen? Virtuoso ist gerade in der Performance-Kunst, in der oft gängige Grenzen überwunden werden, ein beliebtes Tool. Aber auch Menschen, die wenig Vorerfahrungen mit einem klassischen Instrument haben, erhalten hier einen niedrigschwelligen Zugang zum Musizieren.
Dieser Artikel kann nur einen kleinen Überblick über die wichtigsten Begriffe der Extended Reality und ihre Anwendungsmöglichkeiten im Bereich der musikalischen Bildung geben. Denn das Karussell dreht sich weiter. Wichtig ist, dass man sich von Dynamik und Komplexität nicht einschüchtern lässt. Es ist nie zu spät, in eine Diskussion einzusteigen. Man ist schließlich auch nie zu alt, um ein Instrument zu lernen. Gleichzeitig sollten MusikerInnen und Musiklehrkräfte diese Technologien nicht als Konkurrenten sehen, sondern als Werkzeuge verstehen, mit denen sie ihr eigenes Angebot und Repertoire erweitern können.
1 https://mxr-storytelling.de/virtualcurator
2 https://www.pianovision.com
3 https://virtuoso-vr.com
Lesen Sie weitere Beiträge in Ausgabe 1/2025.