Böttcher, Doreen / Markus Rindt
Digitale Innovationen zum Musizierenlernen
Wo Künstliche Intelligenz und taktiles Internet zusammenfließen
Die Forschung im Exzellenzcluster Centre for Tactile Internet with Human-in-the-Loop (CeTI) erstreckt sich unter anderem auf künftige musikbezogene Lehr- und Lernparadigmen mit multimodalem Feedback. Die Integration von taktilem Internet und Künstlicher Intelligenz verspricht, die Art und Weise, wie wir Musik lehren, lernen und erleben, zu verändern.
Bereits seit fünf Jahren erforscht das Exzellenzcluster CeTI an der Technischen Universität Dresden mit über 100 ForscherInnen aus verschiedenen Fachbereichen, wie wir mittels taktilem Internet in der Zukunft lehren und lernen wollen und wie sich dadurch unsere Arbeitsumwelt verändern wird. Ebenso wird erforscht, wie neue Technologien zur Visualisierung und sensomotorischen Integration von Musizierbewegungen den Musizierunterricht revolutionieren können. Gefragt wird, wie das taktile Internet das (musikbezogene) Lernen verbessern kann.
Bei der Mensch-Maschine-Interaktion geht es darum, wie Menschen und Maschinen miteinander kommunizieren und interagieren können.1 Taktiles Internet stellt einen entscheidenden Vorteil für die Mensch-Maschine-Interaktion dar, da es aufgrund extrem geringer Latenz die Übertragung von Daten in Quasi-Echtzeit ermöglicht, was beispielsweise essenziell für die Bewegungsanalyse des Klavierspielens ist.
Was in hochmodernen Industriestätten bereits Alltag ist, lässt sich auch aufs Lernen übertragen, denn auch hier geht es um ein fein abgestimmtes Zusammenspiel verschiedener Komponenten und NutzerInnen. Echtzeitfeedback durch das System verspricht einen Mehrwert für Lernprozesse, beispielsweise direktes Vibrationsfeedback beim Klavierspiel am Finger. Dabei wird vermehrt Künstliche Intelligenz genutzt, um die Daten des Systems und der NutzerInnen zu erfassen und adäquates Feedback zu geben.
Zusammenspiel verschiedener Sinne beim Musizieren
Jede Musizierdarbietung ist eine meisterhafte Mischung aus motorischen Fähigkeiten, kognitiven Prozessen und Wahrnehmungsbewusstsein. So ist z. B. die Kunst des Klavierspiels ein faszinierender Tanz aus Körper-, Arm-, Hand- und Fingerbewegungen. Das Verständnis dieser komplizierten Choreografie offenbart die Fähigkeiten, die erforderlich sind, um Noten in ein fesselndes Hörerlebnis zu verwandeln.
MusikerInnen müssen große Mengen an Wissen über das Instrument und die Musik integrieren und konkret Noten, mithin Melodien, Harmonien und Rhythmen entschlüsseln, in eine kohärente Klanglandschaft übersetzen und dabei körperliche Bewegungen mit dem auditiven Feedback synchronisieren. Dazu sind mehrere Sinne erforderlich: PianistInnen sehen z. B. die Noten und Tasten, spüren den Widerstand und die Bewegung der Tasten und hören die daraus resultierenden Klänge. Ihr Gehirn muss diese Sinneseindrücke koordinieren, um eine nahtlose Interaktion zwischen Wahrnehmung und Handlung herzustellen. Sie stehen ständig vor der Herausforderung, sich zu entscheiden, ob sie sich auf ihre Fingerbewegungen, die Tasten, ihre Körperempfindungen, die von ihnen erzeugten Klänge oder ihre mentale Vorstellung von der Musik konzentrieren sollen. Mit zunehmender Erfahrung entwickeln sie jedoch die Fähigkeit, mehrere Informationsquellen zugunsten eines ganzheitlicheren Fokus effizienter zu integrieren.
Erforderlich ist ausgiebiges Üben, bei dem die sensorischen und motorischen Regionen des Gehirns starke Verbindungen bilden, die zur Entwicklung automatischer motorischer Programme führen. Zudem ist ein hohes Maß an Konzentration sowohl beim Erlernen als auch beim Spielen erforderlich. Unsere Fähigkeit, Informationen zu verarbeiten, ist jedoch durch die Kapazität unseres Arbeitsgedächtnisses begrenzt, weshalb es wichtig ist, Prioritäten zu setzen, auf die wir unsere Aufmerksamkeit richten. Genau das ist Gegenstand diverser Forschungsprojekte am CeTI.
1 In unserem Alltag finden solche Mensch-Maschine-Interaktionen statt, z. B. wenn Roboter den ChirurgInnen beim Operieren helfen oder Autoteile auf einer halb automatisierten Fertigungsstraße zusammengesetzt werden.
Lesen Sie weiter in Ausgabe 5/2024.