Wie entstand die Idee zu „Humane Methods [ ∑XHALE ]“ und dem Einsatz von künstlicher Intelligenz (KI)?
Mitglieder unseres Teams arbeiten seit mehr als einem Jahrzehnt mit KI, Robotik und Körpersensoren in den darstellenden Künsten, der Wissenschaft und den Kulturwissenschaften. Was heute als „KI“ bezeichnet wird, war vor einigen Jahren als „maschinelles Lernen“ bekannt. Damals entwickelten wir maschinelle Lernwerkzeuge für Performances mit interaktivem Klang, Bewegung und Licht. In den letzten Jahren wurde der Begriff „KI“ zum Mainstream, weil die großen Technologieunternehmen viel in Forschung und PR investierten. Das Konzept der KI wurde zu einem Sammelbegriff für eine Vielzahl von existierenden und fiktiven Technologien sowie zu einer Grundlage für die Polarisierung der Gesellschaft. Dies veranlasste uns, unseren Ansatz zu ändern und über KI als ein allgegenwärtiges und verzweigtes soziokulturelles Phänomen nachzudenken.
[∑XHALE] ist daher kein Stück über KI an sich. [∑XHALE] reflektiert darüber, wie KI-Megastrukturen mit soziopolitischer Polarisierung und Umweltzerstörung interagieren. Wir sind der Meinung, dass diese drei Elemente eine neue Form der Gewalt hervorgebracht haben, die die Gesellschaften in einer Schleife aus radikaler Intoleranz, unerbittlicher Ausbeutung und Kapitalakkumulation gefangen hält. Die Ergebnisse sind vor aller Augen. [∑XHALE] greift fast wörtlich die Idee einer Gesellschaft auf, die in einer Schleife gefangen ist. Unsere Darsteller und unsere KI führen eine synchronisierte Schleife immer und immer wieder aus, insgesamt neun Stunden lang. Jede Wiederholung führt eine Variation ein, und so verzweigt sich die Erzählung in Hunderte von Mikrogeschichten, die die Beziehungen zwischen Darstellern, Publikum und einem lebendigen Bühnenbild schrittweise ausdehnen.
Wie wurde die KI entwickelt und was galt es zu beachten?
Wir haben eine verteilte KI-Infrastruktur entwickelt, die Musik, Licht und Video in Echtzeit im Dialog mit den menschlichen Darstellern und dem Publikum improvisiert. Die KI heißt <dmb> und wir betrachten sie als Performer, wie die Menschen und die anderen Lebewesen auf der Bühne. <dmb> wurde für unsere Reihe „Humane Methods“ zusammen mit Informatikern und kreativen Technologen entwickelt. Es dauerte vier Jahre, in denen wir mehrere Versionen davon in unseren vorherigen Produktionen getestet haben. Die neueste Version von <dmb> ist ein System aus acht vernetzten Programmen, die in Python, C++, Open Frameworks, Pure Data, Renoise, Reaper, Touch Designer und Chataigne geschrieben sind und hauptsächlich unter Linux laufen. Der zentrale KI-Algorithmus, der von uns in Zusammenarbeit mit Baptiste Caramiaux und Meredith Thomas mitprogrammiert wurde, nutzt eine Art von neuronalem Netzwerk, das als Convolutional Autoencoder bekannt ist, und kombiniert Computer Vision mit Deep Learning. In [∑XHALE] beobachtet <dmb> mit zehn Kameras das Publikum und die Darsteller bei der Wiederholung eines Proto-Gebetsrituals und lernt, wie sie sich im Raum bewegen. Es generiert neue Videos aus dem, was es lernt, und beginnt dann, nach „Anomalien“ zu suchen, also nach etwas, das von dem abweicht, was es zu sehen erwartet. Der Lernprozess wird präzise in Musik und Licht umgesetzt und beeinflusst so die Dramaturgie in Form von audiovisueller Regie. <dmb> speichert auch Erinnerungen an eine Aufführung und nutzt sie für die nächste Show. Die Interaktion zwischen Publikum, Darstellern und KI über alle Aufführungen hinweg erweckt eine endlose, prozessuale Erzählung zum Leben.
Was war die größte Herausforderung?
Wie man die Aktionen der KI mit unseren ästhetischen Zielen in Einklang bringt und wie man <dmb> für das Publikum erlebbar macht. Beide Punkte sind miteinander verwoben! Erstens hat uns unsere frühere Arbeit mit und Forschung an autonomen Maschinen gelehrt, dass kein Algorithmus „intelligent“ ist, wie es der Mainstream gerne hätte. Heutige künstliche Intelligenz verfügt zwar über eine ausgefeilte Rechenleistung, ist aber nicht in der Lage, irgendetwas ohne menschliche Vermittlung zu tun, schon gar nicht etwas so Komplexes wie ein Theaterstück. Wir haben uns bemüht, ein Gleichgewicht zu finden zwischen der Schaffung einer KI, die zu ausgefeilten, interaktiven Aktionen fähig ist, und der Entwicklung von Mechanismen, die ihre Handlungsfähigkeit sinnvoll steuern. Zweitens befinden sich die Zuschauer physisch im <dmb> Körper. Dazu haben wir zunächst die Technologien von <dmb> in ästhetische und konzeptionelle Teile des Bühnenbildes verwandelt: Kameras sind seine Augen, Videomonitore sind sein Mund und Computerplatinen sind seine Köpfe. Dann haben wir die technische Infrastruktur von <dmb> um Videogeräte erweitert, durch die es dem Publikum und den Darstellern in einer poetischen Sprache sein Innenleben mitteilt.
Die technische Infrastruktur von [ΣXHALE] umfasst:
- ein Ambisonic Spatialization System, bestehend aus Software (Pure Data, Renoise, Reaper unter Linux) und Hardware (externe Soundkarten, Audiomischpult, ein modulares Array von Lautsprechern – mindestens acht, maximal 64);
- ein Licht-Rigg, bestehend aus kundenspezifischer Software (Touch Designer) und Hardware (ca. 100 Halogen- und LED-Leuchten), um interaktives und reaktives Lichtdesign zu erzeugen;
- zehn vernetzte Raspberry Pi mit verschiedenen Kameramodulen, je nachdem, welche Videoaufnahmen an einer bestimmten Stelle auf der Bühne benötigt werden;
- ein vernetztes System aus drei Computern, auf denen die gesamte für <dmb> benötigte Software für Audio, Licht und Video läuft.
Sowohl im Aufführungs- als auch im Zuschauerbereich gibt es eine Reihe von 14 Touchscreens. Diese sind über etwa 150 m HDMI-Kabel miteinander verbunden. Alle Computer und Maschinen sind mit der Haupt-„Timeline-Software“ verbunden, einem Patch, der mit der Software Chataigne erstellt wurde und der es ermöglicht, komplexe und autonome Interaktionen zwischen KI, Audio, Licht und Video zu schaffen. Ein wesentlicher Teil der Ästhetik des Stücks ist die Materialität der technischen Infrastruktur, weshalb etwa 400 m Stromkabel durch das Bühnenbild und über die Köpfe der Zuschauer und Darsteller verlegt sind. Das System ist vollständig skalierbar und anpassungsfähig, um mit anderen Arten von Technologie integriert zu werden.
Weitere Einzelheiten zur KI von Fronte: www.wiki.theater.digital
Premiere ist am 18. März 2022 im V°T//Volx www.volkstheater.at