Beautiful AI
Holly Herndon 

I approach artificial intelligence (AI) as a creative instrument. In my collaborative work with Mathew Dryhurst, we view the development of present-day AI models as the latest in a series of coordination technologies that allow individuals to work and build collectively. During the millennia, choral and group singing have served a similar purpose of creating meaning in social and civic life. Evolving through rituals and protocols like call and response, they have helped to build spaces and structures for gathering, processing and transmitting information. This project created in collaboration with Serpentine Galleries in London takes inspiration from one of humanity’s oldest coordination technologies, choral singing, to explore what new rituals and protocols we might want to nurture for the age of AI. Inspired by the United Kingdom’s rich choral tradition, we circulated a call inviting choirs across the UK to join the project and record performances.

For these recording sessions, we created a new songbook of musical exercises and hymns specifically developed to produce and gather training data for choral AI models. We traveled across the UK, working with fifteen professional and community choirs from England, Scotland, Wales and Northern Ireland.

The process of collecting data raises questions about the governance and permission of its usage. To address this proactively, the choir members were invited to participate in a Research and Development (R&D) project running in parallel to the exhibition to establish a legal and governance framework that enables the creators of datasets to collectivize their rights to gain greater agency over their data when it is used to build AI models.

We created three research grade AI models for this project:. one model for the generation of the song book in collaboration with Algomus at Lille University in France, one model for the output audio generation with StabilityAI, and one interactive model to sing through the voices of the choirs in collaboration with IRCAM in Paris, France.

Background:

PROTO
From 2017–2019, I created the album PROTO with a Berlin based choir, released in 2019 through 4AD. The album was created using AI trained on consensual training data from the ensemble. This album went on to tour internationally.

Future research
The research on Beautiful AI returns to Germany, where a new model will be trained in Berlin and Dusseldorf with a new songbook. Building on the first year of research, the data set will continue to grow and research tools will continue to be developed and released to the public. The culmination of this research will be a performance series and installation in Berlin and Dusseldorf.

***

Holly Herndon is an artist renowned for her pioneering work in machine learning, software and music. She develops her own technology, and protocols for living with the technology of others, often with a focus on the ownership and augmentation of digital identity and voice. These technical systems not only facilitate expansive artworks across media, but are proposed as artworks unto themselves. She co-runs an art studio in Berlin with her partner Mathew Dryhurst.

They were awarded the 2022 Ars Electronica STARTS prize for digital art for the Holly+ project. She has been on ArtReview’s Power 100 list since 2021 and holds a PhD in Computer Music from Stanford. They publish their studio research openly through the Interdependence podcast, and recently co-founded Spawning, an organization building a consent layer for AI. Their critically acclaimed musical works are released through 4AD.

https://www.hollyherndon.com/

Beautiful AI
Holly Herndon 

Künstliche Intelligenz (KI) nutze ich als kreatives Werkzeug. In meinem Gemeinschaftsprojekt mit Mat Dryhurst begreife ich aktuelle KI-Modelle als Weiterentwicklung von Koordinationstechnologien, die Individuen eine kollektive Praxis ermöglichen. Auch Chöre und Gesangsgruppen erfüllen seit Jahrtausenden eine sinnstiftende Funktion im sozialen und gesellschaftlichen Leben. Durch bestimmte Rituale und Abläufe, wie etwa Call-and-Response-Muster, haben sie Räume und Strukturen geschaffen, in denen bestimmte Informationen gesammelt, verarbeitet und weitergegeben werden können. Unser Projekt, das in Zusammenarbeit mit der Serpentine Gallery in London entstanden ist, greift auf eine der ältesten Koordinationstechniken der Menschheit, den Chorgesang, zurück, um herauszufinden, welche neuen Rituale und Prozesse wir im Zeitalter der KI entwickeln wollen. Inspiriert von der reichhaltigen britischen Gesangstradition haben wir Chöre in ganz Großbritannien dazu aufgerufen, sich an dem Projekt zu beteiligen und ihre Auftritte aufzuzeichnen.

Für diese Aufnahmesessions entwickelten die Künstler*innen ein Liederbuch mit Gesangsübungen und Hymnen, um Trainingsdaten für KI-Chormodelle zu generieren und zu kompilieren. Wir waren in ganz Großbritannien unterwegs, um mit fünfzehn professionellen und kommunalen Chören aus England, Schottland, Wales und Nordirland zusammenzuarbeiten.

Daten zu sammeln, zieht automatisch die Frage nach sich, wer diese Prozesse steuert und wie die Genehmigungsverfahren der gewonnenen Informationen zu gestalten sind. Die Chormitglieder wurden daher proaktiv zur Teilnahme an einem Forschungs- und Entwicklungsprojekt eingeladen, das parallel zur Ausstellung lief. Ziel war es, einen rechtlichen Rahmen zu schaffen, der es den Urheber*innen von Datensätzen ermöglichen soll, ihre Rechte kollektiv zu steuern, um eine größere Verfügungsgewalt über ihre Daten zu erlangen, wenn diese zur Erstellung von KI-Modellen verwendet werden.

Im Rahmen des Projekts haben wir drei KI-Modelle für Forschungszwecke entwickelt: In Zusammenarbeit mit der Forschungsgruppe Algomus an der Universität Lille ein Modell zur Erstellung des Liederbuchs, mit dem KI-Unternehmen StabilityAI ein Modell zur Generierung der Audioausgabe und in Zusammenarbeit mit dem Institute for Research and Coordination in Acoustics/Music (IRCAM) in Paris ein interaktives Modell zum Einsingen der jeweiligen Chorstimmen.

Hintergrund: 

PROTO
Von 2017 bis 2019 schuf ich mit einem Berliner Chor das Album PROTO, das 2019 bei 4AD erschienen ist. Das Album wurde mit Hilfe einer KI produziert, die auf einvernehmlich gesammelten Trainingsdaten des Ensembles basiert. PROTO wurde im Rahmen einer internationalen Tour vorgestellt.

Künftige Forschungsvorhaben
Das Forschungsprojekt Beautiful AI kehrt nach Deutschland zurück, wo ein Modell mit einem neuen Liederbuch in Berlin und Düsseldorf generiert werden soll. Aufbauend auf dem ersten Forschungsjahr wird der Datensatz weiter wachsen, die Forschungswerkzeuge sollen weiterentwickelt und der Öffentlichkeit zugänglich gemacht werden. Höhepunkt der Forschung wird eine Reihe von Performances und Installationen in Berliner und Düsseldorfer Institutionen sein,

***

Holly Herndon ist eine Künstlerin, die für ihre Pionierarbeit in den Bereichen maschinelles Lernen, Software und Musik bekannt ist. Sie entwickelt ihre eigene Technologie und Protokolle für das Leben mit der Technologie anderer, oft mit dem Schwerpunkt auf dem Besitz und der Erweiterung der digitalen Identität und Stimme. Diese technischen Systeme ermöglichen nicht nur ausgedehnte medienübergreifende Kunstwerke, sondern werden auch als Kunstwerke an sich vorgeschlagen. Gemeinsam mit ihrem Partner Mathew Dryhurst betreibt sie ein Kunststudio in Berlin.

Für das Projekt Holly+ wurde ihnen 2022 der Ars Electronica STARTS Preis für digitale Kunst verliehen. Sie steht seit 2021 auf der Power 100 Liste von ArtReview und hat einen Doktortitel in Computermusik von Stanford. Sie veröffentlichen ihre Studioforschung über den Interdependence-Podcast und haben kürzlich Spawning mitbegründet, eine Organisation, die eine Einwilligungsebene für KI aufbaut. Ihre von der Kritik gefeierten musikalischen Werke werden über 4AD veröffentlicht.

https://www.hollyherndon.com/