Séminaire REAChing IN !

Le projet REACH explore les conditions de co-créativité entre musiciens et intelligence artificielle dans un contexte d’interaction vivante, notamment pour les musiques improvisées. Il rassemble autour de l’Ircam des partenaires nationaux et internationaux tels que l’UCSD, Stanford, l’université de Tokyo et l’EHESS et produit des outils logiciels pour la création et la scène.

Ce séminaire présentera les résultats des recherches de manière accessible au public, en abordera les enjeux esthétiques, et philosophiques, et démontrera les outils logiciels co-créatifs issus des travaux. Il fera suite au concert REACHing OUT ! de la veille au Centre Pompidou, dans lequel ces outils auront été mis en œuvre en direct avec la grande improvisatrice Joëlle Léandre et le groupe de rock expérimental Horse Lords.

Programme

REACH: Co-créativité et systèmes cyber-humains musiciens

10h-10h30 | Le projet REACH, histoire, résultats, directions pour la co-créativité
avec Gérard Assayag, directeur de recherche Ircam-STMS

L'apprentissage génératif de représentations symboliques à partir de signaux physiques et humains, et la compréhension des stratégies artistiques et sociales de l'improvisation nous aident à mieux comprendre la dynamique de coopération (ou de conflits) inhérente aux réseaux cyber-humains, c’est à dire aux formes de création instantanées et distribuées entre divers type d’agents, humains et machines. REACH vise à comprendre, modéliser et favoriser ces types de co-créativité apparaissant comme formes émergentes lorsque s’installent des boucles d’apprentissage et de rétroactions croisées, et des dynamiques complexes de combinaisons de contenus.

10h30-11h15 | Modélisation et performance des savoirs dans REACH
avec Marc Chemillier, directeur de recherche à l’EHESS

L’étude de la co-création entre hommes et machines est confrontée au fait que les hommes sont des animaux sociaux. Cette sociabilité produit des normes culturelles que les machines doivent pouvoir partager. Concrètement, cela implique l’existence de seuils d’acceptabilité propres à différents communautés humaines que les productions des machines doivent pouvoir franchir pour être acceptées au regard de ces normes. D’un autre côté, de telles normes sont toujours dans une logique de dépassement. Au sein de REACH, différents contexte culturels sont étudiés, des tests d’acceptabilité sont effectués et des enquêtes anthropologiques sont menées pour analyser les dynamiques d’établissement de normes et de leur dépassement.

11h15-12h | Modèles génératifs pour REACH : IA et Machine Learning
avec Shlomo Dubnov, professeur à l’université de Californie à San Diego (UCSD)

Les modèles génératifs ont révolutionné les applications textuelles, visuelles et vocales utilisant l'IA. Conceptuellement, les progrès décisifs se sont produits lorsque les chercheurs ont réalisé qu'au lieu d'entraîner l'IA à résoudre une tâche spécifique, la machine devait apprendre les statistiques des données, lui permettant « d'imaginer » ou de tirer au hasard de nouvelles instances à partir de la même source d'informations. Aujourd'hui, les contrefaçons profondes et les chats textuels produisent des contenus qui peuvent être proches ou impossibles à distinguer des artefacts naturels ou fabriqués par l'homme. Mais est-ce une menace pour la créativité ou une opportunité incroyable ?

Dans l'exposé, je présenterai nos recherches sur l'IA générative pour la créativité musicale, avec de nouveaux résultats sur la représentation audio, la modélisation temporelle et le guidage de la génération musicale par du texte ou d'autres médias. L'interaction créative sera considérée comme un problème de communication d'informations et contextualisée dans les cadres Action-Perception et Deep Music Information Dynamics. Les défis créatifs de l'IA générative seront démontrés sur une pièce composée par l'IA à partir du poème de Rilke, en utilisant ChatGPT, une pré-formation langage-musique et Stable Diffusion pour la synthèse musicale.

Pause repas

14h - 14h40 | Performance, contrôle et instrumentalité dans REACH
avec Mikhail Malt, chercheur à l’Ircam-STMS et Marco Fiorini, doctorant à l’Ircam-STMS

Après une brève présentation du fonctionnement de l’environnement Somax2, nous vous proposerons une réflexion en action des sujets de la performance, du contrôle et de l’instrumentalisé dans le cadre de l’utilisation d’algorithmes d’I.A. en improvisation musicale. Nous questionnerons notamment le cas non idiomatique en musique électronique.

Nous finirons cette présentation avec une application pratique de l’utilisation de Somax2 dans le cas de la ré-création de Komboï de Xenakis par Lorenzo Colombo (percussion) et Marco Fiorini (I.A. interactive Somax2), récemment jouée au Klang Festival à Copenhague.

14h40 - 15h20 | REACH, MERCI et la réalité mixte : l’instrument acoustique créatif
avec Adrien Mamou-Mani, PDG de la compagnie Hyvibe et Louis Chouraki, ingénieur de recherche à Hyvibe

Grâce aux projets REACH et MERCI, HyVibe et l'Ircam ont développé un prototype d’instrument acoustique créatif. Après modification et intégration de Somax dans une Raspberry Pi, le Creative Looper est né. Brisant la monotonie d’un looper classique en créant un overdub en perpétuel changement, l’outil produit de nouvelles phrases musicales à partir d’un enregistrement du musicien.

Pause café

15h50 - 16h25 | Co-présence et incarnation dans les interactions improvisées cyber-humaines
avec Clément Canonne, Pierre Saint-Germier, chercheurs CNRS à l’Ircam-STMS et Marco Fiorini, doctorant à l’Ircam-STMS

Si l'on prend au sérieux les recherches menées en sciences cognitives sous la bannière de l'Embodied Cognition Program les approches strictement logicielles en IA musicale, par opposition aux approches robotiques, semblent souffrir d'une limitation intrinsèque en se coupant des ressources que représente l'incarnation des agents. L'utilisation de techniques d'apprentissage automatique permettant à des agents artificiels d'improviser dans le style d'un corpus défini relance cependant cette question en suggérant la possibilité que certaines propriétés cruciales de l'incarnation soit transmises via le corpus d'apprentissage, s'il est lui-même produit par des agents incarnés. Cette présentation vise d'une part à explorer cette hypothèse d'un point de vue théorique en isolant conceptuellement deux dimensions de l'incarnation des agents musicaux qui sont souvent confondues, et en présentant un protocole permettant de la tester expérimentalement. 

16h25-17h | Co-improvisation et réseaux sociaux
avec Yohann Rabearivelo, doctorant à l’EHESS et Ircam-STMS

Depuis sa démocratisation, internet n’a cessé de bouleverser le paysage musical. Les réseaux sociaux ont joué un rôle majeur dans ces transformations et sont devenus de nouveaux lieux importants de la performance musicale. Sur TikTok, la plateforme de création et de partage de contenus audiovisuels courts basés sur un échantillon sonore qui s’est imposée au cours de ces dernières années, de nombreux musiciens communiquent, collaborent et mettent en scène la musique grâce aux différentes fonctionnalités proposées par la plateforme. Dans ce nouveau contexte culturel nous organisons des situations de co-créations musicales entre des musiciens utilisateurs engagés sur la plateforme et le logiciel Djazz, instrument mixte à la fois pensé pour l’improvisation idiomatique et véritable outil anthropologique.

Projet soutenu par Conseil européen de la recherche dans le cadre du programme de recherche et d'innovation Horizon 2020 de l'Union européenne (Convention #883313, ERC Advanced Grant attribué à Gérard Assayag). Graphisme : turnerwilliamsjr.com