AccueilProspectives > Capter le geste <

Capter le geste

Dans cet entretien qu'il nous a accordé, Frédéric Bevilacqua fait le point sur les recherches menées à l'Ircam sur la captation des gestes musicaux et dansés, et sur les applications artistiques de ces recherches. Un terrain riche où se mêlent recherche scientifique et création.

Gabriel Leroux : Vous travaillez avec des chorégraphes aussi différents que Myriam Gourfink ou Richard Siegal et vous développez pour eux des systèmes de captation des gestes. Qu'est-ce que capter un geste ? Y a-t-il une manière de capter les gestes ou adaptez-vous les procédés en fonction des projets chorégraphiques ?

Frédéric Bevilacqua : On parle souvent de captation de geste, mais la formule est trop imprécise. Un geste c'est quelque chose qui a plusieurs définitions, et qui peut signifier des choses très différentes suivant les contextes. Dans le cas de la danse ce que l'on fait tient plus à une captation de mouvement : le déplacement du danseur dans l'espace, le déplacement de la main du danseur par rapport à son corps, par rapport à son centre de masse, par rapport à sa tête...

Que l'on travaille avec Myriam Gourfink ou Richard Siegal, c'est-à-dire avec des chorégraphes qui proposent des danses extrêmement différentes, dans les deux cas il reste que l'on va capter le mouvement des danseurs. Et pour chacun on va utiliser des systèmes de captation différents, à chaque fois adaptés à leurs chorégraphies. Avec Myriam Gourfink il s'agit d'une danse extrêmement lente, avec des mouvements lents et continus, avec Richard Siegal on aura au contraire généralement des mouvements plus rapides ou saccadés.

Quand j'ai travaillé avec Myriam Gourfink, le système qu'on avait mis en place s'appuyait essentiellement sur des capteurs de flexion qui mesuraient la flexion par exemple du coude ou du genou, ainsi que sur des inclinomètres avec lesquels on captait l'inclinaison de la tête.
Dans le cas du travail que l'on mène actuellement avec Richard Siegal, on utilise soit des accéléromètres qui mesurent les changements de vitesse ou de direction, soit de la vidéo qui nous permet de capter le mouvement de l'ensemble du corps de manière plus globale. Pour son installation (au ZKM puis reprise à l'Ircam pendant Agora 2009), on utilise une caméra sensible à l'infrarouge, et qui nous permet d'obtenir une silhouette pleine de la personne sur un fond noir. À partir de cette silhouette, on isole son contour. Et ensuite, on peut déterminer plusieurs paramètres de cette silhouette : la taille, le centre, la hauteur, la largeur... On peut décomposer cette silhouette en plusieurs points, et suivre certains de ces points. On peut donc isoler des caractéristiques du mouvement.

D'une manière générale on peut dire qu'il y a deux méthodes pour capter le mouvement. Soit on utilise des caméras vidéo (et là on peut avoir des systèmes très simples avec une seule caméra ou au contraire des systèmes plus compliqués de plusieurs caméras, même si la plupart du temps pour des questions de contraintes de spectacle on se limite à une voire à deux caméras), soit on place des capteurs sur le corps du danseur (accéléromètres, capteurs de flexion...).

Quand je dis que l'on capte essentiellement le mouvement, il faut néanmoins ajouter qu'avec la danse beaucoup d'autres paramètres sont intéressants à capter. Dans le cas du travail mené avec Myriam Gourfink, la chorégraphe souhaitait également capter la respiration. On a donc utilisé des capteurs de respiration. Ce que l'on captait en fait c'était le changement de volume du thorax. Mais de la même manière on pourrait s'intéresser à la pression des pieds sur le sol. Emmanuel Fléty, par exemple, a réalisé une boîte qui était sensible à la pression des mains. Ce sont des extensions, parmi d'autres, de la captation de mouvement.

G.L. : Les systèmes de captation de mouvement que vous développez vous permettent également de capter les « mouvements musicaux » ou plutôt peut-être les mouvements des musiciens. Pouvez-vous nous en dire un peu plus ?

F. B. : Dans le cadre musical, on a essentiellement travaillé sur les instruments du quatuor, violon, alto, violoncelle. À partir de 2004 on a mis en place un projet de violon augmenté, proposé initialement par Philippe Manoury. L'idée consistait à pouvoir capter les mouvements de l'archet. Pour cela on a placé des accéléromètres sur l'archet. Et d'une manière générale on a utilisé pour ce projet les mêmes techniques que l'on peut utiliser pour capter le mouvement dansé. Le violon se prête bien à ce type d'expérience, contrairement aux instruments à vent sur lesquels certains paramètres intéressants sont bien plus difficiles à capter comme la pression dans la bouche par exemple (en fait beaucoup plus contraignant pour l'instrumentiste).

© F. KleinefennAutour de ce projet de violon augmenté, on a rapidement formé un groupe de travail avec plusieurs compositeurs dont Florence Baschet qui a été la première à réaliser une étude avec ce procédé en composant la pièce Bogenlied. Par la suite, elle a poursuivi ce travail avec un projet plus ambitieux sur un quatuor augmenté, StreicherKreis, où il s'agissait de capter les mouvements des archets des deux violons, de l'alto et du violoncelle. Ce système, à proprement parler d'« archets augmentés », a été également utilisé dans d'autres pièces par Hèctor Parra (dans le cadre du violoncelle) ou par Philippe Manoury (dans le cadre de l'alto) notamment. C'est une idée qui a donc trouvé un écho assez important.

Le but de ce projet c'est de capter les mouvements du musicien pour contrôler l'électronique, dans le cas d'une musique mixte acoustique-électronique, qui se fait en traitant le son acoustique de l'instrument en temps réel. En captant les mouvements de l'archet, on offre de nouvelles possibilités de contrôle de la transformation du son.

G.L. : Quelles sont les différences - et les similitudes - entre la captation des gestes « musicaux » et des gestes « dansés » ?

F. B. : D'un point de vue technique il y a beaucoup de similitudes. On utilise dans les deux cas les mêmes techniques pour capter le mouvement et pour l'analyser. En particulier, on a développé un système de « suivi de gestes », qui nous permet de suivre les mouvements dans le temps et reconnaître certains éléments de geste. Il suffit alors de définir les types de gestes que l'on veut capter et isoler, que ces gestes soient dansés ou au contraire qu'ils soient des gestes « musicaux » comme le mouvement d'un archet.

Maintenant, si les systèmes de captation sont similaires, leur utilisation dans les contextes musical et dansé peuvent être très différents. Dans le cas de la musique, la captation des mouvements est utilisée pour modifier ou contrôler du son. Dans le cas de la danse, on peut aussi utiliser le mouvement du danseur pour modifier ou créer des processus sonores. C'est ce qui se produisait dans une création d'Hanspeter Kyburz/Emio Greco/Pieter Scholten (Double Point +) où les mouvements du danseur servaient à contrôler les sons électroniques. Mais ce n'est pas la seule utilisation. Dans le cas de la création de Myriam Gourfink, This is my house, la captation de mouvement pilotait les processus de modification de la partition chorégraphique vue par les danseurs. C'est un peu comme si le mouvement se « retournait » sur du mouvement, puisque ici, capter un mouvement permet d'influencer le mouvement futur. Dans le cas du projet avec Richard Siegal, la captation des mouvements permet le contrôle d'éléments visuels projetés sur un écran.

D'une manière générale, l'approche du mouvement en musique ou en danse est très différente. Le but premier d'un musicien est de produire du son et de le contrôler. Cela passe par un contrôle de ses gestes. Inversement, dans le cas de la danse, le mouvement et le corps sont au cœur du sujet. Le rapport du musicien à ses gestes et à ses mouvements est indirect, il passe par l'instrument et le langage musical. Il peut être délicat de demander à un musicien de modifier ses gestes. Alors qu'un danseur aura plus de liberté pour agir directement sur ses gestes et pour modifier ses choix de mouvement. Néanmoins, dans les deux cas, on se trouve face à des « gestes experts », c'est-à-dire face à une très grande maîtrise des mouvements (même si pour le musicien, la maîtrise de ses mouvements est liée à sa maîtrise des sons). Cette maîtrise est très intéressante, car si l'on demande à un danseur ou à un musicien de refaire plusieurs fois la même chose, et même une chose très complexe, on s'aperçoit que le mouvement est reproduit avec une précision tout à fait étonnante.

Ce qu'il y a de commun entre les systèmes de captation de danse et de musique c'est que finalement on s'intéresse à un « geste » qui va varier dans le temps. Cette variation dans le temps est essentielle. D'ailleurs, en danse contemporaine, on s'intéresse généralement moins aux postures qu'aux transitions entre deux postures. Pour nous, chercheurs, un mouvement, c'est quelque chose qui a une durée, et une amplitude qui varie dans le temps, plus lentement que les vibrations du son. C'est donc un événement qu'on va généralement pouvoir percevoir visuellement. Mais on peut aller plus loin : les propriétés d'un son (intensité, caractéristiques liées au timbre, hauteur...) qui varient dans le temps vont pouvoir être également appréhendées avec le même formalisme, les même outils de « suivi de geste » que l'on développe.

G. L. : À travers les systèmes que vous développez, n'est-ce pas une certaine qualité de mouvement que vous essayez d'appréhender ?

F. B. : On parle souvent de qualité de mouvement dans le cas de la danse. Avec la musique, on est confronté plutôt à la question de l'interprétation. Car, même si les gestes musicaux sont des « gestes experts » qui se répètent, il existe des différences, et celles-ci vont être liées aux variations d'interprétation ou aux particularités des musiciens.

Dans le cas du projet de quatuor augmenté, on a perçu des différences très intéressantes entre les deux violons à qui on demandait de jouer un même texte musical. Avec deux violonistes d'un même quatuor on pouvait s'attendre, un peu naïvement, à une certaine homogénéité de jeu et de mouvements. Or, leurs mouvements d'archet étaient systématiquement différents sur certains aspects.

De manière plus générale, ce qui nous intéresse lorsque l'on parvient à extraire des différences, c’est de percevoir si elles sont liées à l'interprétation. Si on demande aux interprètes de jouer deux fois un même morceau mais avec deux interprétations différentes, on peut analyser les différences présentes dans leurs mouvements. On essaie de comprendre ces variations à partir, notamment, de ce que peuvent nous dire les interprètes, par exemple si elles sont volontairement introduites ou non, s'il s'agit de différences qu'ils peuvent percevoir ou non.

En danse, comme je le mentionnais, un des défis actuels de la captation de mouvements est d'approcher des notions de « qualité de mouvement », ce qui peut bien sûr correspondre à des notions assez diverses, certains danseurs parleront également de notions d'intention. Parfois la verbalisation, c'est-à-dire les commentaires que font les danseurs sur les mouvements qu'ils interprètent, nous permet de nous orienter et de comprendre comment on peut mesurer une certaine qualité de mouvement. Par exemple la « fluidité d'un mouvement » est un paramètre que l'on peut caractériser avec nos outils, dans une certaine mesure, dans un mouvement dansé.

G. L. : Saisissez-vous également des similitudes dans les gestes ? Et dans ce cas, n'est-ce pas une manière de capter quelque chose qui pourrait être de l'ordre d'un style de jeu propre par exemple à un musicien ?

F. B. : Oui bien sûr, on capte des différences, mais on capte aussi des similitudes, et ces similitudes ont du sens. On pourra par exemple capter certains modes de jeu qui sont communément admis parmi les interprètes et les compositeurs. Et effectivement, on va retrouver à la fois des similitudes et des différences de mouvements entre les interprètes qui peuvent être liées à des questions stylistiques. Ce qui est également intéressant de suivre c'est l'évolution d'une interprétation, c'est-à-dire l'évolution du jeu d'un même musicien entre la première lecture qu'il fait de la pièce jusqu'à son interprétation le jour du concert. Avec les évolutions de ses mouvements on voit très bien comment son jeu va se cristalliser. Ce que l'on perçoit, ce sont les différences de jeu et de mouvement qui sont liées à l'apprentissage.

G. L. : Peut-on parler d'une grammaire des gestes ? Je pense notamment au projet que vous développez avec Richard Siegal.

F. B. : Je parle souvent de vocabulaire. C'est certainement attaquable, car on ne peut réduire la danse à un vocabulaire, ou même un langage. Il y a des limites évidentes avec cette formalisation. Ce qui est sûr, c'est que dans le cas de Richard Siegal et son système qu'il appelle « if/then... », il crée explicitement des éléments dansés, de petites phrases ou des actions ainsi que des liens entre tous ces éléments. En fait, il établit des règles entre ces éléments (si je fais cela, alors tu fais ceci...) et c'est l'ensemble de tous ces éléments qui compose la chorégraphie finale. On a réellement avec Richard Siegal une décomposition de la danse en petits éléments. À partir du moment où l'on a identifié et nommé l'un de ces éléments, on est très proche d'un système de notation, même s'il ne s'agit pas d'un système de notation au sens générique du terme, c'est-à-dire capable de s'appliquer forcément au-delà du chorégraphe.

Dans le cadre d'un projet « capturing intention », la compagnie Emio Greco | PC s'est intéressée à explorer des méthodes pour pouvoir transmettre son approche chorégraphique. Bertha Bermudez de la compagnie EG | PC a initié un projet spécifique et s'est donc penchée sur les systèmes de notation, et notamment les systèmes Laban et Benesh. Comme tout système de notation a certaines limites, on a essayé de voir dans quelle mesure d'autres méthodes, et notamment les méthodes de captation de mouvements, pouvaient compléter ces systèmes de notation. Et cela, afin de voir si les méthodes de captation de mouvements que nous développons pourraient permettre de transmettre certains aspects d'une approche chorégraphique. Car, les systèmes de captation permettent de définir un feed-back, sonore ou visuel, qui peut être intéressant dans l'apprentissage d'un mouvement, et donc potentiellement dans la transmission d'une approche chorégraphique. En captant en temps réel le mouvement d'un danseur, on peut le confronter à ce que serait le mouvement souhaité par le chorégraphe.

G. L. : Quelles sont les perspectives de vos recherches ? N'y a-t-il pas un enjeu très fort autour de la question de l'interface homme-machine ?

F. B. : Du point de vue des interfaces homme-machine, ce que nous souhaitons c'est parvenir à trouver de nouveaux moyens pour interagir avec le monde digital de l'ordinateur. Jusqu'à présent on interagit avec l'ordinateur par le biais d'un clavier ou d'une souris. C'est très limité. On peut certes ajouter d'autres interfaces comme une tablette, un joystick, mais même dans ce cas on en reste à un mode d'interactivité relativement simple et pauvre.

Une des perspectives pour nos recherches c'est le développement de nouveaux moyens d'accès aux processus numériques, de nouvelles manières de les manipuler. Et c'est notamment de réussir à faire passer tout ce qui est de l'ordre de l'engagement physique, qui est essentiel dans le domaine de la musique et de la danse. Un paradigme fréquemment utilisé dans les environnements numériques est celui de la navigation dans un espace, avec le déclenchement d'événements. On a donc vraiment envie, et besoin, d'enrichir ces types d'interactions et de les rendre beaucoup plus fins. Ces recherches scientifiques trouvent de fortes résonances avec le monde artistique de la musique et du spectacle vivant. Il s'agit réellement d'une recherche interdisciplinaire, où l'interaction avec les artistes est essentielle. Les applications de nos recherches dans des pratiques artistiques représentent un aspect essentiel de notre travail.

Commentaires

Aucun commentaire n'a été soumis pour cet article.

Commenter cet article

Les commentaires sont modérés. Ils n'apparaîtront pas sur ce site tant qu'ils n'auront pas été approuvés.
Prénom *
Nom *
Email *  ne sera pas rendu public
Veuillez entrer ici le mot ou le nombre tel qu'il apparaît dans l'image. Ceci vise à prévenir les abus.*.Si vous ne pouvez lire toutes les lettres ou chiffres, cliquez ici. Image CAPTCHA pour prévenir l'utilisation abusive
Commentaire *