Chaises musicales

Chefs de projet et d’équipe des chaises musicales Tamar Sella, Jason Wang, Suvin Sundararajan, Peggy Yin et Yiting Huang (Matt Goisman/SEAS)

Lorsque nous nous asseyons sur des chaises, laissons-nous quelque chose derrière nous? Lorsque nous interagissons avec des objets, se souviennent-ils de nous ? Et si ces objets pouvaient nous transmettre leurs souvenirs, à quoi cela ressemblerait-il?

Ce sont quelques-unes des idées que Peggy Yin et son organisation étudiante Conflux ont explorées dans « Musical Chairs, un trio de chaises en bois capables d’enregistrer et de retransmettre des signaux audio qui ont été installés dans Harvard Yard pendant la ARTS FIRST Week. Le projet a combiné des éléments d’apprentissage automatique et d’informatique, de performance musicale et de menuiserie pour créer une fusion de l’art et de la technologie.

« Mon but ultime est de créer un espace où les gens peuvent avoir des conversations naturelles, mais aussi réfléchir ensuite à la façon dont leurs mots et leurs expressions peuvent avoir un impact sur les autres, et donner aux gens le temps et l’espace pour s’exprimer de manière authentique et honnête », a déclaré Yin, cofondateur de Conflux et étudiant de deuxième année en neurosciences computationnelles et en histoire de l’art et de l’architecture. « J’ai toujours été intéressé par la façon dont la technologie, en particulier la technologie des médias, peut vraiment nous aider à développer l’empathie et la compréhension entre les gens, et comment elle peut augmenter notre capacité à communiquer et à interpréter les signaux de communication des autres. »

Le paysage sonore des chaises musicales joue alors que les visiteurs de Harvard Yard s’assoient à la carte. (Conflux)

Chaque chaise joue de la musique de harpe lorsque des capteurs spécialisés détectent que quelqu’un est assis dedans. Les microphones captent les conversations, et les ordinateurs utilisent ensuite des algorithmes d’apprentissage automatique pour extraire des données audio telles que la fréquence et le tempo des voix des gens. Des échantillons préenregistrés de voix d’étudiants de Harvard sont ensuite utilisés pour composer de la musique basée sur ces données, qui est ensuite renvoyée aux transducteurs dans les accoudoirs de la chaise. En mettant un coude sur l’accoudoir et une oreille à la main, le paysage sonore musical des conversations passées peut être entendu par conduction osseuse.

« Certaines personnes qui sont venues plus tôt se sont assises et ont eu une conversation, et j’ai vraiment aimé le fait qu’elles laissaient le paysage sonore se produire », a déclaré Yin. « À la fin, l’un d’eux a dit que c’était vraiment relaxant et qu’ils auraient aimé en avoir un chez eux. Le fait qu’ils aient eu une conversation tout à fait normale en écoutant la musique, puis qu’ils le disent après, m’a vraiment montré qu’ils permettaient à la musique de soutenir leur conversation de manière positive sans la perturber.

Peggy Yin, chef de projet des chaises musicales, au centre, fait la démonstration de la technique de conduction osseuse devant les chefs d’équipe Tamar Sella et Jason Wang à Harvard Yard. (Matt Goisman/SEAS)

Alors que la chaire était en cours de construction, des étudiants de la Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS) ont ouvert la voie au fonctionnement du matériel et des logiciels. Suvin Sundararajan, un concentrateur de bio-ingénierie, a imprimé les capteurs en 3D et a agi en tant que responsable du matériel, tandis que Jason Wang, étudiant en informatique et en mathématiques, a conçu les algorithmes d’apprentissage automatique et le réseau informatique distribué suffisamment puissants pour extraire des données audio en temps réel.

« Je suis un gars de l’apprentissage automatique, donc j’aime vraiment jouer avec ce genre de choses », a déclaré Wang. « La partie la plus difficile a été de comprendre comment traiter les fonctionnalités audio en temps réel, car normalement, elles nécessitent beaucoup d’informatique. Nous avons dû installer trois MacBook Pro pour que cela fonctionne en temps réel et trouver comment communiquer ces fonctionnalités au logiciel qui fait la musique.

Le projet de Yin a été sélectionné pour une subvention d’arts publics du Harvard Office of the Arts. SEAS a également contribué à la réalisation du projet grâce à un financement destiné aux organisations étudiantes affiliées à SEAS via le groupe d’enseignement et d’apprentissage. Les capteurs et l’électronique ont également été conçus chez SEAS. Le travail du bois et de la menuiserie, quant à lui, a été achevé à l’atelier de bois d’art, de cinéma et d’études visuelles.

Un regard sur le boîtier de microphone central, le matériel et le câblage permettant le paysage sonore de Musical Chairs. (Matt Goisman/SEAS)

« J’étais familière avec la conduction osseuse à travers le bois, et j’étais vraiment intéressée par l’idée d’un design compatible avec et soutenant à la fois la technologie et une idée conceptuelle qui se réunit à travers des expériences audio et visuelles », a déclaré Tamar Sella, une étudiante de deuxième année en littérature comparée et en art, en cinéma et en études visuelles, qui a dirigé l’équipe de conception et de construction de la chaise. « Chaque partie de la chaise avait son propre ensemble de problèmes à résoudre, ce qui nécessitait beaucoup de communication entre l’équipe de conception, ainsi que des aspects technologiques qui devaient être compatibles. »

Cofondée par Yin et Alice Cai, étudiante de deuxième année, cette année, Conflux a déjà parrainé plusieurs projets au Science and Engineer Complex. Le groupe a organisé une installation artistique multimédia interactive appelée « Liminal Interfaces » pendant la session d’hiver et, l’automne dernier, s’est associé à hAR/VRd pour créer le « Réseau nerveux », qui combinait des moniteurs cardiaques, des bandes lumineuses à DEL et des casques de réalité virtuelle pour décrire comment le corps humain réagit à la peur.

« Chaises musicales est venue à cette idée de la façon dont nous créons un environnement qui invite les gens à se pencher, mais aussi à prendre le temps de réfléchir et de se pencher », a déclaré Yin. « Nous voulions créer un environnement pour le discours. »

Sujets: REEF Makerspace, IA / Machine Learning, Informatique, Génie électrique, Science des matériaux et génie mécanique, Organisations étudiantes

Rejoignez la liste de diffusion Harvard SEAS.

Matt Goisman | [email protected]

Un membre du corps professoral honoré pour son mentorat inégalé et son enseignement hautement coté

Prix, Informatique

Images du 372e Harvard Commencement le jeudi 25 mai

Universitaires, Mathématiques appliquées, Physique appliquée, Bioingénierie, Informatique, Génie électrique, Sciences et génie de l’environnement, Science des matériaux et génie mécanique

Walsh Lab tend la main aux élèves du secondaire de la région

Universitaires, Bioingénierie, K-12, Science des matériaux et génie mécanique