Street Fighter com pianos

Em todas as áreas os seres humanos lidam com competitividade e na música não seria diferente, eu mesmo já me envolvi em alguns "duelos de guitarra" no passado, mas criar um sistema completo para distribuir pancadas no seu oponente no Street Fighter Alpha 3 se baseando em quão bem você toca é um passo além, dado pelos artistas "Cyril" e "Eric", que criaram uma instalação simplesmente genial para mostrar que um bom músico é fatalmente um bom gamer.

A primeira necessidade era detectar quais teclas estavam sendo tocadas, uma vez que pianos reais estavam sendo usados, seria impossível obter informação MIDI diretamente como se faz em um teclado. Entre as opções estavam sensores de pressão para as teclas, acelerômetros para os martelos e até um microfone capturando o audio produzido e um sistema para processá-lo e aplicar transformações de Fourier para detectar as frequências de pico e estimar as notas.
A solução adotada foi a que pareceu mais simples e funcional, cápsulas piezoelétricas acopladas aos mecanismos internos de cada tecla, que capturam não apenas o uso da nota mas a intensidade com que é tocada. Vale salientar que é o mesmo sistema usado em baterias eletrônicas abordado anteriormente aqui nos artigos Tecnologia da E-Drum e Triggando uma bateria com R$100,00.

Ao resolverem usar um piano ao invés de um teclado também se comprometeram a usar um console ao invés de um emulador. A escolha da versão do Street Fighter se pautou no fato de que remakes HD seriam aceitos desde que ainda se parecessem com os icônicos jogos dos anos 90 e deveriam rodar em um videogame com documentação o bastante para ser possível comunicar com o sistema que estava desenvolvido por eles. Um Playstation 2 e o Street Fighter Alpha 3 foram escolhidos.

Uma implementação simples seria que cada tecla fosse um botão, mas isso não ensinaria muito sobre música a quem quer que jogasse nem traçaria um paralelo com a habilidade do jogador na execução do piano. A ideia inicial era "Se você é um bom pianista, vai se sair bem no jogo".
Dominar a execução de uma melodia mais complexa no piano ou de acordes sofisticados seria um paralelo a um jogador que conhece os combos, especiais e outras sequências. O sistema deveria interpretar o que um bom pianista tocaria e passar para como um bom player jogaria. Além disso a ideia era fazer um projeto open-source para outros makers e hackers poderem replicar, e está tudo disponível no site oficial do projeto.
Por questões de custo benefício a escolha para processar toda a informação dos sensores e decidir quais jogadas fazer foi a Raspberry Pi, que mandava as informações para um Arduino que estava gravado com um firmware que fazia com que o Playstation 2 o reconhecesse como um controle oficial.
Sem mais delongas, deixo o vídeo da instalação com vocês.