 |
| Adicionar legenda |
Os pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial da MIT (CSAIL) criaram um sistema de IA que pode analisar uma performance musical e isolar os sons de cada instrumento.
Confira em ação aqui:
Essa IA, chamada de PixelPlayer, usa algo que os pesquisadores chamam de aprendizado profundo "auto-supervisionado". Em outras palavras, não requer interação humana direta e, estranhamente, a equipe envolvida não sabe exatamente o que a IA está fazendo. Yay pela singularidade!
O que diferencia o PixelPlayer de outras tentativas de isolar o som dessa maneira é o uso da visão. Ela localiza os pixels literais no vídeo que estão produzindo som, daí seu nome. Isso permite "ver" onde o som está originando, permitindo que ela divida os sons com precisão.
O sistema foi treinado em mais de 60 horas de vídeo e atualmente pode identificar mais de 20 instrumentos comuns. Os pesquisadores acreditam que, se for dada a chance de analisar mais dados, esse número pode aumentar. No entanto, eles levantaram dúvidas sobre sua capacidade de separar instrumentos sonoros semelhantes, como um violino ou uma viola, por exemplo.
"Ficamos surpresos que pudéssemos realmente localizar espacialmente os instrumentos no nível de pixel", disse Hang Zhao, principal autor do estudo e doutorado no CSAIL. "Ser capaz de fazer isso abre muitas possibilidades, como editar o áudio de instrumentos individuais com apenas um clique no vídeo".
Com a tecnologia ainda no início, ela já tem um potencial enorme. Seja alterando o mix, os níveis ou a qualidade das gravações de vídeos antigos, melhorando o modo como os robôs entendem o som ou apenas permitindo que as pessoas melhorem em seus instrumentos, dá para ficar excitado em ver como o PixelPlayer irá se desenvolver no futuro.
fonte: the Next Web
