terça-feira, 10 de julho de 2018

MIT cria uma IA que isola o som de instrumentos específicos

Quem aprecia música, a melodia em si, acaba por um momento, tentando separar os sons de cada instrumento por exemplo, da sua banda favorita. E pesquisadores do MIT criaram uma IA que acaba fazendo justamente isso.

Adicionar legenda

Os pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial da MIT (CSAIL) criaram um sistema de IA que pode analisar uma performance musical e isolar os sons de cada instrumento.

Confira em ação aqui:


Essa IA, chamada de PixelPlayer, usa algo que os pesquisadores chamam de aprendizado profundo "auto-supervisionado". Em outras palavras, não requer interação humana direta e, estranhamente, a equipe envolvida não sabe exatamente o que a IA está fazendo. Yay pela singularidade!

O que diferencia o PixelPlayer de outras tentativas de isolar o som dessa maneira é o uso da visão. Ela localiza os pixels literais no vídeo que estão produzindo som, daí seu nome. Isso permite "ver" onde o som está originando, permitindo que ela divida os sons com precisão.

O sistema foi treinado em mais de 60 horas de vídeo e atualmente pode identificar mais de 20 instrumentos comuns. Os pesquisadores acreditam que, se for dada a chance de analisar mais dados, esse número pode aumentar. No entanto, eles levantaram dúvidas sobre sua capacidade de separar instrumentos sonoros semelhantes, como um violino ou uma viola, por exemplo.

"Ficamos surpresos que pudéssemos realmente localizar espacialmente os instrumentos no nível de pixel", disse Hang Zhao, principal autor do estudo e doutorado no CSAIL. "Ser capaz de fazer isso abre muitas possibilidades, como editar o áudio de instrumentos individuais com apenas um clique no vídeo".

Com a tecnologia ainda no início, ela já tem um potencial enorme. Seja alterando o mix, os níveis ou a qualidade das gravações de vídeos antigos, melhorando o modo como os robôs entendem o som ou apenas permitindo que as pessoas melhorem em seus instrumentos, dá para ficar excitado em ver como o PixelPlayer irá se desenvolver no futuro.

fonte: the Next Web

Nenhum comentário:

Postar um comentário

Pessoal, comentem, críticas e elogios serão bem aceitos. E eu respondo, posso demorar mas respondo. Esse velho lobo do mar tarda mas não falha!!!!

Leia antes a minha Política de Comentários.

Se quiser deixar o link de uma postagem sua, utilize o código abaixo trocando o que está escrito em letra maiúscula:

<p><abbr><em><strong>SEU NOME</strong> - último post do blog... <a href="<strong>LINK-DA-POSTAGEM</strong>"><strong>TÍTULO DA POSTAGEM</strong></a></em></abbr><p>

Artigos recentes

Related Posts with Thumbnails
Google