Компютър се учи да озвучава видео, което няма аудио

Използвайки машинно обучение, изследователи от Масачузетския технологичен университет научиха компютър да синтезира толкова реалистични звуци, че слушателите да повярват в тях. Новият алгоритъм анализира видеоклип, в който по повърхност почуват с барабанна палка, и след това синтезира реалистичен звук.

Преди това изследователите няколко месеца са записвали 1000 видеоклипа. В тях са засечени 46 000 звука на обекти, по които се удря, почуква, стърже и т.н. След това алгоритъмът е анализирал видеозаписите и е оценил акустичните характеристики на сцените, свързвайки ги с видеото.

Неочаквано за самите учени, алгоритъмът се оказал способен да симулира звуци според видеото и то с висока точност. Особено добре му се получават ударите с барабанна палка по кал или шумът на листата – тези звуци имат по-малко чист звук и човек трудно улавя неточностите.

В бъдеще системата ще позволи на роботите да разпознават повърхности и да взаимодействат с околната среда – те ще разбират например, че бетонът е твърд, а тревата мека.

Вашият коментар

Вашият имейл адрес няма да бъде публикуван. Задължителните полета са отбелязани с *

%d блогъра харесват това: