Система искусственного разума от Disney Research знает, как звучит автомобиль

Картинка иногда может стоить тысячи слов и все говорить сама за себя. Но звук не менее важен для нас, так как при помощи звуков мы воспринимаем мир полноценно. Вот почему команда исследователей из Disney Research работает над системой компьютерного видения, которая способна не только распознавать то, что изображено на картинке, но и то, как это звучит. При первом тестировании системы, ей успешно удалось найти соответствующие звуки для картинок с закрывающимися дверями, звоном стекла и движущимся транспортом.

Аудио-ассоциация может быть чем то примитивным для людей, однако обучить компьютер делать это – задача не из простых. Специалисты Disney обучили искусственный интеллект распознавать звуки изображений, снабдив его коллекцией видеороликов, демонстрирующих, как определенный объект выполняет характерный звук, но при этом фоновый шум, отголоски разговоров и просто посторонние шумы могли легко обмануть систему. Однако если загруженные образцы были с уже отфильтрованными лишними шумами, то у системы получалось успешно найти правильный звук для каждой картинки. Правда, пока еще система все равно не совершенна: искусственный интеллект не всегда может правильно различить между автомобилем и трамваем, таким образом предлагая неверный звуковой сигнал.

Распознавание звуков по картинке вряд ли будет полезной функцией для большинства людей, но специалисты надеются, что их система может быть использована для создания автоматической системы обработки шума при монтаже видео. Что облегчит задачу шумовикам, которые добавляют звуковые эффекты в кинофильм. Также технология может оказать огромную пользу людям с нарушениями зрения, создав систему персонификации изображений, которая позволит людям «слышать» объекты на компьютерном экране. Но для осуществления этого специалистам нужно проделать еще много работы.