Искусственный интеллект научился подбирать звуки для беззвучного видео
Поделиться
Американские разработчики создали алгоритм, с помощью которого можно "озвучивать" видеоролики, записанные без звука.
Об этом сообщает N + 1.
Читайте также: Ученые предупредили о супервспышке на Солнце и назвали серьезные последствия
Озвучивание нейросетью беззвучного видео
Как отмечается, интересную нейросетевую модель разработала группа исследователей из Университета Карнеги – Меллона и компании Runway.
Так, алгоритм самостоятельно подбирает звуки к видео, на котором зафиксированы определенные движения. Работает он достаточно просто: сначала обнаруживает в кадре источник звука. Они могут быть двух типов – конкретные объекты и места с характерным фоновым звуком (например, кафе).
Исходное видео разбивается на сцены резкого смены гистограммы между двумя кадрами. Далее нейросеть CLIP классифицирует объекты в ней, используя базу эффектов Epidemic Sound, содержащую 90 тысяч звуков.
К каждой сцене подбирается пять наиболее вероятных эффектов объектов и окружения. По умолчанию система активирует только один, но пользователь может включить все.
После подбора необходимых звуков алгоритм создает временные интервалы. Это необходимо для большей реалистичности, ведь не все объекты находятся на сцене на протяжении всего ролика.
В конце концов, алгоритм определяет расположение источников звука и подбирает соответствующие параметры стереозвучания и громкости, благодаря которым движущиеся объекты звучат реалистично.
Другие новости на подобные темы
- Instagram запустит несколько новых функций для родителей для контроля деятельности детей в соцсети. Они должны появиться в начале 2022 года.
- Китайский луноход заметил на обратной стороне Луны загадочный объект, похожий на хижину. Эксперты предполагают, что это может быть просто большой валун.
- Ученые NASA обнаружили близ Северного полюса удивительную аномалию в атмосфере Земли. "Лейковидная щель" открывается в магнитном поле планеты ежедневно.
Читайте Новини.LIVE!
