Штучний інтелект навчився підбирати звуки для беззвучного відео

Американські розробники створили алгоритм, за допомогою якого можна "озвучувати" відеоролики, які були записані без звуку.

Про це повідомляє N + 1.

Читайте також: Вчені попередили про суперспалах на Сонці та назвали серйозні наслідки

Озвучування нейромережею беззвучного відео

Як зазначається, цікаву нейромережну модель розробила група дослідників з Університету Карнегі - Меллона та компанії Runway.

Так, алгоритм самостійно підбирає звуки до відео, на якому зафіксовані певні рухи. Працює він досить просто: спочатку виявляє у кадрі джерела звуку. Вони можуть бути двох типів - конкретні об'єкти та місця з характерним фоновим звуком (наприклад, кафе).

Вихідне відео розбивається на сцени різкої зміни гістограми між двома кадрами. Далі нейромережа CLIP класифікує об'єкти в ній, використовуючи базу ефектів Epidemic Sound, що містить 90 тисяч звуків.

До кожної сцени підбирається по п'ять найімовірніших ефектів об'єктів та оточення. За замовчуванням система активує лише один із них, але користувач може включити усі.

Після підбору необхідних звуків алгоритм створює для них часові інтервали. Це потрібно для більшої реалістичності, адже не всі об'єкти перебувають на сцені протягом усього ролика.

Зрештою алгоритм визначає розташування джерел звуку та підбирає відповідні параметри стереозвучання і гучності, завдяки яким рухомі об'єкти звучать реалістично.

Інші новини на подібні теми

• Instagram запустить декілька нових функцій для батьків для контролю діяльності їхніх дітей у соцмережі. Вони мають з’явитися на початку 2022-го року.
• Китайський місяцехід помітив на зворотному боці Місяця загадковий об'єкт, схожий на хатину. Експерти припускають, що це може бути просто великий валун.
• Вчені NASA виявили поблизу Північного полюса дивну аномалію в атмосфері Землі. "Лійкоподібна щілина" відкривається у магнітному полі планети раз на день.