ВК Видео обновила алгоритмы искусственного интеллекта, которые автоматически распознают речь и добавляют субтитры к видео. Нейронные сети теперь знают тысячи новых слов, включая мемы, имена собственные, аббревиатуры и профессиональные термины.

Точность анализа и декодирования увеличилась на 25%.

Автоматические субтитры создаются по шаблонам Ml. Для повышения точности аудиопоток проходит несколько этапов обработки, в ходе которых нейросеть отфильтровывает посторонние звуки, выделяет речь и преобразует ее в текст. Модели денормализации и пунктуации затем преобразуют распознанные слова в легко читаемый текст. Затем ИИ синхронизирует полученный текст с аудиодорожкой.

Ожидается, что вскоре нейронные сети научатся различать голоса, что позволит разделять речь разных говорящих на отдельные реплики. Это сделает чтение и понимание субтитров еще проще.

Видео-субтитры помогают людям с нарушениями слуха и удобны в условиях, когда нет возможности включить звук. ВКонтакте сообщает, что эта технология становится все более популярной:

Только за последний месяц доля пользователей, использующих эту функцию в веб-версии, выросла на 28%, и теперь 11% всей аудитории «Видео ВК» использует субтитры.

Напомним, что с момента официального запуска в сентябре 2023 года приложение ВК Видео было установлено более 20 миллионов раз.

Источник: пресс-релиз В.К.