Meta представила еще одного участника видеогонки с использованием искусственного интеллекта, который, похоже, за последние месяцы захватил большую часть отрасли. Технический гигант выпустил новую модель под названием Movie Gen, которая, как следует из названия, генерирует фильмы. Он значительно более обширен по своему списку функций, чем многие другие при первом запуске, что можно сравнить с моделью Sora от OpenAI, которая привлекла так много внимания, когда была впервые представлена. Однако Movie Gen также разделяет с Сорой ограничение доступа к некоторым кинематографистам, работающим с Meta, а не публичный запуск.
Movie Gen впечатляет, демонстрируя свою способность создавать фильмы из текстовых подсказок, как показано выше. Модель умеет создавать 16-секундные видеоролики и масштабировать их до разрешения 1080p. Обратной стороной является то, что видео выводится со скоростью 16 кадров в секунду, что ниже скорости любого киностандарта. При более нормальной частоте 24 кадра в секунду клип не может длиться более 10 секунд.
Действие поколения кино
Тем не менее, 10 секунд при правильной подсказке может быть достаточно. Meta предоставила Movie Gen забавную функцию персонализации, напоминающую инструмент Imagine, которая позволяет создавать изображения с вашим участием. Movie Gen может делать то же самое с видео, используя эталонное изображение для вставки реального человека в клип. Если модель сможет регулярно выдерживать демонстрации, многие кинематографисты, возможно, захотят ее опробовать.
И видео не ограничиваются только подсказкой, которую затем нужно переписать, чтобы создать другое видео, которое, как вы надеетесь, будет лучше. Movie Gen имеет функцию редактирования текста, которая позволяет с помощью подсказки точно настроить часть фильма или изменить аспект всего фильма. Вы можете попросить персонажей надеть разные наряды или установить фон в другое место. Эта гибкость впечатляет. Регулировки также распространяются на движения камеры: запросы на панорамирование и отслеживание понимаются ИИ и интегрируются в видео или его последующие редактирования. Осведомленность об объектах и их движениях, вероятно, основана на недавно выпущенной модели Meta SAM 2, которая способна отмечать и отслеживать объекты на видео.
Аудио будущее искусственного интеллекта
Хорошие визуальные эффекты стали слишком распространены среди создателей видео с использованием искусственного интеллекта, но Meta также фокусируется на звуковой стороне кинопроизводства. Movie Gen будет использовать текстовые подсказки к видео для создания саундтрека, который гармонирует с зрелищем, добавляя звуки дождя к дождливой сцене или шум двигателей автомобилей, чтобы соответствовать фильму, действие которого происходит в пробке. Он даже создает новую музыку для фонового воспроизведения, пытаясь соответствовать настроению просматриваемого видео. Человеческий язык в настоящее время не является частью репертуара Movie Gen.
Ранее Meta скрывала от публики впечатляющие движки искусственного интеллекта, в первую очередь генератор песен искусственного интеллекта, который, по ее словам, был слишком хорош, чтобы выпускать его из-за опасений злоупотреблений. Компания не утверждала, что именно это стало причиной того, что Movie Gen был закрыт от большинства людей, но было бы неудивительно, если бы это сыграло свою роль.
Тем не менее, выбор OpenAI Sora означает, что Meta придется игнорировать возможность того, что более открытый конкурент заберет часть ее доли рынка. И есть много генераторов видео с искусственным интеллектом, которые уже доступны на рынке или появятся в ближайшее время. К ним относятся новые или недавно обновленные модели от Runway, Pika, Stability AI, Hotshot и Dream Machine от Luma Labs и других.
Вам также может понравиться…
