ByteDance, компания, стоящая за TikTok, выпустила новый инструмент искусственного интеллекта под названием MagicVideo-V2, который значительно расширяет границы преобразования текста в видео.
MagicVideo-V2 использует современный искусственный интеллект для создания высококачественного видеоконтента на основе текстового ввода. В человеческих оценках, сравнивающих видео, созданные MagicVideo-V2 и другими ведущими генераторами текста в видео, такими как Pika 1.0 и Stable Diffusion-XT, новый инструмент ByteDance заметно превзошел конкурентов.
Согласно GitHub проекта страница, она объединяет «модель преобразования текста в изображение, генератор видеодвижений, модуль встраивания эталонного изображения и модуль интерполяции кадров в сквозной конвейер генерации видео».
Модель MagicVideo-V2 начинается с создания изображения размером 1024×1024, отображающего введенный текст. Затем это неподвижное изображение анимируется, улучшается и уточняется. Наконец, модуль интерполяции удлиняет анимацию до 94 кадров. Это создает богато анимированный результат.
ByteDance только что анонсировала MagicVideo-V2
Многоэтапная генерация высокоэстетичного видео
Растущий спрос на создание высококачественного видео на основе текстовых описаний стал катализатором значительных исследований в этой области. В этой работе мы познакомим… pic.twitter.com/kxik2HA7h5
— АК (@_akhaliq) 10 января 2024 г.
Это наука, но как можно использовать MagicVideo-V2 на практике?
Теоретически это могло бы упростить создание видео для влиятельных лиц и маркетологов в социальных сетях, помочь значительно увеличить производство видео для медиа-организаций или создавать анимационные клипы для образования и развлечения.
В области искусственного интеллекта для генерации видео были достигнуты огромные успехи.
Скорость совершенствования генеративного ИИ высока и не показывает никаких признаков замедления. Stability AI, компания, стоящая за Stable Diffusion, недавно начала экспериментировать с созданием 3D-моделей, а также запустила модель ценообразования по подписке. Runway, видео-стартап в области искусственного интеллекта из Нью-Йорка, в сентябре прошлого года выпустил огромное обновление своего флагманского инструмента для создания видео с использованием искусственного интеллекта.
Благодаря доминированию на рынке короткометражных видеоразвлечений через TikTok и Douyin (китайская платформа для обмена видео), ByteDance имеет возможность максимизировать ценность MagicVideo-V2.
В середине прошлого года компания также запустила музыкальный генератор на базе искусственного интеллекта под названием Ripple. Возможность для пользователей создавать невероятно сложные видеоролики и добавлять сгенерированный звук с помощью этих инструментов ставит TikTok перед конкурентами в социальных сетях, ориентированных на видео, и другим будет непросто не отставать, если их инновации продолжатся.
Предоставленное изображение предоставлено: МагияВидео-V2
