Она умеет создавать новые ролики и дополнять уже существующие по текстовому описанию.

Диффузионная модель от OpenAI для создания и редактирования видеороликов называется Сора. Разработчики долго трудились над тем, чтобы объекты, находящиеся в кадре, оставались неизменными, даже если они временно покидают кадр. Sora опирается на технологические разработки ChatGPT и DALL-E. Она управляется с помощью текстовых инструкций, может использовать готовую статичную картинку, постепенно анимировать ее и дополнять кадр дополнительными объектами.

Пользователь может расширить уже готовое видео с помощью новой технологии. Sora позволяет создавать видео в высоком качестве, использовать динамическое движение камеры, имитировать взаимодействие с окружающим миром, например, следы кисти на холсте художника.

Sora по-прежнему несовершенна. Например, она неточно моделирует физику, может ошибаться в корректном изменении объекта, например, при употреблении пищи. Видео в нейросети состоит из набора небольших фрагментов, которые разработчики назвали «патчами». Они похожи на токены в ChatGPT. Патчи состоят из набора визуальных данных, которые удобны для масштабирования и дальнейшего обучения нейросети.



Source link

ЧИТАТЬ  Этот день в истории поискового маркетинга: 5 марта.