Яндекс представил новое поколение визуальных нейронных сетей — YandexART 2.0. Модель узнала:

• Создавайте подписи прямо на изображениях,




• придерживаться нескольких стилей в одном изображении,




• Размещайте объекты в пространстве и относительно друг друга более естественно,




• При создании учитывайте дополнительные сведения из текстового запроса.

Пользователи могут использовать новые возможности для развития своего бизнеса, например: создать логотип бренда, этикетку продукта, иллюстрации для сайта и постов в социальных сетях, а для компаний – для повышения эффективности рекламных и маркетинговых кампаний.

О технологии ЯндексАРТ 2.0

ЯндексАРТ 2.0 основан на собственной разработке компании — новой гибридной модели архитектуры, сочетающей в себе качество работы сверточных и преобразующих нейронных сетей. Модель свертки работает по принципу человеческого глаза и определяет важные особенности изображения — края, текстуры и формы. При этом нейросеть с такой архитектурой не может учитывать длинный контекст (поэтому в промышленных текстах сложно иметь дело с большим количеством деталей), а преобразователь — может.

Объединение этих двух моделей в ЯндексАРТ 2.0 позволило точнее отслеживать текстовые запросы. Теперь она может сочетать несколько стилей в одном изображении, например, создать фотореалистичную банку газировки с персонажем аниме на этикетке.

Для них ЯндексАРТ обучался на сотнях миллионов пар изображений и текстовых описаний.

Чтобы улучшить качество этих текстов и сделать их более точными, Яндекс использовал собственную модель VLM. Она проанализировала изображения и подробно описала, что в них содержится. ЯндексАРТ 2.0 обучался на улучшенных данных, что помогло нейросети учитывать больше деталей из запроса пользователя.

Визуальные нейронные сети умеют генерировать отдельные буквы, но для того, чтобы сформировать из них слова, требуется дополнительное обучение на множестве примеров.

Яндекс расширил набор обучающих данных YandexART 2.0, включив в него несколько сотен тысяч изображений с текстом. Так нейросеть научилась создавать надписи латинскими буквами на изображениях.

Для измерения качества нейросети Яндекс разработал новую систему рейтингов. Он включает в себя четыре основных параметра: актуальность, эстетичность, изъян и сложность, то есть сложность и детализация изображения. Например, ЯндексАРТ 2.0 превзошел Midjourney v6.1 в 66% случаев по сложности, в 58% случаев по эстетике и практически сравнялся по доле побед по релевантности запросам пользователей.

ЯндексАРТ для бизнеса

ЯндексАРТ 2.0 уже доступен Облачная платформа Яндекс Облако. Его можно использовать и тестировать через API для интеграции генерации изображений в ваши приложения. Демо-режимвыбрать оптимальное промышленное изделие. Нейронная сеть лучше понимает запросы пользователей, позволяя компаниям быстрее и качественнее создавать реалистичные изображения для маркетинговых и рекламных кампаний. Предприниматели могут создавать иллюстрации для статей и социальных сетей, создавать баннеры или разрабатывать варианты брендинга одежды.

С помощью ЯндексАРТ 2.0 вы уже можете создавать Реклама в Яндекс Директ. На данный момент 11% рекламодателей используют в сервисе изображения, сгенерированные YandexART. По результатам экспериментов, использование Neuro-Ads в сочетании с собственными креативами позволяет повысить эффективность рекламной кампании на 10-15%.

ЯндексАРТ для пользователей

Пользователи могут использовать ЯндексАРТ для общения с Алисой, когда включена опция Pro.

Алиса может не только создавать образы, но и добавить и изменить так, как этого хочет пользователь. Запросы можно уточнить непосредственно в диалоговом режиме. Например, сначала скажите: «Алиса, нарисуй свечу ручной работы», а после получения результата добавьте: «Есть еловые ветки».

Алиса поможет Создать аватар для социальных сетей или символ для приложения, логотип или принт на футболке, забавная открытка другу или иллюстрация к посту.

Пользователи, активировавшие опцию Alice Pro, могут создавать неограниченное количество изображений в мобильных и настольных версиях в различных форматах, причем создание изображений занимает всего несколько секунд.

Напомним, в начале сентября Яндекс выпустил улучшенную версию YandexART для создания коротких видеороликов. А в июле благодаря ЯндексАРТу в Masterpiece появилась возможность создавать клипы из видео, изображений и фильтров.

Источник: пресс-релиз Яндекса