Три недели назад мы запустили новую функцию создания изображений для Диалоговое приложение Gemini (ранее известный как Бард), включавший в себя способность создавать образы людей.

Понятно, что эта функция не попала в цель. Некоторые из созданных изображений неточны и даже оскорбительны. Мы благодарны за отзывы пользователей и сожалеем, что эта функция не работала должным образом.

У нас есть признал ошибку и временно приостановил создание изображений людей в Gemini, пока мы работаем над улучшенной версией.

Что случилось

Диалоговое приложение Gemini — это отдельный продукт, отдельный от поиска, наших базовых моделей искусственного интеллекта и других наших продуктов. Его функция генерации изображений была построена на модели искусственного интеллекта под названием Imagen 2.

Когда мы создавали эту функцию в Gemini, мы корректировали ее, чтобы гарантировать, что она не попадет в некоторые ловушки, которые мы видели в прошлом с технологией создания изображений, например, создание изображений насилия или откровенно сексуального характера, а также изображений реальных людей. А поскольку наши пользователи приезжают со всего мира, мы хотим, чтобы он работал хорошо для всех. Если вы просите фотографию футболистов или человека, выгуливающего собаку, возможно, вам захочется привлечь широкий круг людей. Вероятно, вы не хотите получать изображения людей только одного типа этнической принадлежности (или любой другой характеристики).

Однако, если вы спросите у Близнецов изображения человека определенного типа – например, «черного учителя в классе» или «белого ветеринара с собакой» – или людей в определенном культурном или историческом контексте, вы обязательно получите ответ. . ответ, который точно отражает то, что вы спрашиваете.

Так что же пошло не так? Короче говоря, две вещи. Во-первых, наша настройка на то, чтобы Близнецы показывали круг людей, не учитывала случаи, которые явно должны нет отображать диапазон. А во-вторых, со временем модель стала гораздо осторожнее, чем ожидалось, и отказывалась полностью реагировать на определенные подсказки, ошибочно интерпретируя некоторые очень безобидные подсказки как деликатные.

Эти два элемента привели к тому, что модель в некоторых случаях была сверхкомпенсационной и слишком консервативной в других, что приводило к смущающим и ложным изображениям.

Следующие шаги и извлеченные уроки

Это было не то, что мы планировали. Мы не хотели, чтобы Gemini отказывались создавать изображения определенной группы. И мы не хотели, чтобы это создавало исторически – или иным образом – неточные изображения. Поэтому мы отключили генерацию изображений людей и постараемся значительно улучшить ее, прежде чем снова включить. Этот процесс будет включать в себя обширное тестирование.

Следует иметь в виду одну вещь: Gemini задуман как инструмент творчества и продуктивности, и он не всегда надежен, особенно когда речь идет о создании изображений или текста о текущих событиях, развивающихся новостях или горячих темах. Он будет совершать ошибки. Как мы говорили с самого начала, галлюцинации — известная проблема всех LLM: бывают случаи, когда ИИ ошибается. Это то, над чем мы постоянно работаем.

Gemini пытается предоставить фактические ответы на запросы — и наша функция двойной проверки помогает оценить, есть ли в Интернете контент, подтверждающий ответы Gemini, — но мы рекомендуем полагаться на поиск Google, где отдельные системы отображают свежую, высококачественную информацию по этим типам. тем из источников в Интернете.

Я не могу обещать, что Gemini не будет время от времени выдавать смущающие, неточные или оскорбительные результаты, но я могу обещать, что мы продолжим принимать меры всякий раз, когда обнаружим проблему. Искусственный интеллект — это во многих отношениях полезная новая технология с огромным потенциалом, и мы делаем все возможное, чтобы применять ее безопасно и ответственно.