OpenAI объявила, что разработала систему искусственного интеллекта с использованием GPT-4 для поддержки модерации контента на онлайн-платформах.

Компания заявляет, что эта система обеспечивает более быструю итерацию изменений политики и более последовательную маркировку контента, чем традиционная модерация под руководством человека.

OpenAI сказал в своем Уведомление:

«Модерация контента играет решающую роль в поддержании работоспособности цифровых платформ. Система модерации контента, использующая GPT-4, приводит к гораздо более быстрой итерации изменений политики, сокращая цикл с месяцев до часов».

Этот шаг направлен на повышение согласованности маркировки контента, ускорение обновления политики и снижение зависимости от модераторов-людей.

Это также может оказать положительное влияние на психическое здоровье модераторов и продемонстрировать потенциал ИИ для защиты психического здоровья в Интернете.

Проблемы с модерацией контента

OpenAI объяснила, что модерация контента — это сложная работа, требующая кропотливых усилий, тонкого понимания контекста и постоянной адаптации к новым вариантам использования.

Традиционно эти трудоемкие задачи делегировались модераторам-людям. Они проверяют большое количество пользовательского контента, чтобы удалить вредные или неприемлемые материалы.

Это может быть психологически сложной работой. Использование ИИ для выполнения этой задачи потенциально может привести к сокращению человеческая стоимость модерация онлайн-контента.

Как работает система искусственного интеллекта OpenAI

Новая система OpenAI направлена ​​на поддержку модераторов-людей с помощью GPT-4 для интерпретации политик контента и вынесения суждений о модерации.

Эксперты по политике сначала пишут политики в отношении контента и помечают примеры, соответствующие политике.

Затем GPT-4 присваивает метки тем же образцам, не видя ответов экзаменатора.

Сравнивая метки GPT-4 с человеческими метками, OpenAI может уточнять неоднозначные определения политики и переобучать ИИ до тех пор, пока он не будет надежно интерпретировать политики.

ЧИТАТЬ  Google расширяет имена сайтов для субдоменов на всех устройствах на четырех языках

Пример

В сообщении в блоге OpenAI показано, как рецензент-человек может уточнить политики, если он не согласен с флагом GPT-4, присвоенным контенту.

В приведенном ниже примере рецензент-человек оценил что-то как K3 (пропаганда ненасильственного вреда), но GPT-4 посчитал, что это не нарушает Политику противоправного поведения.

Снимок экрана: openai.com/blog/using-gpt-4-for-content-moderation, август 2023 г.

Если GPT-4 объясняет, почему было выбрано другое обозначение, эксперт-человек может понять, где рекомендации неясны.

Они обнаружили, что в GPT-4 отсутствует тот нюанс, который кража собственности может квалифицироваться как поощрение ненасильственного вреда в соответствии с политикой K3.

Это взаимодействие иллюстрирует, как человеческий надзор может дополнительно обучать системы ИИ, разъясняя руководящие принципы в областях, где знания ИИ неполны.

После понимания политики GPT-4 можно использовать для модерации контента в любом масштабе.

Преимущества, отмеченные OpenAI

OpenAI обозначил несколько преимуществ, которые, по его мнению, предлагает система модерации на основе ИИ:

  • Более последовательная маркировка, поскольку ИИ быстро адаптируется к изменениям политики
  • Ускоренный цикл обратной связи для улучшения политик, сокращение циклов обновления с месяцев до часов
  • Снижение умственной нагрузки на модераторов-людей

Что касается последнего пункта, OpenAI следует подумать о том, чтобы подчеркнуть потенциальные преимущества модерации ИИ для психического здоровья, если он хочет, чтобы люди поддержали эту идею.

Использование GPT-4 для модерации контента вместо людей может помочь многим модераторам, поскольку избавляет их от просмотра травмирующих материалов.

Эта разработка может уменьшить потребность модераторов в непосредственном контакте с оскорбительным или вредоносным контентом и, таким образом, уменьшить их умственную нагрузку.

Ограничения и этические соображения

Утвержденные OpenAI суждения о моделях ИИ могут содержать нежелательные предубеждения, поэтому результаты необходимо отслеживать и проверять. Было подчеркнуто, что люди должны оставаться «в курсе» сложных случаев модерации.

ЧИТАТЬ  Инструмент проверки URL-адресов Google, на ссылающейся странице показаны несвязанные URL-адреса?

Компания изучает способы улучшения возможностей GPT-4 и хочет использовать ИИ для выявления возникающих рисков контента, которые могут служить основой для новых политик.

Избранное изображение: солнце в порядке / Shutterstock



Source