OpenAI удалось отвлечь внимание Google за несколько недель до крупнейшего события года в Google (Google I/O). Когда появился большой анонс, все, что им нужно было показать, это языковую модель, которая была немного лучше предыдущей, а «магическая» часть даже не находилась на стадии альфа-тестирования.

OpenAI, возможно, оставил у пользователей ощущение, будто мама получила пылесос на День матери, но ему, безусловно, удалось свести к минимуму внимание прессы к важному событию Google.

Буква О

Первый намек на то, что происходит хотя бы небольшой троллинг, — это название новой модели GPT, 4 «о» с буквой «о», как в названии мероприятия Google, I/O.

OpenAI говорит, что буква O означает Omni, что означает все, но похоже, что в этом выборе есть подтекст.

GPT-4o перепродан как волшебство

Сэм Альтман в твитнуть В пятницу перед анонсом обещали «новые вещи», которые показались ему «волшебством»:

«Не gpt-5, не поисковая система, но мы усердно работали над некоторыми новыми вещами, которые, как мы думаем, людям понравятся! для меня это похоже на волшебство».

Соучредитель OpenAI Грег Брокман написал в Твиттере:

«Представляем GPT-4o, нашу новую модель, которая может обрабатывать текст, аудио и видео в режиме реального времени.

Он чрезвычайно универсален, с ним интересно играть, и он является шагом к гораздо более естественной форме взаимодействия человека с компьютером (и даже взаимодействия человека с компьютером):».

В самом объявлении пояснялось, что предыдущие версии ChatGPT использовали три модели для обработки аудиовхода. Одна модель для преобразования аудиовхода в текст. Другая модель для выполнения задачи и вывода ее текстовой версии, а также третья модель для преобразования вывода текста в аудио. Прорывом GPT-4o является то, что теперь он может обрабатывать входной и выходной аудиосигнал в рамках одной модели и выводить его за то же время, которое требуется человеку, чтобы прослушать вопрос и ответить на него.

Но проблема в том, что аудиочасти еще нет в сети. Они все еще работают над тем, чтобы защитные ограждения работали, и пройдут недели, прежде чем альфа-версия будет выпущена для тестирования нескольким пользователям. Ожидается, что альфа-версии могут содержать ошибки, тогда как бета-версии, как правило, ближе к конечному продукту.

Вот как OpenAI объяснила досадную задержку:

«Мы понимаем, что аудиомодальности GPT-4o представляют собой множество новых рисков. Сегодня мы публично публикуем текстовые и графические входные и текстовые выходные данные. В ближайшие недели и месяцы мы будем работать над технической инфраструктурой, удобством использования после обучения и безопасностью, необходимыми для выпуска других модальностей.

Самая важная часть GPT-4o — аудиовход и выход — завершена, но уровень безопасности еще не готов к публичному выпуску.

Некоторые пользователи разочарованы

Неизбежно, что неполный и перепроданный продукт вызовет негативные настроения в социальных сетях.

Инженер искусственного интеллекта Мазияр Панахи (Профиль в LinkedIn) написал в Твиттере его разочарование:

«Я тестировал новый GPT-4o (Omni) в ChatGPT. Я не впечатлен! Нисколько! Быстрее, дешевле, мультимодально — это не для меня.
Интерпретатор кода, это все, что меня волнует, и он такой же ленивый, как и раньше!»

Он последовал за с:

«Я понимаю, что для стартапов и бизнеса очень привлекательно то, что дешевле, быстрее, аудио и т. д. Но я использую только чат, и там ощущения почти такие же. По крайней мере, для помощника по аналитике данных.

Кроме того, я не верю, что получу что-то большее за свои 20 долларов. Не сегодня!»

В Facebook и X есть и другие, которые выразили аналогичные чувства, хотя многие другие были довольны тем, что, по их мнению, было улучшением скорости и стоимости использования API.

OpenAI перепродала GPT-4o?

Учитывая, что GPT-4o находится в незавершенном состоянии, трудно не упустить впечатление, что выпуск был приурочен к выпуску Google I/O и отвлек его от него. Выпуск его накануне важного дня Google с незавершенным продуктом мог непреднамеренно создать впечатление, что GPT-4o в текущем состоянии представляет собой незначительное итеративное улучшение.

В текущем состоянии это не революционный шаг вперед, но как только звуковая часть модели выйдет из стадии альфа-тестирования и пройдет стадию бета-тестирования, мы сможем начать говорить о революциях в большой языковой модели. Но к тому времени, когда это произойдет, Google и Anthropic, возможно, уже водрузят флаг на этой горе.

Заявление OpenAI рисует невыразительный образ новой модели, демонстрируя производительность на том же уровне, что и GPT-4 Turbo. Единственными положительными моментами являются значительные улучшения в языках, отличных от английского, и для пользователей API.

OpenAI объясняет:

• «Он соответствует производительности GPT-4 Turbo для текста на английском языке и кода, со значительным улучшением для текста на неанглийских языках, а также намного быстрее и на 50% дешевле в API».

Вот рейтинги по шести тестам, которые показывают, что GPT-4o едва опережает GPT-4T в большинстве тестов, но отстает от GPT-4T в важном тесте на понимание прочитанного.

Вот баллы:

• MMLU (Массовое многозадачное понимание языка)
  Это эталон точности многозадачности и решения задач по более чем пятидесяти темам, таким как математика, естествознание, история и право. GPT-4o (показатель 88,7) немного опережает GPT4 Turbo (86,9).
• GPQA (тест вопросов и ответов Google для выпускников)
  Это 448 вопросов с несколькими вариантами ответов, написанных экспертами в различных областях, таких как биология, химия и физика. GPT-4o набрал 53,6 балла, немного обогнав GPT-4T (48,0).
• Математика
  GPT 4o (76,6) превосходит GPT-4T на четыре балла (72,6).
• HumanEval
  Это эталон кодирования. GPT-4o (90,2) немного превосходит GPT-4T (87,1) примерно на три балла.
• MGSM (тест по математике в многоязычной начальной школе)
  В ходе теста проверяются математические навыки уровня LLM на десяти разных языках. GPT-4o имеет оценку 90,5 против 88,5 у GPT-4T.
• DROP (Дискретное рассуждение по абзацам)
  Это тест, состоящий из 96 тысяч вопросов, который проверяет понимание языковой модели по содержанию абзацев. GPT-4o (83,4) набирает почти на три балла меньше, чем GPT-4T (86,0).

OpenAI троллил Google с помощью GPT-4o?

Учитывая провокационное название модели с буквой «о», трудно не учитывать, что OpenAI пытается перехватить внимание средств массовой информации в преддверии важной конференции Google по вводу-выводу. Было ли это намерением или нет, OpenAI удалось свести к минимуму внимание к предстоящей конференции Google по поиску.

Стоит ли языковая модель, едва превосходящая по производительности свою предшественницу, всю ту шумиху и внимание средств массовой информации, которые она получила? Ожидаемое объявление доминировало в новостях о большом событии Google, поэтому для OpenAI ответ явно положительный, оно того стоило.

Рекомендованное изображение: Shutterstock/BeataGFX