OpenAI и другие ведущие компании в области искусственного интеллекта разрабатывают новые методы обучения, позволяющие преодолеть ограничения существующих методов. Эти новые методы устраняют неожиданные задержки и сложности при разработке более крупных и мощных языковых моделей и фокусируются на человеческом поведении, чтобы научить алгоритмы «думать».
Сообщается, что дюжина исследователей искусственного интеллекта, ученых и инвесторов разрабатывают новые методы обучения, лежащие в основе недавних разработок OpenAI. модель 'o1' (ранее Q* и Strawberry) могут изменить ландшафт развития ИИ. Сообщаемые достижения могут повлиять на тип или количество ресурсов, которые компаниям, занимающимся искусственным интеллектом, необходимы на постоянной основе, включая специализированное оборудование и энергию для поддержки разработки моделей искусственного интеллекта.
Модель o1 предназначена для решения проблем таким образом, чтобы имитировать человеческое мышление и рассуждения, разбивая многочисленные задачи на этапы. Модель также использует специализированные данные и отзывы экспертов отрасли искусственного интеллекта для улучшения своей производительности.
С тех пор, как OpenAI запустила ChatGPT в 2022 году, произошел всплеск инноваций в области искусственного интеллекта: многие технологические компании заявляют о необходимости расширения существующих моделей искусственного интеллекта, будь то за счет увеличения объемов данных или улучшения вычислительных ресурсов. Только тогда модели ИИ смогут постоянно совершенствоваться.
Теперь эксперты по искусственному интеллекту сообщили об ограничениях в масштабировании моделей искусственного интеллекта. 2010-е годы были революционным временем для масштабирования, но Илья Суцкевер, соучредитель лабораторий ИИ Safe Superintelligence (SSI) и OpenAI, говорит, что обучение моделей ИИ, особенно в понимании языковых структур и шаблонов, пришло в упадок.
«2010-е годы были эпохой масштабирования, сейчас мы вернулись в эпоху чудес и открытий. Сейчас важнее правильно масштабировать», — сказали они.
В последнее время исследователи лаборатории искусственного интеллекта столкнулись с задержками и проблемами в разработке и выпуске больших языковых моделей (LLM), которые являются более мощными, чем модель OpenAI GPT-4.
Во-первых, это стоимость обучения больших моделей, которая часто исчисляется десятками миллионов долларов. А из-за возникающих осложнений, таких как: Из-за сложности системы, например из-за сбоев оборудования, окончательный анализ работы этих моделей может занять месяцы.
Помимо этих проблем, тренировочные заезды требуют значительного количества энергии, что часто приводит к перебоям в подаче электроэнергии, которые могут нарушить процессы и повлиять на всю энергосистему. Другая проблема — огромный объем данных, которые используют большие языковые модели, поэтому модели ИИ, как сообщается, израсходовали все данные, доступные в мире.
Исследователи изучают метод под названием «вычисление времени тестирования», чтобы улучшить текущие модели ИИ на этапах обучения или вывода. Этот метод может включать в себя генерацию нескольких ответов в реальном времени для выбора набора лучших решений. Таким образом, модель может предоставить большие вычислительные ресурсы для сложных задач, требующих человеческого принятия решений и рассуждений. Цель — сделать модель более точной и мощной.
Ноам Браун, исследователь из OpenAI, который участвовал в разработке модели o1, привел пример того, как новый подход может привести к удивительным результатам. На конференции TED AI в Сан-Франциско в прошлом месяце Браун объяснил, что «бот, который думает всего 20 секунд во время игры в покер, даст вам такой же прирост производительности, как если бы вы увеличили модель в 100 000 раз и увеличили ее в 100 000 раз, тренируясь дольше». ».
Вместо простого увеличения размера модели и времени обучения это может изменить способ обработки информации моделями ИИ и привести к созданию более мощных и эффективных систем.
Сообщается, что другие лаборатории искусственного интеллекта разработали версии метода o1. В том числе xAI, Гугл ДипМайндИ антропоцен. В конкуренции в мире искусственного интеллекта нет ничего нового, но мы можем увидеть значительное влияние на рынок оборудования для искусственного интеллекта благодаря новым технологиям. Такие компании, как Нвидиакоторая в настоящее время доминирует в поставках чипов искусственного интеллекта из-за высокого спроса на ее продукцию, может особенно пострадать от обновленных методов обучения искусственному интеллекту.
В октябре Nvidia стала самой дорогой компанией в мире, и рост ее благосостояния во многом обусловлен использованием ее чипов в массивах искусственного интеллекта. Новые технологии могут повлиять на положение Nvidia на рынке и заставить компанию адаптировать свои продукты к растущему спросу на оборудование искусственного интеллекта. Потенциально это может открыть больше возможностей для новых конкурентов на рынке логических выводов.
Возможно, наступает новая эра развития ИИ, обусловленная меняющимися требованиями к аппаратному обеспечению и более эффективными методами обучения, такими как те, которые используются в модели o1. Будущее как моделей искусственного интеллекта, так и компаний, стоящих за ними, может быть изменено, открывая беспрецедентные возможности и усиливая конкуренцию.
См. также: Anthropic настаивает на регулировании ИИ, чтобы избежать катастрофы
Хотите узнать больше об искусственном интеллекте и больших данных от лидеров отрасли? Проверить Выставка искусственного интеллекта и больших данных проходит в Амстердаме, Калифорнии и Лондоне. Это комплексное мероприятие будет проходить наряду с другими ведущими мероприятиями, в том числе Конференция по интеллектуальной автоматизации, БлокХ, Неделя цифровой трансформацииА
