- ИИ обещает великую революцию для разработчиков, но является ли он только для создания кода?
- Популярные модели искусственного интеллекта из антропного и Openai не очень хороши в отладке
- Исследователи Microsoft заботятся о своих инструментах, чтобы облегчить исследования
Хотя генеративный ИИ все чаще интегрируется в программирующие рабочие процессы, новое исследование от Microsoft показывает, что большие голосовые модели по -прежнему не полностью актуальны при отладке.
А Исследовать предполагает, что даже продвинутые модели все еще борются с отладкой задач, которые довольно просты для опытных разработчиков и подчеркивают постоянную важность человеческих программистов.
ИИ, однако, кажется, имеет надежное приложение, в результате чего Google теперь утверждает, что генерируется около 25% новых кодов. Мета также обнаружила широкое использование ИИ для кодирования.
ИИ хорош для создания кода, но не для отладки
В отчете рассматривается, как 11 исследователей Microsoft протестировали девять моделей искусственного интеллекта на Swe-Bench Lite-A Popular Bending Clinkmark. Claude 3,7 Sonett предложил самый высокий уровень успеха в основном 48,4%. OpenAIS O1 и O3-Mini указали более низкие показатели успеха 30,2% или 22,1%.
«Даже с инструментами отладки наш простой, быстрый агент редко решает более половины проблем Swe-Bench Lite»,-написали исследователи и ответственные, неоптимальные результаты отсутствия данных, которые представляют последовательное поведение решений.
Однако вся надежда не потеряна. «Мы считаем, что обучение или тонкая настраиваемая левые могут улучшить свои навыки интерактивной отладки»,-добавила она. Исследователи намерены оптимизировать модель поиска информации, которая специализируется на сборе необходимой информации для решения ошибок. В то же время, однако, они обещают, что другие исследования с помощью спортивных залов с открытым исходным кодом облегчены.
Debug-Gymus описывается как «окружающая область, в которой агенты по ремонту кода могут получить доступ к инструментам для поиска активного поведения ищущего информации».
Тем не менее, искусственный интеллект может не привлечь столько акцента на жизнь разработчиков, как это предполагают компании искусственного интеллекта. «Большинство разработчиков тратят большую часть своего времени, чтобы отлаживать код», — написали исследователи и отмечают, что они могут не сэкономить так много времени, даже если они извлекают выгоду из кода.
Вы также могли бы понравиться
