Сегодня Kaggle запускает Тесты сообществакоторый позволяет мировому сообществу ИИ разрабатывать, запускать и публиковать собственные тесты для оценки моделей ИИ. Это следующий шаг после нашего запуска Kaggle Benchmarks в прошлом году обеспечить надежный и прозрачный доступ к обзорам ведущих исследовательских групп, таких как Мета МультиЛоко И Пакет FACTS от Google.
Почему важна оценка сообщества
Возможности искусственного интеллекта развивались так быстро, что стало сложно оценивать эффективность модели. Не так давно одной оценки точности статического набора данных было достаточно, чтобы определить качество модели. Но сегодня, когда LLM превращаются в агентов рассуждения, которые сотрудничают, пишут код и используют инструменты, этих статических мер и простых оценок уже недостаточно.
Kaggle Community Benchmarks предоставляет разработчикам прозрачный способ проверки конкретных вариантов использования и устранения разрыва между экспериментальным кодом и готовыми к использованию приложениями.
Эти реальные варианты использования требуют более гибкой и прозрачной системы оценки. Тесты сообщества Kaggle предлагают более динамичный, строгий и постоянно развивающийся подход к оценке моделей ИИ, формируемый пользователями, которые создают и развертывают эти системы каждый день.
Как создать свои собственные тесты на Kaggle
Тестирование начинается с создания задач, которые могут варьироваться от оценки многоэтапных рассуждений и генерации кода до тестирования использования инструментов или распознавания изображений. Если у вас есть задачи, вы можете добавить их в тест для оценки и ранжирования выбранных моделей на основе их производительности в тестовых задачах.
Вот как начать:
- Создайте задачу: Задачи проверяют производительность модели ИИ при решении конкретной проблемы. Они позволяют проводить повторяемые тесты на разных моделях для сравнения их точности и возможностей.
- Создайте эталон: Создав одну или несколько задач, вы можете сгруппировать их в тест. Тест позволяет запускать задачи на наборе ведущих моделей ИИ и создавать рейтинг для отслеживания и сравнения их производительности.
