На GitHub опубликовали исследование от AI-платформы Vectara под названием Hallucination Leadership. В нем нейросети проходили испытания по нескольким критериям:

• Точность ответов — насколько результаты соответствуют истине;

• Hallucination — шкала погрешностей и выдуманного контента, полученного из неверифицированных источников; метрика обратно пропорциональна точности;

• Средняя длина ответов — среднее количество символов;

• Частота ответов — как часто нейросеть дает ответ на заданный вопрос; при недостатке данных нейросети процент снижается.

Первое место в списке получили топовые нейросетевые модели от OpenAI — версии чат-бота GPT-4 и GPT-3.5. Все последующие места в топе рейтинга занимают модели Unite.AI под названием Llama. Замыкают десятку продукты Google. Их отличают высокие показатели «галлюцинирования», сниженные показатели точности и частотности получаемых ответов, а также нестабильная длина сообщения — разница между двумя соседними моделями в объеме составила почти десять раз.

Метрика Hallucination — это авторская разработка Vectara для измерения точности ответов нейросетевых моделей. Система постоянно совершенствуется, и работает по модели с открытым исходным кодом. Подробнее о ней можно прочитать в блоге компании.

Разработчики отметили, что список будет обновляться по мере поступлений новых данных.