• Kioxia представляет новый проект под названием AiSAQ, целью которого является замена оперативной памяти твердотельными накопителями для обработки данных ИИ.
• SSD-накопители большего размера (читай: более 100 ТБ) могут улучшить RAG при меньших затратах, чем использование только хранилища.
• Сроки не указаны, но ожидается, что конкуренты Kioxia предложат аналогичные технологии.

Большие языковые модели часто дают правдоподобные, но фактически неверные результаты — другими словами, они что-то изобретают. Эти «галлюцинации» могут повлиять на надежность выполнения важных информационных задач, таких как медицинская диагностика, юридический анализ, финансовая отчетность и научные исследования.

Поисково-дополненная генерация (RAG) смягчает эту проблему за счет интеграции внешних источников данных, позволяя LLM получать доступ к информации в реальном времени во время генерации, уменьшая количество ошибок и повышая контекстуальную точность, основывая выходные данные на текущих данных. Эффективная реализация RAG требует значительных ресурсов памяти и хранилища, и это особенно актуально для больших векторных данных и индексов. Традиционно эти данные хранились в DRAM, которая является быстрой, но дорогой и ограниченной по емкости.