По данным израильского стартапа NeuReality, многие возможности ИИ не используются в полной мере из-за стоимости и сложности создания и масштабирования систем ИИ.
Текущие решения не оптимизированы для вывода и основаны на процессорах общего назначения, не предназначенных для искусственного интеллекта. Кроме того, архитектуры, ориентированные на ЦП, требуют наличия нескольких аппаратных компонентов, что приводит к недостаточному использованию ускорителей глубокого обучения (DLA) из-за узких мест ЦП.
Ответом NeuReality на эту проблему является решение для вывода NR1AI, сочетание специально созданного программного обеспечения и уникального сервера вывода с сетевой адресацией на кристалле. NeuReality утверждает, что это приведет к повышению производительности и масштабируемости при более низких затратах и энергопотреблении.
Дорога для крупных конвейеров искусственного интеллекта
«Наша революционная технология вывода ИИ не привязана к традиционным процессорам, графическим процессорам и сетевым картам», — сказал Моше Танах, генеральный директор NeuReality. «Мы не пытались просто улучшить и без того несовершенную систему. Вместо этого мы распаковали и переосмыслили идеальную систему вывода ИИ с нуля, чтобы обеспечить революционную производительность, экономию средств и энергоэффективность».
Ключом к решению NeuReality является сетевой адресный процессор (NAPU), новый архитектурный дизайн, использующий возможности DLA. NeuReality NR1, сетевой сервер вывода на кристалле, оснащен встроенным механизмом нейронной сети и NAPU.
Эта новая архитектура обеспечивает аппаратный вывод с помощью AI-over-Fabric, гипервизора AI и разгрузки конвейера AI.
У компании есть два продукта, которые используют ее сервер на кристалле: модуль вывода искусственного интеллекта NR1-M и устройство вывода искусственного интеллекта NR1-S. Первый представляет собой полноразмерную карту PCIe двойной ширины, которая включает в себя систему-на-кристалле NR1 NAPU и сервер вывода с сетевой адресацией, который может подключаться к внешнему DLA. Последний представляет собой сервер вывода, ориентированный на искусственный интеллект, который включает в себя модули NR1-M с NAPU NR1. NeuReality утверждает, что сервер «снижает затраты и энергоэффективность почти в 50 раз, но не требует ИТ-внедрения для конечных пользователей».
«Инвестиции во все больше и больше DLA, графических процессоров, LPU, TPU… не решат вашу основную проблему неэффективности системы», — сказал Танах. «Это все равно, что поставить в машину более быстрый двигатель, чтобы преодолевать пробки и тупики — он просто не доставит вас к месту назначения быстрее. NeuReality, с другой стороны, обеспечивает скоростную дорогу для крупных конвейеров искусственного интеллекта, плавно перенаправляя задачи на специально созданные устройства искусственного интеллекта и быстро доставляя ответы вашим клиентам, сохраняя при этом как ресурсы, так и капитал».
NeuReality недавно получила финансирование в размере 20 миллионов долларов от Фонда Европейского инновационного совета (EIC), Varana Capital, Cleveland Avenue, XT Hi-Tech и OurCrowd.
Больше от TechRadar Pro
