- Fractile поддерживается НАТО в Великобритании и хочет строить быстрее и дешевле в расчете AI в памяти
- Подход GPU BruteForce от NVIDIA потребляет слишком много электричества и удерживается по памяти
- Количество фрактиля, сфокусированного на кластере сравнения графического процессора H100, а не на основном H200
NVIDIA удобно в верхней части аппаратной пищевой цепи Ki и доминирует на рынке с помощью своего высокопроизводительного GPU и программного стека CUDA, которые быстро становятся стандартными инструментами для обучения и управлением крупными моделями искусственного интеллекта, но это доминирование имеет цену, но, да, была растущей целью на спине.
Гиперсколлеры, такие как Amazon, Google, Microsoft и Meta Pour Resources в разработку собственного кремния, чтобы снизить зависимость от чипов NVIDIA и снизить затраты. В то же время волна аппаратных стартапов AI пытается использовать растущий спрос на специализированных ускорителей, надеясь предложить более эффективные или доступные альтернативы и в конечном итоге вытеснить NVIDIA.
Возможно, вы не слышали о Великобритании в Великобритании в Великобритании Фрактиль Но стартап, который утверждает, что его подход революционного расчета может принять крупнейшие в мире языковые модели в 100 раз быстрее, а затраты, существующие с 1/10, имеют несколько замечательных сторонников, включая НАТО и бывший генеральный директор Intel, Pat Gelsinger.
Удалите все узкое место
«Мы строим аппаратное обеспечение, которое удаляет каждое узкое место в максимально быстрый вывод самых больших трансформаторных сетей», — говорит Фрактиль.
«Это означает, что крупнейшие в мире LLM могут читать быстрее, чем вы можете прочитать, и вселенная с совершенно новыми навыками и возможностями того, как мы работаем, которые активируются почти мгновенным выводом моделей с сверхчеловеческим интеллектом».
Стоит указать, что до того, как вы будете слишком взволнованы, что численность производительности фрактиля при сравнении с кластерами из графических процессоров NVIDIA H100 с использованием 8-битного квантования и Tensorrt-LLM, которые выполняли LAMA 2 70B, не основаны на более новых фишках H200.
В публикации в LinkedIn, написал Гелсингер, который недавно пришел во всем мире в качестве генерального партнера игровой площадки компании венчурного капитала. «Вывод моделей Frontier ACI сделан с помощью аппаратных узких мест. Даже до масштабирования тестирования, затрат и задержки были с большими проблемами для крупных вставков LLM.
«Я рад поделиться тем, что я недавно инвестировал в Fractile, компанию по аппаратному обеспечению Fractile, основанную в Великобритании, которая преследует способ, достаточно радикальный, чтобы предложить такой прыжок», — сказал он.
«Ваш подход к ускорению вывода в расчете памяти, вместе с двумя узкими местами, посвящен масштабированию вывода и преодолевает как память, которая удерживает сегодняшние графические процессоры, и вызывает потребление электроэнергии из сегодняшних графических процессоров, так и наибольшее физическое ограничение единственного физического ограничения в следующем десятилетии в масштабировании масштабирования способности.
Вы также могли бы понравиться
