Компания Groq, возглавляемая бывшим инженером и генеральным директором Google Джонатаном Россом, утверждает, что разработала первый в мире блок обработки речи (LPU), который, по ее утверждению, может обеспечить самую высокую скорость для приложений искусственного интеллекта.
Это смелое заявление, но оно более чем подтверждено последними демонстрациями, предполагающими, что оно вполне может стать абсолютным переломным моментом для ИИ.
Росс, который ранее разработал тензорный процессор Google (TPU), запустил Groq в 2016 году для разработки чипа, который сможет выполнять задачи глубокого обучения более эффективно, чем существующие процессоры и графические процессоры.
Молниеносно
Tensor Stream Processor (TSP) компании можно сравнить со сборочной линией, которая обрабатывает задачи обработки данных последовательным и организованным образом. Напротив, графический процессор похож на статическую рабочую станцию, куда сотрудники приходят и уходят для выполнения этапов обработки. Эффективность TSP стала очевидной с появлением генеративного искусственного интеллекта, что побудило Росс переименовать TSP в блок языковой обработки (LPU), чтобы повысить его узнаваемость.
В отличие от графических процессоров, в LPU используется оптимизированный подход, который устраняет необходимость в сложном оборудовании планирования и обеспечивает постоянную задержку и пропускную способность. LPU также энергоэффективны, сокращая накладные расходы на управление несколькими потоками и предотвращая недоиспользование ядра. Масштабируемая конструкция чипа Groq позволяет объединять несколько TSP без традиционных узких мест, что упрощает требования к оборудованию для крупномасштабных моделей искусственного интеллекта.
Первой публичной демонстрацией Грока была молниеносная система ответов на базе искусственного интеллекта, которая генерировала ответы, содержащие сотни слов, менее чем за секунду. Мэтт Шумер опубликовал тест на X и говорит, что более трех четвертей времени было потрачено на поиск, а не на генерацию.
Первая публичная демо-версия Groq: молниеносной системы реагирования искусственного интеллекта. Она пишет основанные на фактах и цитируемые ответы, состоящие из сотен слов, менее чем за секунду. Более трёх четвертей времени тратится на поиск, а не на генерацию! LLM работает доли секунды. pic.twitter.com/QaDXixgSzp19 февраля 2024 г.
Хотя это впечатляет, наблюдать за тем, как Groq соревнуется с Chat-GPT, — это совсем другое.
Если вы хотите попробовать Groq самостоятельно, чтобы понять, насколько быстрым он может быть для ИИ, загляните в этот чат. Страница. Используйте раскрывающееся меню слева для переключения между различными доступными моделями.
Больше от TechRadar Pro
