Microsoft объявила о выпуске новых виртуальных машин Azure (ВМ), специально предназначенных для расширения возможностей облачных суперкомпьютеров на базе искусственного интеллекта.
Новые виртуальные машины серии H200 v5 теперь общедоступны для клиентов Azure, что позволяет предприятиям справляться со все более обременительными требованиями к рабочим нагрузкам искусственного интеллекта.
По словам технологического гиганта, используя новую серию VM, пользователи могут расширить возможности обучения и вывода для базовых моделей.
Масштабирование, эффективность и производительность
В одном Сообщение в блогеПо данным Microsoft, новая серия виртуальных машин уже используется рядом клиентов и партнеров для расширения возможностей искусственного интеллекта.
«Масштабируемость, эффективность и улучшенная производительность наших виртуальных машин ND H200 v5 уже способствуют распространению среди клиентов и сервисов Microsoft AI, таких как машинное обучение Azure и служба Azure OpenAI», — заявили в компании.
По словам Тревора Кая, руководителя инфраструктуры OpenAI, OpenAI использует новую серию виртуальных машин для стимулирования исследований и разработок, а также оптимизации ChatGPT для пользователей.
«Мы рады представить новые виртуальные машины Azure H200», — сказал он. «Мы увидели, что H200 обеспечивает улучшенную производительность при минимальных усилиях по переносу. Мы с нетерпением ждем возможности использовать эти виртуальные машины для ускорения наших исследований, улучшения работы ChatGPT и продвижения нашей миссии».
Под капотом серии H200 v5
По словам компании, Azure H200 v5 VMS основана на системном подходе Microsoft к «повышению эффективности и производительности» и включает восемь графических процессоров Nvidia H200 Tensor Core.
Microsoft заявила, что закроет растущий «разрыв» в вычислительной мощности для корпоративных пользователей.
По словам технологического гиганта, поскольку вычислительные возможности графических процессоров растут быстрее, чем объем подключенной памяти и пропускная способность памяти, это создает узкие места в процессах вывода ИИ и обучения моделей.
«Виртуальные машины серии Azure ND H200 v5 обеспечивают увеличение объема памяти с высокой пропускной способностью (HBM) на 76 % до 141 ГБ и увеличение пропускной способности HBM на 43 % до 4,8 ТБ/с по сравнению с виртуальными машинами Azure ND H100 v5 предыдущего поколения», — заявили в Microsoft. его объявление.
«Такое увеличение пропускной способности HBM позволяет графическим процессорам быстрее получать доступ к параметрам модели, помогая снизить общую задержку приложений, которая является критическим показателем для приложений реального времени, таких как интерактивные агенты».
Кроме того, новая серия VM может также компенсировать более сложные модели большого языка (LLM) в памяти одной машины, заявили в компании. Это повышает производительность и позволяет пользователям избежать дорогостоящих накладных расходов при запуске распределенных приложений на нескольких виртуальных машинах.
По мнению Microsoft, лучшее управление памятью графического процессора с учетом веса модели и размера пакета также является ключевым отличием новой серии VM.
Текущие ограничения памяти графического процессора напрямую влияют на пропускную способность и задержку для рабочих нагрузок вывода на основе LLM, что приводит к дополнительным затратам для предприятий.
Используя большую емкость HBM, виртуальные машины H200 v5 способны поддерживать пакеты большего размера, что, по словам Microsoft, значительно улучшает использование графического процессора и пропускную способность по сравнению с предыдущими итерациями.
«В ходе раннего тестирования мы наблюдали увеличение пропускной способности до 35 % при использовании виртуальных машин ND H200 v5 по сравнению с серией ND H100 v5 для рабочих нагрузок вывода с использованием модели LLAMA 3.1 405B (с размером мира 8, входной длиной 128, выходной длиной 8 и максимальной). . Размеры партии – 32 для Н100 и 96 для Н200)», — сообщили в компании.
Больше от TechRadar Pro
