AMD Instinct MI300X — невероятно мощный ускоритель искусственного интеллекта, и крупные облачные компании начинают интегрировать его в свою инфраструктуру для поддержки интенсивных рабочих нагрузок искусственного интеллекта.
Vultr недавно объявил, что заказал «тысячи» единиц MI300X, а теперь Oracle Cloud Infrastructure (OCI) заявляет, что приняла оборудование AMD для своего нового экземпляра OCI Compute Supercluster BM.GPU.MI300X.8.
Новый суперкластер предназначен для массивных моделей искусственного интеллекта с миллиардами параметров и поддерживает до 16 384 графических процессоров в одном кластере. В этой установке используется та же высокоскоростная технология, что и в других ускорителях OCI, что позволяет проводить крупномасштабное обучение искусственного интеллекта и делать выводы с емкостью хранилища и пропускной способностью, необходимыми для самых требовательных задач. Такая конфигурация делает его особенно подходящим для программ LLM и сложных операций глубокого обучения.
Тестирование перед производством
«Открытое программное обеспечение AMD Instinct MI300X и ROCm продолжает набирать популярность как надежные решения для поддержки наиболее важных рабочих нагрузок искусственного интеллекта OCI», — сказал Эндрю Дикманн, корпоративный вице-президент и генеральный менеджер подразделения графических процессоров для центров обработки данных AMD. «Поскольку эти решения продолжают распространяться на растущие рынки с интенсивным использованием искусственного интеллекта, их сочетание принесет пользу клиентам OCI за счет высокой производительности, эффективности и большей гибкости проектирования систем».
Oracle заявляет, что тестирование MI300X в рамках предсерийной подготовки подтвердило производительность графического процессора в реальных сценариях. Для модели Llama 2 70B MI300X достиг задержки «время до первого токена» 65 миллисекунд и эффективно масштабировался для генерации 3643 токенов по 256 одновременным запросам пользователей. В другом тесте с 2048 входными и 128 выходными токенами сквозная задержка составила 1,6 секунды, что в значительной степени соответствует собственным тестам AMD.
Экземпляр OCI BM.GPU.MI300X.8 оснащен 8 ускорителями AMD Instinct MI300X и обеспечивает 1,5 ТБ графической памяти HBM3 с пропускной способностью 5,3 ТБ/с в сочетании с 2 ТБ системной памяти и 8 накопителями NVMe емкостью 3,84 ТБ. Oracle предлагает решение «голого железа» по цене 6 долларов США за графический процессор в час.
«Возможности вывода ускорителей AMD Instinct MI300X дополняют обширную линейку высокопроизводительных экземпляров OCI и устраняют накладные расходы на виртуализированные вычислительные мощности, обычно используемые для инфраструктур искусственного интеллекта», — сказал Дональд Лу, старший вице-президент по разработке программного обеспечения в Oracle Cloud. Инфраструктура. «Мы рады предложить больший выбор по конкурентоспособной цене клиентам, желающим ускорить рабочие нагрузки ИИ».