- Элон Маск планирует AI Compute 50 миллионов графических процессоров H100 всего за пять лет
- Цель обучения XAI соответствует 50 экзафлопам, но это не означает 50 миллионов литеральных графических процессоров
- Достижение 50 Exaflops с H100 потребует энергии 35 атомных электростанций
Элон Маск поделился новой храброй вехой для XAI, который должен использовать эквивалент 50 миллионов графических процессоров H100 к 2030 году.
В качестве меры обучения искусственным технологиям претензия относится к расчету пропускной способности, а не к количеству буквальных единиц.
Несмотря на продолжающийся прогресс в аппаратном обеспечении ускорителя искусственного интеллекта, эта цель подразумевает исключительные обязательства по инфраструктуре, особенно с точки зрения власти и капитала.
Массивный прыжок в шкале расчетов с меньшим графическим процессором, чем звучит
В вкладе в X сказал Маск: «Цель XAI составляет 50 миллионов в единицах расчета эквивалента H100 -KI (но гораздо лучшая эффективность электроэнергии) онлайн в течение 5 лет».
Каждый NVIDIA H100 AI -GPU может обеспечить около 1000 TFLOPS в FP16 или BF16, общие форматы для обучения ИИ -и достижение 50 экзафлопов с этой базовой линией теоретически потребуют 50 миллионов H100.
Хотя новые архитектуры, такие как Блэквелл и Рубин, значительно улучшают производительность на чип.
Согласно прогнозам, только около 650 000 графических процессоров с будущей архитектурой Feynman Ultra должны достичь этой цели.
Компания уже начала агрессивно, и ее нынешний кластер Colossus 1 оснащен 200 000 графических процессоров H100 и H200 и 30 000 чипсов GB200, базирующимися в Блэквелле.
Новый кластер, Colossus 2, скоро появится в Интернете с более чем 1 миллионами единиц графического процессора и объединит 550 000 GB200 и 300 ГБ.
Это один из самых быстрых пользователей самых современных авторов ИИ и технологий обучения моделей.
Компания, вероятно, выбрала H100 по сравнению с более новым H200, поскольку первое все еще широко распространено в сообществе KI, широко распространено и используется в важных развертываниях.
Последовательная пропускная способность FP16 и BF16 делает его четким подразделением для долгосрочного планирования.
Но, возможно, самая срочная проблема — это энергия. Кластер с 50 exaflops -ai, который управляется графическими процессорами H100, потребуется 35 ГВт, достаточно для 35 атомных электростанций.
Даже с наиболее эффективными прогнозируемыми графическими процессорами, такими как Feynman Ultra, 50 -й кластер Exaflops может потребоваться до 4,685 ГВт электроэнергии.
Это более чем утроится благодаря потреблению электроэнергии XAIS Colossus 2.
Кроме того, затраты также будут проблемой. Исходя из текущих цен, один NVIDIA H100 стоит более 25 000 долларов США.
Вместо этого использование 650 000 графических процессоров в следующем геном все еще может заработать на аппаратном обеспечении за десять миллиардов долларов без подсчета инфраструктуры межсоединения, охлаждения, мебели и энергетической инфраструктуры.
В конечном счете, план Маск технически правдоподобен для XAI, но в финансовом и материально -подвиге.
Над Tomshardware
Вы также могли бы понравиться
