- HBF предлагает в десять раз большую емкость HBM, оставаясь при этом медленнее, чем DRAM.
- Графические процессоры получают доступ к большим наборам данных через многоуровневую память HBM HBF.
- Запись в HBF ограничена, поэтому программное обеспечение должно сосредоточиться на чтении.
Взрывной рост рабочих нагрузок ИИ оказал беспрецедентное давление на системы хранения и заставил компании переосмыслить способы доставки данных в ускорители.
Память с высокой пропускной способностью (HBM) служит быстрым кэшем для графических процессоров и позволяет инструментам искусственного интеллекта эффективно считывать и обрабатывать данные «ключ-значение» (KV).
Однако HBM дорог, быстр и имеет ограниченную емкость, в то время как флэш-память с высокой пропускной способностью (HBF) обеспечивает гораздо больший объем при более медленных скоростях.
Как HBF дополняет HBM
Конструкция HBF позволяет это Графические процессоры могут получать доступ к большему набору данных, ограничивая при этом количество операций записи (около 100 000 на модуль), что требует программного обеспечения для определения приоритета чтения над записью.
HBF интегрируется с ускорителями искусственного интеллекта, связанными с HBM, и образует многоуровневую архитектуру хранения данных.
Профессор Ким Чжон Хо из KAIST сравнивает HBM с книжной полкой дома для быстрого обучения, в то время как HBF функционирует как библиотека с гораздо большим количеством контента, но более медленным доступом.
«Чтобы графический процессор мог сделать вывод об искусственном интеллекте, ему необходимо прочитать переменные данные, называемые кэшем KV, из HBM. Затем он интерпретирует их и выдает слово в слово, и я думаю, что для этой задачи он будет использовать HBF», — сказал профессор Ким.
«HBM быстрый, HBF медленный, но его емкость примерно в 10 раз больше. Однако, хотя у HBF нет ограничений на количество операций чтения, количество операций записи ограничено примерно 100 000. Поэтому, когда OpenAI или Google пишут программы, они должны структурировать свое программное обеспечение так, чтобы сосредоточиться на чтении».
Ожидается, что HBF дебютирует с HBM6, который объединит несколько стеков HBM в сеть, увеличивая как пропускную способность, так и емкость.
Концепция предусматривает будущие версии, такие как HBM7, выступающие в роли «фабрики хранения», где данные могут обрабатываться непосредственно HBF, без необходимости проходить через традиционные сети хранения.
HBF укладывает несколько микросхем 3D NAND вертикально, аналогично тому, как HBM укладывает DRAM, и соединяет их сквозными кремниевыми переходами (TSV).
Одно устройство HBF может достигать емкости 512 ГБ и пропускной способности до 1638 Тбит/с, что значительно превышает скорость стандартного твердотельного накопителя NVMe PCIe 4.0.
SK Hynix и Sandisk продемонстрировали диаграммы, показывающие верхние уровни NAND, подключенные к базовой логической микросхеме через TSV, образующие функциональный стек.
Прототипы чипов HBF требуют тщательного изготовления, чтобы избежать деформации нижних слоев, а дополнительные стеки NAND еще больше усложнят межсоединения TSV.
Samsung Electronics и Sandisk планируют подключить HBF к продуктам Nvidia, AMD и Google AI в течение следующих 24 месяцев.
SK Hynix выпустит прототип позднее в этом месяце, а компании также работают над стандартизацией в рамках консорциума.
Ожидается, что внедрение HBF ускорится в эпоху HBM6, и компания Kioxia уже разработала прототип модуля HBF емкостью 5 ТБ с PCIe Gen 6 x8 со скоростью 64 Гбит/с. Профессор Ким прогнозирует, что рынок HBF может обогнать HBM к 2038 году.
Над Sisjournal (оригинал на корейском языке)
Следите за TechRadar в Новостях Google. И Добавьте нас в качестве предпочтительного источника чтобы получать новости, обзоры и мнения наших экспертов в своих лентах. Обязательно нажмите кнопку «Подписаться»!
И ты, конечно, тоже можешь Следите за TechRadar в TikTok за новостями, обзорами, распаковками в видео-форме и получайте от нас регулярные обновления WhatsApp к.

