- SOLIGM 122.888TB SSD предоставил память для теста с NVIDIA NANO SUPER
- Система использовалась для запуска DeepSeek, и, хотя она работала, это не было быстро
- Скорость Gen 4 PCIe SSD была ограничена соединением гена 3 Nano Super 3
В конце 2024 г. Solidigm добавил свою линейку продуктов A 122,88TB -QLC -SD -SD. D5-P5336 будет доступен в U.2 15 мм, чтобы начать позже в E1.L в 2025 году, что означает, что он не вписывается в типичный потребительский ПК. Ожидается, что цена в любом случае превысит 10 000 долларов США, поэтому вам понадобятся глубокие сумки, если вы хотите купить их.
Если вы спросите себя, как работает такая огромная способность SSD, у нас есть ответ — каким -то образом — но это не в форме традиционной оценки.
Storerview Протестировал компактную доску Jetson Orin Nano Super -NVIDIA, чтобы увидеть, как она выполнялась в задачах разработки ИИ, особенно при выводе LLM. Nano Super поставляется с 6-ядерным процессором ARM, 1024-клеточным графическим процессором Ampere и 8 ГБ LPDDR5 памяти. С 249 долларов США это доступный выбор для разработчиков ИИ, но его ограниченный VRAM является проблемой для выполнения LLMS.
Не плавать плавно
«Мы признали, что ограничения на борту хранения бросают вызов выполнению моделей с миллиардами параметров. Поэтому мы внедрили инновационный подход, чтобы избежать этих ограничений », — сказал веб -сайт. «Обычно графическая память 8 ГБ в Nano Super Company ограничивает свою способность к небольшим моделям, но мы хотели модели в 45 раз больше, чем традиционно».
Это включало обновление Nano Super Memory с новым диском U.2 от Solidigm, который имеет интерфейс PCIE 4 Gen 4 и обещает последовательные скорости чтения/записи до 7,1 Гбит/с (чтение) и 3,3 ГБ/с (записи), а также случайный выход до 1 269 000 IOPS.
Nano Super имеет два залива NVME M.2, оба из которых предлагают соединение PCIe Gene3. Команда подключила SSD с 80 -мм -слотом, который поддерживал четыре полосы PCIe с кабелем прорыва, чтобы поддерживать большую часть полосы пропускания, и использовала источник питания ATX для доставки 12 В и 3,3 В для SSD.
В то время как полный потенциал диска был ограничен интерфейсом Jetson, он по -прежнему управлял до 2,5 Гбит/с. С Airllm модельные слои довольно динамичные, чем все одновременно, сайт, DeepSeek R1 70b Distililled, 45 -градусная модель искусственного интеллекта, которая традиционно подходит для такого устройства.
Скорость обработки оказалась большим узким местом для эксперимента. Выполнение более мелких моделей работало хорошо, но генерация одного токена из модели 70B заняла 4,5 минуты. Тест не показал практический для задач AI в реальном времени и показал, как массовые решения для хранения, такие как D5-P5336, могут позволить более крупным моделям в ограниченных средах.
Вы можете увидеть, как был достигнут тест и какие проблемы возникли и преодолели в этом видео на YouTube.
Вы также могли бы понравиться
