- 671 миллиард параметров из Deepseek R1 бегает плавно в равномерной памяти M3 Ultra
- Apple Mac Studio доказывает, что рабочие нагрузки искусственного интеллекта не требуют дорогих, перекрестных кластеров GPU
- M3 Ultra потребляет менее 200 Вт, гораздо меньше, чем обычные настройки AI с несколькими GPU
Apple Mac Studio с M3 Ultra Chip показала навык, который ни один другой персональный компьютер не может соответствовать, и инструмент DeepSeek R1 AI с 671 миллиардами параметров, полностью выполненных в памяти.
Тест у рецензента YouTube Dave2d Несмотря на использование 4-битной версии модели, она сохранила полное количество параметров и проводилась плавно.
Модель DeepSeek R1, мощная память о 404 ГБ памяти и памяти с высокой полосой, которая обычно можно найти в GPU-VRAM, обычно разработана на установках с несколькими GPU, которые распространяют обработку по нескольким высококачественным видеокартам.
Уникальное исполнение: DeepSeek R1 в памяти
Тем не менее, единая система памяти M3 Ultra использует свою унифицированную память 512 ГБ вместо того, чтобы полагаться на внешние графические процессоры для сохранения и обработки модели ИИ так, как ни один другой персональный компьютер не может.
Хотя MacOS накладывает стандартный предел VRAM, Дейв Ли увеличил его через терминал, чтобы назначить до 448 ГБ для обработки искусственного интеллекта, что устраняет узкие места памяти и необходимость для нескольких компонентов для рационализации производительности искусственного интеллекта в одной системе.
Одним из наиболее поразительных аспектов этого теста была эффективность электричества M3 Ultra, поскольку он использовал менее 200 Вт во время выполнения DeepSeek R1.
Возможность поддерживать такую требовательную модель ИИ без настройки с несколькими GPU подчеркивает отраслевой стандарт, который основан на высококачественных графических картах Nvidia и AMD, поскольку лучшие рабочие станции и серверные фермы обычно используют кластер графических процессоров, которые потребляют большое количество электроэнергии.
Унифицированная архитектура памяти Apple обеспечивает значительную экономию производительности, участвуя в пуле M3 Ultra Memory через рабочие нагрузки CPU и GPU, в отличие от обычных настройки ПК, в которых VRAM отделен от системной памяти и в то же время минимизирует потребление энергии.
Apple Mac Studio, которая была запущена с M3 Ultra Chip, имеет 32-мрский процессор Core и 80-ядерный графический процессор. Это одна из лучших рабочих станций LLM и одна из лучших компьютеров для редактирования видео.
Над WCCFTECH
Вы также можете понравиться
