Существует расчет, который каждый менеджер ИИ должен знать наизусть, но большинство из них никогда не делали этого: локальный сервер графических процессоров стоит около шести до девяти месяцев, что эквивалентная мощность облака.
Ввиду того факта, что оборудование обычно работает в течение трех -пяти лет, математика сильна, но каким -то образом это обычно не известно в конференц -залах, которые принимают решения для миллионов фунтов стерлингов.
Проблема возникает в результате фундаментального нераствования между мнением затрат ИИ и фактически накопленным ИИ. Хирургические расходы через модель Capital Edition кажутся интуитивно понятными, если вы платите, если необходимо, масштабируйте и избегаете больших предпосылок.
Тем не менее, рабочие нагрузки KI нарушают эти предположения таким образом, что традиционная облачная экономика вводит в заблуждение.
Директор SaaS и инфраструктуры в Speakmatics.
Содержание
Что облако вам не говорит
Например, арендуйте один Экземпляр GPU NVIDIA H100 от поставщика гиперсклара -Cloud может стоить около 8 долларов в час или более 5500 долларов в месяц. Это более 65 000 долларов США за более чем 12 месяцев.
Напротив, покупка эквивалентного оборудования может стоить полных кругах за 30 000 до 35 000 долларов США с от трех до пяти лет жизни. Добавьте электричество, охлаждение и техническое обслуживание, и вы все еще делаете прогресс только после 6-9 месяцев использования. У вас также есть аппаратное обеспечение, чтобы вам не приходилось возвращать его через 12 месяцев.
Тем не менее, иерархия цен более сложна, чем кажется. В то время как поставщики NeoCloud, такие как FluidStack H100, предлагают 2 доллара в час по этой цене, гиперсколлеры рассчитывают ближе к 8 долларам/час.
Реальное сравнение будет труднее игнорировать, если вы учитываете фактические положения: системы 8xh100 от Dell или Supermicro стоили около 250 000 долларов США по сравнению с 825 000 долл. США за три года, эквивалентные гипермасштабные мощности (даже с зарезервированной ценой). Собственные системы DGX от NVIDIA имеют разбивку на 50-100% по сравнению с этими уже значительными ценами.
Отсутствие чисел в большинстве бюджетных разговоров KI представляет собой реальную экономию, а не теоретические. Проблема подключается при изучении конкретных приложений.
Рассмотрим тренировочные пробеги. Большинство облачных провайдеров гарантируют доступ к крупным кластерам GPU, только если они оставляют за собой возможности на один год или более. Если вашему обучению нужно всего две недели, вы все равно платите за остальные 50.
В то же время требования вывода генерируют свою собственную математическую головоломку. Цена на основе токков для крупных языковых моделей означает, что затраты колеблются, потому что сами модели не являются предсказуемыми, так что прогноз бюджета больше напоминает прогноз погоды, чем на финансовое планирование.
Эластичность, но с мелким шрифтом
Обещание облака обещать эластическую шкалу кажется специально созданным для ИИ. Что теоретически эластично требуется на практике и в наличии заранее, чтобы сделать расходы приемлемыми.
И как только ваше использование растет, скидки связаны с несколькими годами обязательств, которые отражают модели Capex, которые должны заменить облако.
Это не тот случай, когда облако не масштабируемо. Это тот случай, когда версия команд искусственного интеллекта (недорогая, высокая пропускная способность, пропускная деятельность, компьютер) не всегда предлагается.
Ирония идет глубже, чем ценообразование. Гибкость рынка облачных поставщиков как основная стоимость обещания, но рабочие нагрузки KI, которые являются наиболее арифметически требовательными приложениями нашего времени, часто требуют наименьших гибких соглашений.
Долгосрочные оговорки, планирование пропускной способности и предсказуемые основные нагрузки выглядят подозрительно относительно того, как традиционные циклы закупок должны устранить облачные вычисления. Революция становится круговой.
Скрытые затраты, видимое трение
Скрытая сложность возникает в деталях. Команды, которые готовятся к пикам использования, часто оставляют за собой больше возможностей, чем они используют, и платят на холостое время «только на всякий случай».
Эти возможности составлены со временем. Когда команды между поставщиками облачных провайдеров изменяются в изменениях цен, проблемы с производительностью или потребности в соответствии, они часто находятся в неделях описания, повторной оптимизации и повторной обработки.
Не только ИТ -инфраструктура меняется, но и весь код, который управляет им, внутренние знания специалиста в этом поставщике исчезают, и трубопровод должен быть переписан. Для Lean Teams это может привести к задержке такту продукта или пропущенные рыночные окна, которые редко включаются в законопроект об направлении GPU.
Возможно, наиболее удивительным является то, что оперативное бремя управления инфраструктурой, которая систематически переоценена на месте в инфраструктуре. Если вы не работаете в экстремальном масштабе, сложность благодаря внутренним знаниям специалиста или управляемым поставщикам услуг полностью управляемо.
Разница в том, что эта сложность видна и спланирована и не скрыта в ежемесячных счетах, которые непредсказуемо колеблются.
От бюджета до стратегии
Интеллектуальные компании все чаще используют гибридные подходы, которые играют для сильных сторон любой модели инфраструктуры. Вы используете аппаратное обеспечение для предсказуемых базовых нагрузок, таких как стационарный вывод, который формирует основу вашего сервиса.
Облачные ресурсы имеют дело с шипами: дневные вариации, корабли клиентов или экспериментальные рабочие нагрузки, в которых спотовые цены могут облегчить KLAF.
Компании, которые следуют этому подходу, затянулись с антиколеном мышлением за пределами финансовой инженерии вшей.
Облако остается бесценным для быстрых экспериментов, географического масштабирования и действительно непредсказуемого загрязнения работы. Однако, если вы рассматриваете его как стандартный выбор для всех инфраструктур искусственного интеллекта, математическая реальность игнорирует, как эти системы на самом деле используются.
Компании, которые делают этот расчет правильно, делают больше, чем просто деньги. Они строят более устойчивые, предсказуемые основы для долгосрочных инноваций.
Эти разговоры не только технические, они стратегические. Финедские финансовые директора могут предпочесть Cloud для своей чистой линии Opex, в то время как инженеры преследуют боль команд Finop, которую они отчаянно преследуют, чтобы удалить ресурсы в качестве советов ежемесячно и плохая поддержка.
Это разделение может привести к решениям инфраструктуры Учетные соглашения как реальная производительность или пользовательский опыт. Организации, которые делают правильные вещи, -это те, где финансы и инженерия находятся за одной таблицей, а не только проверяют затраты, но и пропускную способность, надежность и долгосрочная гибкость. В ИИ ориентация финансовых и технических истин является реальной разблокировкой.
Понимание этой скрытой математики не только помогает вам лучше бюджет бюджет. Это гарантирует, что вы создаете инфраструктуру, которая работает как AI, на самом деле работает, и освободить свободное пространство, чтобы сосредоточиться на том, что является наиболее важным: лучше, быстрее и более устойчивые продукты ИИ.
Мы перечисляем лучший инструмент управления ИТ —Полем
Эта статья была произведена в рамках канала Expert Insights Techradarpro, в котором мы сегодня предлагаем лучшие и умные руководители в технологической индустрии. Взгляды, выраженные здесь, относятся к авторскому и не обязательно мнениям Techradarpro или Future PLC. Если вы заинтересованы в том, чтобы определить больше здесь:
