Поскольку технологические гиганты инвестируют миллиарды в строительство огромных центров обработки данных и даже электростанций для их поддержки, в сфере искусственного интеллекта появляется противодействующая сила, которая может сделать эти централизованные модели устаревшими. Распределенные вычисления – парадигма, в которой глобальные сети персональных и корпоративных устройств взаимодействуют для обеспечения работы искусственного интеллекта – уже имеет больший потенциал, чем когда-либо мог бы достичь любой корпоративный центр обработки данных. Этот децентрализованный подход является революционным изменением, предлагающим беспрецедентную власть, конфиденциальность и независимость.

Полное раскрытие: Основателем Martech Zone является мой отец Дуглас Карр, и он помог мне написать, отредактировать и проиллюстрировать эту статью.

Аргументы в пользу распределенных вычислений

Теоретическая вычислительная мощность глобальной распределенной сети намного превышает вычислительную мощность крупнейших корпоративных или национальных центров обработки данных. Рассмотрим следующее.

Экспоненциально большая вычислительная мощность

• В мире насчитывается примерно 2–3 миллиарда компьютеров, из них 100–200 миллионов высокопроизводительных игровых ПК и рабочих станций, способных решать задачи машинного обучения.
• Современный графический процессор, такой как NVIDIA RTX 3060, обеспечивает производительность FP32 около 10–15 терафлопс.

Если бы хотя бы 1% компьютеров участвовал в распределенной сети, теоретическая максимальная вычислительная мощность была бы превышена. 10 экзафлопс – на порядок больше, чем у крупнейших известных суперкомпьютеров или корпоративных кластеров.

Давайте посмотрим на это в перспективе. На этом рисунке солнце представляет количество поставленных графических процессоров. одна четверть по сравнению с колоссальным суперкомпьютером xAI.

В отличие от централизованных моделей искусственного интеллекта, которые ограничены физическими и финансовыми ограничениями, распределенные вычисления используют неиспользуемую мощность миллионов устройств по всему миру, создавая глобальный кластер, на создание которого не может рассчитывать ни одна организация.

Конфиденциальность и независимость

ИИ становится все более персонализированным, а централизованная модель создает значительные риски для конфиденциальности и интеллектуальной собственности (ИС). Организации и частные лица все больше беспокоятся о том, чтобы доверять конфиденциальные данные корпоративным гигантам, которые часто получают прибыль от информации пользователей. Распределенные вычисления устраняют эту зависимость, позволяя пользователям обучать и развертывать ИИ локально, сохраняя при этом полный контроль над своими данными и моделями. Эта автономия гарантирует, что несколько монополистических предприятий не будут подавлять инновации.

Решение проблем в распределенных вычислениях

Конечно, существуют проблемы с масштабированием распределенной сети ИИ по всему миру.

Преодоление латентности и координационных барьеров

Критики часто указывают на проблемы с задержкой и координацией как на препятствия для распределенных вычислений. Однако достижения в парадигмах децентрализованного обучения, таких как генетические алгоритмы (ГА), ставят эту проблему под сомнение. В отличие от традиционных алгоритмов машинного обучения (ML), которые полагаются на частую синхронизацию параметров, генетические алгоритмы независимо разрабатывают совокупности возможных решений. Каждый узел может внести свой вклад в коллективную модель без жесткой синхронизации, что значительно снижает влияние задержек.

Преодоление ограничений пропускной способности

Ограничения пропускной способности — еще одна часто упоминаемая проблема. Однако децентрализованные подходы, такие как генетические алгоритмы, требуют минимальной связи между узлами. Вместо передачи огромных градиентов или параметров узлы используют только самые перспективные решения, что резко снижает требования к пропускной способности и обеспечивает глобальное сотрудничество.

Надежность и аппаратная гетерогенность

Распределенные сети процветают благодаря разнообразию. В то время как централизованные системы полагаются на единую инфраструктуру, децентрализованные системы используют разнородные устройства. Узлы могут выполнять задачи, соответствующие их возможностям, с помощью высокопроизводительных устройств, которые выполняют сложные вычисления, и менее мощных устройств, поддерживающих более простые оценки. Более того, распределенные сети по своей сути отказоустойчивы; даже если некоторые узлы будут сняты с производства, система продолжает развиваться и совершенствоваться.

Человеческая аналогия

Думайте о создании искусственного интеллекта как о попытке создать максимально мощный мозг.

Распределенный ИИ подобен взаимосвязанному массиву. коллективный разум он гораздо более мощный и адаптируемый, чем мог бы быть мозг любого отдельного человека. По сути:

• Централизованные вычисления = создание одного гигантского мозга.
• Распределенные вычисления = использование глобальной мозговой сети.

У распределенных вычислений есть и другие преимущества.

• Улучшенная устойчивость: Если какая-либо часть сети выходит из строя, система продолжает работать, обеспечивая надежность и надежность.
• Повышенная безопасность: Распределяет безопасность по сети, снижая уязвимость к атакам и улучшая защиту данных.
• Большая автономность: Снижает зависимость от централизованных объектов, предоставляя пользователям больший контроль над своими данными и моделями искусственного интеллекта.
• Повышенная доступность: Демократизирует ИИ, обеспечивая более широкое участие отдельных лиц и организаций, способствуя инновациям и более инклюзивной экосистеме ИИ.
• Уменьшенное отклонение: Потенциально используются различные данные и алгоритмы, что снижает риск однородной предвзятости и способствует более справедливым результатам.
• Ресурсная эффективность: Используется существующее оборудование и энергетическая инфраструктура, что снижает воздействие на окружающую среду и способствует устойчивому развитию.
• Специализированные инвестиции: Различные устройства могут вносить свой вклад в зависимости от своих сильных сторон, обеспечивая эффективное распределение задач и оптимальную производительность.
• Непревзойденный масштаб: Миллионы устройств, работающих вместе, обеспечивают экспоненциально большую мощность, чем любое отдельное устройство, обеспечивая возможности искусственного интеллекта, недоступные централизованным системам.

Точно так же, как улей может достичь гораздо большего, чем одна пчела, распределенные вычисления раскрывают истинный потенциал искусственного интеллекта, используя коллективную силу масс.

Почему распределенный ИИ будет доминировать

• Непревзойденная вычислительная мощность: Вычислительная мощность глобальной распределенной сети уже на порядки превышает возможности любого централизованного центра обработки данных. Этот огромный, неиспользованный резервуар вычислительных ресурсов не является теоретическим; он существует сегодня и ждет, чтобы его использовали децентрализованные модели ИИ.
• Демократизация ИИ: Распределенные вычисления отдают искусственный интеллект в руки каждому, от малого бизнеса до отдельных исследователей. В отличие от централизованных моделей, которые концентрируют власть в руках нескольких корпораций, распределенный ИИ обеспечивает широкое участие и инновации, способствуя созданию по-настоящему демократической экосистемы ИИ.
• Повышенная энергоэффективность: Огромные центры обработки данных — это энергоемкий скот, требующий специальных электростанций и вносящий значительный вклад в деградацию окружающей среды. Напротив, распределенные сети используют существующее оборудование и энергетическую инфраструктуру, что значительно снижает выбросы углекислого газа от искусственного интеллекта.
• Независимость и безопасность: Благодаря распределенному ИИ предприятия и частные лица получают независимость от централизованных структур. Эта модель устраняет риски, связанные с использованием сторонних поставщиков услуг, гарантируя, что пользователи сохранят контроль над своими собственными данными и инновациями.

Дорога впереди

Представление о том, что централизованный ИИ будет продолжать доминировать, устарело и в корне ошибочно. Распределенные вычисления уже могут превзойти централизованные модели с точки зрения вычислительной мощности и практических преимуществ. Будущее искусственного интеллекта связано с децентрализацией, когда объединенная мощь миллиардов устройств переопределяет возможности.

По мере роста озабоченности конфиденциальностью и ростом важности интеллектуальной собственности зависимость от централизованного ИИ будет уменьшаться. Распределенный ИИ — это новая эра расширения возможностей, когда отдельные лица и организации больше не зависят от технологических гигантов. Это не отдаленная перспектива, а достижимая реальность, основанная на неиспользованном потенциале глобальной вычислительной сети. Компьютерные гиганты, возможно, строят все более крупные центры обработки данных, но будущее ИИ будут определять многие, а не немногие.