Инженер Google предупредил, что агенты искусственного интеллекта и автоматизированные боты скоро затопит Интернет трафиком.
Гари Иллиес, который работает в команде поисковых отношений Google, сказал: «Все и моя бабушка запускают гусеница» во время недавнего подкаста.
Предупреждение происходит из последнего поиска Google с подкаста записи эпизодПолем
Содержание
Агенты ИИ будут напрягать сайты
Во время своего разговора с членом команды по поисковым отношениям Мартином Сплиттом Иллиес предупредил, что агенты ИИ и «махинации ИИ» станут значительными источниками нового веб -трафика.
Иллис сказал:
«Интернет становится перегруженным… это не то, что Интернет не может справиться … Интернет предназначен для того, чтобы иметь возможность обрабатывать весь этот трафик, даже если он автоматически».
Этот всплеск возникает, когда предприятия развертывают инструменты искусственного интеллекта для создания контента, исследования конкурентов, анализ рынка и сбора данных. Каждый инструмент требует ползания веб -сайтов для функционирования, и с быстрым ростом принятия искусственного интеллекта этот трафик, как ожидается, увеличится.
Как работает система гусеницы Google
Подкаст содержит подробное обсуждение настройки ползания Google. Вместо того, чтобы использовать разные сканеры для каждого продукта, Google разработал одну единую систему.
Поиск Google, Adsense, Gmail и другие продукты используют ту же инфраструктуру Crawler. Каждый из них идентифицирует себя с различным именем пользователя, но все придерживаются одних и тех же протоколов для robots.txt и Health Server.
Иллиес объяснил:
«Вы можете получить с ним из Интернета, но вы должны указать свою собственную строку агента пользователя».
Этот унифицированный подход гарантирует, что все сканеры Google придерживаются одних и тех же протоколов и сокращаются, когда веб -сайты сталкиваются с трудностями.
Настоящий ресурс -свинья? Это не ползание
Иллиес бросил вызов обычной SEO -мудрости с потенциально спорным утверждением: ползание не потребляет значительные ресурсы.
Иллиес заявил:
«Это не ползание, которое съедает ресурсы, это индексация и потенциально обслуживание или то, что вы делаете с данными».
Он даже пошутил, что он «будет кричать в Интернете» за то, что сказал это.
Эта перспектива предполагает, что извлечение страниц использует минимальные ресурсы по сравнению с обработкой и хранением данных. Для тех, кто обеспокоен бюджетом, это может изменить приоритеты оптимизации.
От тысяч до триллионов: рост сети
Гуглеры предоставили исторический контекст. В 1994 году поисковая система World Wide Web Webing индексировала только 110 000 страниц, тогда как WebCrawler удалось индексировать 2 миллиона. Сегодня отдельные сайты могут превышать миллионы страниц.
Этот быстрый рост потребовал технологической эволюции. Crawlers прогрессировали от базовых протоколов HTTP 1.1 до современного HTTP/2 для более быстрых соединений, причем HTTP/3 поддерживает на горизонте.
Битва с эффективностью Google
В прошлом году Google провел, пытаясь уменьшить свой ползающий след, признавая бремя у владельцев сайта. Тем не менее, новые проблемы продолжают возникать.
Иллиес объяснил дилемму:
«Вы сохранили семь байтов из каждого запроса, который вы делаете, а затем этот новый продукт добавит восемь».
Каждый прирост эффективности компенсируется новыми продуктами искусственного интеллекта, требующим большего количества данных. Это цикл, который не показывает признаков остановки.
Что должны делать владельцы веб -сайтов
Предстоящий трафик требует действия в нескольких областях:
- Инфраструктура: Текущий хостинг может не поддерживать ожидаемую нагрузку. Оцените емкость сервера, варианты CDN и время отклика до появления притока.
- Контроль доступа: Обзор Robots.txt Правила для управления. К тому, к чему Clawlers могут получить доступ к вашему сайту. Блокировать ненужные боты, позволяя законным функционировать должным образом.
- Производительность базы данных: Illyes специально указал на «дорогие вызовы базы данных» как проблемные. Оптимизируйте запросы и реализуйте кэширование для облегчения напряжения сервера.
- Мониторинг: Различите между законными сканерами, агентами ИИ и вредоносными ботами посредством тщательного анализа журналов и отслеживания производительности.
Путь вперед
Иллиес указал на общего ползания как на потенциальную модель, которая ползает один раз и делится данными публично, уменьшая избыточный трафик. Подобные совместные решения могут возникнуть в качестве адаптации веб -сайтов.
В то время как Иллис выразил уверенность в способности Интернета управлять увеличенным трафиком, сообщение ясно: агенты ИИ прибывают в огромных количествах.
Веб -сайты, которые укрепляют их инфраструктуру, теперь будут лучше подготовлены для выдержки шторма. Те, кто ждет, могут оказаться ошеломленными, когда все возможное.
Послушайте полный эпизод подкаста ниже:
https://www.youtube.com/watch?v=IggUggonz1e
Показанное изображение: коллагера/shutterstock
