Сеть более ползает, чем когда -либо, но это уже не просто поисковые системы, которые ползут. Роботы ИИ поглощают все возможные данные, чтобы обучать и кормить своих помощников ИИ.

Проблема в том, что роботы ИИ являются новыми в веб -потоке. Они всегда принимают глупые решения, ударяют и тратят много ресурсов. Мы уже видели, что роботы ИИ начинают заблокироваться гораздо большим количеством самых жертв доения веб -сайтов.

Я не сомневаюсь, что роботы ИИ поймут вещи, но это, вероятно, будет болезненным процессом. Я не думаю, что один из них еще начал создавать контент.

В прошлом было много пламени в прошлом из -за их агрессивной рампы. Они исправили это, начали IndexenwИ теперь они могут быть самым эффективным веб -роботом.

Глядя на данные Cloudflare RadarКто отражает огромный кусок интернет -трафика, мы видим, как роботы ИИ сравниваются с поисковыми ботинками и SEO -роботами. Cloudflare Girses ~ 20% всего интернет -трафикаПоэтому это важный и репрезентативный набор данных для общего веб -рампа.

Давайте погрузимся.

Роботы поисковых систем больше всего. Роботы ИИ относительно новы в Интернете, но они прочно находятся на 2 -м месте, несмотря на их меньше. Если будут запущены все больше помощников по искусственному интеллекту, и их роботы начинают ползать в Интернете, они, вероятно, пройдут поисковые системы, чтобы ползти. По температуру, которые они развиваются, это может произойти в течение следующих двух лет.

Если мы выйдем из некоторых отдельных роботов, вы увидите, что Googlebot ест гораздо больше интернета, чем другие роботы.

Обратите внимание, что Google Bot Ai также имеет быстрый уровень исследования, как и Google Images. Есть гораздо больше Googlebots, которые выполняют различные задачи.

Amazonbot и GPTBOT оба подходят к рампе Bing.

Ахрефсбот, безусловно, самый активный бот в индустрии SEO. Некоторые другие платформы любят говорить, что они ползают быстрее, но все доказательства указывают на то, что это не так. Ahrefs делает почти столько же запросов, сколько и остальные 20 SEO -ботов вместе взятые. Мы победили комбинацию из 19 из них.

Несмотря на нашу скорость разведки, я гарантирую, что мы также являемся наиболее эффективным роботом из всех ссылок. Мы решили много проблем, которые я всегда вижу в этих других роботах. Мы также получаем данные indexnow через нашу поисковую систему, АгаЧтобы помочь нам быть еще более эффективным. На этом этапе, возможно, нам придется классифицировать как бот поисковой системы.

Роботы ИИ увеличились в этом году. Они представляли почти 25% всех запросов BOT в мае, что только на 10% ниже исследовательских роботов. Это невероятно для меня, так как GoogleBot настолько доминирует в целом и что существует около половины ботов ИИ, что есть роботы поисковых систем.

Googlebot — безусловно, самый доминирующий бот в Интернете. Счет -фактуры GPTBOT заранее в этом году. Мне любопытно заполнить разрыв в будущем.

Последние размышления

Для роботов есть стоимость, которые ползут ваши веб -сайты, и существует общественный договор между поисковыми системами и веб -сайтами веб -сайтов, где поисковые системы повышают ценность, отправляя справочный трафик на веб -сайты. Google отправляет трафик (пока), поэтому они не заблокированы.

Этот контракт распространяется на помощников искусственного интеллекта. Отправляйте трафик на веб -сайтах, предоставьте данные на веб -сайтах исследований и видимости их веб -сайта в вашей системе для отчетов, или вы будете заблокированы до уровня, которую вы ползаете. Мы уже видим это.

Это неудивительно, так как Исследовательский трафик ИИ составляет всего 0,1% глобального трафика для веб -сайтов. Отправляйте больше трафика на веб -сайтах, предлагайте большую ценность для веб -сайтов.

Если у вас есть какие -либо вопросы, спросите меня Лиентин Или ХПолем