Как быстрый рост ботов меняет открытую сеть?
Более половины трафика в сети приходится на ботов:
- Отчет Imperva о плохих ботах за 2024 год показывает, что почти 50% общего интернет-трафика в 2024 году не было человеческим. Тенденция: снижение.
- Радар Cloudflare показывает ~70% человеческого трафика и 30% — ботов.
- Аками сообщает, что 42% трафика в сети поступает от ботов.
На данный момент боты собирают информацию, которая делает приложения более удобными для людей. Но растет популяция нового вида: ботов-агентов.
На протяжении двух десятилетий мы оптимизировали сайты для GoogleBot. Вскоре мы сможем сосредоточиться на помощниках ИИ, которые выступают в качестве посредников между людьми и открытой сетью.
Мы уже оптимизировали ботнет с помощью схемы и фидов товаров в Google Merchant Center. XML-карты сайта стали предметом спора несколько десятилетий назад.
На следующем уровне мы могли бы иметь отдельные веб-сайты или API для агентских ботов с совершенно новым маркетинговым полем.
Содержание
Агентская сеть
Поскольку мы приближаемся к тому, чтобы в открытой сети трафика от ботов стало больше, чем от людей, важно помнить, что около 65% трафика ботов, по оценкам, является вредоносным.
Хорошие боты включают в себя парсеры поисковых систем, инструменты SEO, средства защиты и, конечно же, сканеры с искусственным интеллектом. Численность ботов обоих типов растет, но только хорошие из них действительно полезны.
По сравнению с предыдущими шестью месяцами, число роботов с искусственным интеллектом выросло на 18%, а поисковые системы замедлились на 10%. GoogleBot специально снизил активность на -1,6%.
Однако робот Google с искусственным интеллектом компенсировал это ростом на 1,4%. GPT Bot был самым активным ИИ-сканером: на его долю пришлось 3,8% всех запросов, а рост составил 12%.
Поисковый робот Google с искусственным интеллектом вырос на 62% и отвечал за 3,7% всех запросов к ботам. Учитывая текущие темпы роста, поисковый робот Google с искусственным интеллектом вскоре должен стать самым активным в сети.
Изображение предоставлено: Кевин ИндигСегодня ИИ-боты преследуют три цели:
- Соберите данные обучения.
- Создайте поисковый индекс для обоснования ответов LLM (RAG).
- Собирайте данные в режиме реального времени для подсказок, требующих актуальности.
Но в настоящее время все крупные разработчики ИИ работают над агентами, которые просматривают Интернет и выполняют действия для пользователей:
- Claude первым предложил функцию продукта «Использование компьютера»: «Разработчики могут указать Claude использовать компьютеры так, как это делают люди — глядя на экран, перемещая курсор, нажимая кнопки и печатая текст».
- Jarvis от Google, «полезный компаньон, который путешествует по Интернету вместо вас», на мгновение случайно появился в магазине Chrome.
- OpenAI работает над «Оператором», который также является агентом, который выполняет действия за вас.
Я вижу три возможных результата:
- Агенты значительно увеличивают трафик ботов в открытой сети, когда они сканируют и посещают веб-сайты.
- Агенты используют API чтобы получить информацию.
- Агенты работают на своей платформе, то есть Оператор использует только данные ChatGPT, а не собирает свои собственные.
Я думаю, что наиболее вероятно сочетание всех трех, в результате чего трафик ботов значительно вырастет.
Если это окажется правдой, компании будут все чаще создавать отдельные версии своих сайтов для ботов, ориентированных на скорость и структурирование данных. «Просто сосредоточьтесь на пользователе» превращается в «просто сосредоточьтесь на агентах».
В некотором смысле, ЧатGPT-поиск уже является агентом, который просматривает и курирует Интернет для людей. Но если агенты сдержат свое обещание, вы можете ожидать гораздо большего.
Генеральный директор OpenAI Сэм Альтман сказал в своем недавнем Реддит ИЛИ, «Я думаю, что следующим гигантским прорывом станут агенты».
Что делают люди, когда боты завоевывают сеть?
Интернет-принятие
Изображение предоставлено: Кевин ИндигМаловероятно, что люди полностью перестанут просматривать Интернет.
Даже с ответами ИИ в поиске и функциями поиска в чат-ботах с ИИ люди по-прежнему хотят проверять утверждения ИИ, получать случайное вдохновение (интуитивность) или искать ответы у других людей (Reddit).
Но процесс просмотра для поиска, скорее всего, растворится в подсказках, если боты станут достаточно хорошими.
Существует потенциал для роста трафика людей: в 2023 году 70% населения мира имели доступ к Интернету. При нынешних темпах (~7% в годовом исчислении) к 2030 году доступ к Интернету будет у всего мира.
Однако, несмотря на растущее распространение Интернета, человеческий трафик за последние три года не изменился (см. статистику Cloudflare). Поисковые роботы с искусственным интеллектом растут намного быстрее (18%), а агенты могут ускорить этот процесс еще больше.
Изображение предоставлено: Кевин ИндигЧеловеческие запросы к Википедии, крупнейшему сайту в сети, с 2019 года стагнируют.
Причина в том, что внимание людей переключается на социальные платформы, особенно молодого поколения. Когда боты захватывают открытую сеть, люди бегут в убежища.
Маркетинг
Изображение предоставлено: Кевин ИндигВ отдаленном будущем хорошие боты могут стать равноправными гражданами нации открытой сети, поскольку все больше людей проводят время на закрытых социальных платформах, а агентские LLM увеличивают и без того быстрый рост трафика ботов. Если эта теория подтвердится, что это значит для маркетинга и, в частности, для SEO?
Представьте, что вы заказываете поездку. Вместо того, чтобы просматривать Google или Booking, вы сообщаете своему агенту, куда и когда вы собираетесь поехать.
Основываясь на том, что он знает о ваших предпочтениях, ваш агент подбирает три варианта рейсов и отелей на выбранной вами платформе.
Когда вы выбираете рейс, он добавляется в ваш календарь, а билеты — в ваш почтовый ящик. Вам не нужно оформлять заказ. Агент все сделает за вас. Вы можете применить тот же сценарий к электронной коммерции или программному обеспечению.
Учитывая, что такие компании, как Google, уже сегодня имеют возможности для этого, стоит подумать о том, что останется постоянным, что изменится и что станет более и менее важным в этом видении.
Постоянный
Ботам не нужен CSS или главные изображения. У маскировки вашего сайта для сканеров LLM нет недостатков, поэтому есть вероятность, что веб-сайты покажут ботам базовую версию.
Набор навыков, который останется неизменным в этом будущем, — это техническое SEO: возможность сканирования, скорость (сервера), внутренние ссылки и структурированные данные.
Изменять
Агентская открытая сеть предлагает гораздо лучшие возможности таргетинга рекламы, поскольку боты знают своих владельцев изнутри.
Люди будут принимать решения о покупке намного быстрее, поскольку их агенты предоставляют им всю необходимую информацию и знают их предпочтения.
Расходы на рекламу значительно снижаются и обеспечивают еще более высокую прибыль, чем сегодня.
Поскольку боты могут перевести что угодно за считанные секунды, локализация и международные продажи больше не являются проблемой. Люди могут покупать у кого угодно и где угодно – только ограничения по доставке и запасам. Мировая экономика открывается еще больше.
Если мы сыграем правильно, агенты могут стать лучшими хранителями конфиденциальности: никто не имеет о вас столько данных, сколько они, но вы можете контролировать, какой информацией они делятся.
Агенты знают вас, но им не нужно делиться этой информацией с другими. Мы могли бы поделиться с ними еще большим количеством данных, вращая маховик ценности: данные → понимание → результаты → данные → ценность → результаты → и т. д.
С другой стороны, нам необходимо создать защиту от мошеннических ботов, переопределив, что ботам разрешено делать, в формате, подобном robots.txt 2.0. Кибербезопасность стала еще более важной, но и более сложной, поскольку плохие боты могут гораздо лучше имитировать хороших.
Нам нужно будет выяснить, какое влияние на окружающую среду оказывает увеличение потребления энергии из-за увеличения трафика ботов.
Будем надеяться, что боты будут более эффективными и, следовательно, будут вызывать меньший общий веб-трафик, чем люди. Это, по крайней мере, в некоторой степени компенсировало бы энергетическое ущелье, которое уже вызывают LLM.
Важный
Самый удобный для ботов формат информации — необработанный и структурированный: каналы XML, RSS и API. Мы уже отправили в Google фиды продуктов и XML-карты сайта, но агенты захотят большего.
В будущем веб-дизайн станет менее важным, и, возможно, это нормально, поскольку большинство сайтов и так выглядят очень похожими.
Дизайн ленты становится более важным: какую информацию включать в ленту, сколько и как часто ее обновлять и какие запросы отправлять обратно ботам.
Маркетологи будут тратить гораздо больше времени на анализ того, как выглядят разговоры с чат-ботами. Боты, скорее всего, станут черным ящиком, подобным алгоритму Google, но реклама может пролить свет на то, о чем люди спрашивают больше всего.
Отношения
В агентском будущем будет трудно заставить клиентов переключиться на другой бренд, если они остановились на бренде, который им нравится, пока у них не возникнет плохой опыт.
В результате важным маркетинговым рычагом станет побуждение клиентов попробовать ваш бренд с помощью таких кампаний, как скидки и эксклюзивные предложения.
Как только вы убедились и дали понять, что ваш продукт лучше, вашей задачей станет убедить пользователей попробовать его. Очевидно, это уже работает сегодня.
Имея так много возможностей органически рекламировать и склонять пользователей к конкретному продукту перед его покупкой, мы имеем гораздо больше влияния на покупку.
Но в будущем агенты смогут делать этот выбор за пользователей. Маркетологи будут тратить больше времени на построение отношений, повышение узнаваемости бренда и влияние на него. маркетинговые факторы старой школы такие как ценообразование, распространение (доставка) и дифференциация.
Отчет о плохих ботах за 2024 год
Cloudflare Radar: тенденции трафика
Боты составляют 42% общего веб-трафика; Почти две трети являются вредоносными
Cloudflare Radar: Обозреватель данных
Знакомство с использованием компьютера, новым сонетом Claude 3.5 и Claude 3.5 Haiku.
В магазине Chrome появилась информация о существовании расширения Google Jarvis AI
OpenAI близок к запуску инструмента AI Agent для автоматизации задач пользователей
Рекомендованное изображение: Пол Поэтри/Журнал поисковых систем
