Веб-альманах — это ежегодный отчет, который преобразует набор данных архива HTTP в полезную информацию, сочетая крупномасштабные измерения с экспертной интерпретацией экспертов отрасли.

Чтобы получить представление о том, что Отчет 2025 может рассказать нам, что на самом деле происходит в SEO, я разговаривал с одним из авторов обновления главы SEO, Крис Гринизвестный отраслевой эксперт с опытом работы более 15 лет.

Крис поделился со мной некоторыми сюрпризами, связанными с появлением файлов llms.txt и тем, как системы CMS влияют на SEO гораздо больше, чем мы думаем. Малоизвестные факты, которые выявили данные исследований, и удивительные открытия, которые обычно оставались незамеченными.

Полную версию интервью с Крисом вы можете посмотреть в записи ИМХО в конце или продолжить чтение краткого содержания статьи.

«Я думаю, что данные [in the Web Almanac] показал мне, что многое еще сломано. В сети действительно грязно. Действительно грязно.

Управление ботами больше не «Гугл или не Гугл?»

Хотя управление ботами в течение некоторого времени было бинарным (разрешить/запретить Google), оно становится новой проблемой. Что-то, что курица ранее подхватил, и Крис это выяснил в ходе своего исследования.

Мы начали наш разговор с разговора о том, как файлы роботов теперь используются для выражения намерения относительно доступа ИИ-сканеров.

Крис ответил, что, во-первых, вам нужно знать о различных сканерах, их намерениях и, в принципе, о том, что может сделать их блокировка, т. е. блокировка одних ботов имеет больший эффект, чем других.

Во-вторых, поставщики платформ должны прислушиваться к этим правилам и обращаться с этими файлами соответствующим образом. Это не всегда происходит, и этика, связанная с роботами и сканерами с искусственным интеллектом, — это область, о которой оптимизаторам необходимо знать больше и лучше понимать.

Крис объяснил, что, хотя в отчете Альманаха отмечены симптомы использования robots.txt, оптимизаторам необходимо двигаться вперед и понимать, как контролировать ботов.

«Речь идет не только о понимании того, какое влияние оказывают отдельные меры [bot/crawler] но и как сообщить об этом компании. Если у вас есть команда, которая хочет максимально сократить количество сканирования ботов, потому что они хотят сэкономить деньги, это может существенно повлиять на видимость вашего ИИ».

Точно так же у вас может быть редакционная группа, которая не хочет, чтобы вся их работа была вычеркнута и извергнута. Вот почему мы, SEO-специалисты, должны понимать эту динамику, то, как мы можем ее контролировать технически, а также то, как мы можем привести этот аргумент в компании». Крис объяснил.

По мере появления новых платформ и сканеров команды SEO должны учитывать все последствия и работать с другими командами, чтобы обеспечить правильный баланс трафика на сайте.

Llms.txt применяется даже при отсутствии официального запуска платформы.

Первым неожиданным выводом отчета стало то, что предложенный стандарт llms.txt принят примерно 2% сайтов в наборе данных.

Llms.txt — животрепещущая тема для многих представителей отрасли. SEO-специалисты отвергают ценность файл. Некоторые компании, такие как Yoast, интегрировали этот стандарт, но пока нет никаких свидетельств его фактического принятия поставщиками ИИ.

Крис признал, что 2% означают более широкое распространение, чем он ожидал. Но большая часть этого роста, по-видимому, обусловлена ​​инструментами SEO, которые добавили llms.txt в качестве стандартной или дополнительной функции.

Крис скептически относится к долгосрочным последствиям. Как он пояснил, Google неоднократно заявлял, что не планирует использовать llms.txt, и без четкой приверженности со стороны крупных поставщиков ИИ, в частности OpenAI, существует риск того, что он останется нишевым символическим жестом, а не функциональным стандартом.

Однако Крис получил данные из файла журнала, которые позволяют предположить, что некоторые сканеры ИИ уже извлекают эти файлы, и в ограниченных случаях они могут даже упоминаться в качестве источников. Грин рассматривает это не как конкурентное преимущество, а скорее как потенциальный механизм паритета, который, хотя и способствует пониманию определенных сайтов, не повышает их ценность существенно.

«Google снова и снова заявлял, что они не планируют использовать llms.txt, что они подтвердили в прошлом году в Цюрихе в Search Central. Я думаю, что Google в принципе не нуждается в этом, поскольку они освоили сканирование и рендеринг. Поэтому я думаю, что это зависит от того, скажет ли OpenAI, что они собираются его использовать или нет, и я думаю, что у них есть другие проблемы, чем попытка установить новый стандарт».

Разные, но успокаивающе одинаковые там, где это важно.

Затем я спросил Криса, как оптимизаторы могут компенсировать разницу между видимостью в поисковых системах и машинах.

По его мнению, существует «значительное совпадение между тем, чем было SEO до того, как мы о нем подумали, и тем, где мы находимся в начале 2026 года».

Несмотря на эти совпадения, Крис ясно дал понять, что любой, кто думает, что оптимизация для поисковых систем и машин — это одно и то же, не знает о двух разных системах, разных весах и о том факте, что интерпретация, извлечение и генерация совершенно разные.

Хотя здесь используются разные системы и разные навыки, он не верит, что SEO фундаментально изменился. Он считает, что SEO и оптимизация с помощью искусственного интеллекта «в целом одинаковы, и, в целом, одинаковы там, где они имеют значение, но к этому нужно подходить по-разному», потому что существуют различия в способах предоставления и использования результатов.

Крис сказал, что оптимизаторы будут уделять больше внимания фидам, их управлению и оптимизации.

«Универсальный торговый протокол Google, который может позволить вам совершать транзакции непосредственно из результатов поиска или через окно Gemini, очевидно, сильно меняется. Это всего лишь еще один шаг, чтобы вывести сайт из обращения. Но информация, которую мы на самом деле оптимизируем, все еще нуждается в оптимизации. Просто она находится в другом месте».

Платформы CMS формируют сеть больше, чем думают оптимизаторы

Возможно, самым большим сюрпризом Веб-альманаха 2025 стала степень влияния, которым обладают CMS-платформы и поставщики инструментов.

Крис сказал, что не осознавал, насколько велико было это влияние. «Такие платформы, как Shopify, Wix и т. д., вероятно, формируют нынешнее состояние технического SEO более глубоко, чем, я думаю, многие люди на самом деле думают».

Крис далее объяснил: «Как бы благими ни были намерения отдельных SEO-специалистов, я думаю, что наше общее влияние на сеть за пределами поставщиков платформ CMS минимально. Я бы сказал, что если вы действительно стремитесь оказать влияние за пределами своих конкретных клиентов, вам нужно подтолкнуть WordPress, Wix, Shopify или некоторых крупных поставщиков программного обеспечения в этих экосистемах».

Это создает возможности: веб-сайты, которые правильно реализуют технические стандарты, могут значительно выделиться среди конкурентов, в то время как большинство веб-сайтов не соответствуют лучшим практикам.

Одним из наиболее интересных выводов из этого разговора было то, насколько сильно сломан Интернет и как мало мы можем его контролировать. [SEOs] действительно есть.

Крис объяснил: «Многие оптимизаторы считают, что Google что-то нам должен, потому что мы поддерживаем Интернет для них. Мы делаем грязную работу, но я также не думаю, что мы имеем такое большое влияние на уровне отрасли, как некоторым хотелось бы верить. Я думаю, что данные Веб-альманаха как бы показали мне, что еще многое не работает. В сети действительно беспорядочно. Действительно беспорядочно».

Агенты ИИ не заменят оптимизаторов, но они заменят плохие процессы.

Наш разговор закончился ИИ-агентами и автоматизацией. Крис начал со слов: «Агентов легко понять неправильно, потому что мы используем этот термин по-разному».

Он подчеркнул, что агенты не являются заменой опыта, а скорее ускорителями процессов. Большинство рабочих процессов SEO включают повторяющийся сбор данных и распознавание образов — области, которые хорошо поддаются автоматизации. Ценность человеческого опыта заключается в разработке процессов, применении суждений и контекстуализации результатов.

Агенты ранней стадии могли автоматизировать 60-80% работы, как высококвалифицированный стажер. «Для того, чтобы это применимо к данному контексту, требуются ваши знания и опыт. И под этим я не просто имею в виду контекст веб-маркетинга или контекст электронной коммерции. Я имею в виду контекст конкретной компании, в которой вы работаете», — сказал он.

Крис утверждает, что многие SEO-специалисты не тратят достаточно времени на то, чтобы адаптировать свою работу специально под клиента. Он считает, что есть способ построить автоматизированный процесс на 80%, а затем создать реальную ценность, когда ваше вмешательство оптимизирует последние 20% бизнес-логики.

SEO-специалисты, которые сотрудничают с агентами, совершенствуют рабочие процессы и развиваются вместе с автоматизацией, с гораздо большей вероятностью останутся незаменимыми, чем те, кто полностью сопротивляется изменениям.

Однако, экспериментируя с автоматизацией, Крис предостерег от автоматизации сломанных процессов.

«Вы должны понимать процесс, который пытаетесь оптимизировать. Если процесс не очень хорош, вы только что создали машину, которая производит посредственную продукцию в больших масштабах, которая, откровенно говоря, никому не помогает».

Крис считает, что это даст оптимизаторам преимущество, поскольку ИИ станет более распространенным. «Я предполагаю, что люди, которые займутся этим, улучшат эти процессы и покажут, как их можно постоянно развивать, будут иметь более долгую продолжительность жизни».

SEO-специалисты могут добиться успеха, принимая во внимание сложность

Веб-альманах 2025 не предполагает замены SEO, но показывает, что его роль расширяется таким образом, к которому многие команды еще не до конца привыкли. Основные принципы, такие как возможность сканирования и техническая гигиена, по-прежнему важны, но теперь они существуют в более сложной экосистеме, характеризующейся поисковыми роботами с искусственным интеллектом, лентами, закрытыми системами и решениями на уровне платформы.

Даже если технические стандарты плохо реализуются в больших масштабах, те, кто понимает системы, которые их формируют, все равно могут добиться значительных преимуществ.

Автоматизация работает лучше всего, когда она ускоряет хорошо продуманные процессы, и терпит неудачу, когда она просто масштабирует неэффективность. SEO-специалисты, которые сосредоточены на разработке процессов, суждениях и бизнес-контексте, будут продолжать иметь решающее значение, поскольку автоматизация становится все более распространенной.

Во все более хаотичной и управляемой компьютерами сети те SEO-специалисты, которые готовы бороться с этой сложностью, а не игнорировать ее, будут теми, кто будет процветать.

SEO в 2026 году — это не выбор между поиском и искусственным интеллектом; Речь идет о понимании того, как несколько систем потребляют контент и где сейчас происходит оптимизация.

Полное видеоинтервью с Крисом Грином смотрите здесь:

Большое спасибо Крису Грину за его идеи и По-моему, я мой гость.

Дополнительные ресурсы:

---

Рекомендованное изображение: Шелли Уолш/Search Engine Journal