Гэри Иллис, аналитик Google, выделил серьезную проблему для поисковых роботов: параметры URL.

В недавнем выпуске подкаста Search Off The Record компании Google Иллис объяснил, как параметры могут создавать бесконечное количество URL-адресов для одной страницы, что приводит к неэффективности сканирования.

Иллес осветил технические аспекты, влияние SEO и потенциальные решения. Он также обсудил прошлые подходы Google и намекнул на будущие исправления.

Эта информация особенно актуальна для крупных сайтов или сайтов электронной коммерции.

Проблема бесконечных URL-адресов

Иллис объяснил, что параметры URL могут создавать бесконечное количество URL для одной страницы.

Он объясняет:

«Технически, вы можете добавить это в один практически бесконечный — ну, фактически бесконечный — ряд параметров к любому URL, и сервер просто проигнорирует те из них, которые не изменят ответ».

Это создает проблемы для поисковых роботов.

Хотя эти вариации могут привести к одному и тому же контенту, сканеры не могут узнать об этом, не посетив каждый URL. Это может привести к неэффективному использованию ресурсов сканирования и проблемам с индексацией.

Наиболее пострадавшие сайты электронной коммерции

Эта проблема распространена среди сайтов электронной коммерции, которые часто используют параметры URL для отслеживания, фильтрации и сортировки товаров.

Например, одна страница продукта может иметь несколько вариантов URL-адресов для разных вариантов цвета, размеров или источников ссылок.

Иллис отметил:

«Поскольку вы можете просто добавить к нему параметры URL… это также означает, что когда вы сканируете, причем сканируете в прямом смысле, например, «переходите по ссылкам», то все становится намного сложнее».

Исторический контекст

Google боролся с этой проблемой годами. В прошлом Google предлагал инструмент URL Parameters в Search Console, чтобы помочь веб-мастерам указать, какие параметры важны, а какие можно игнорировать.

Однако в 2022 году этот инструмент был упразднен, и некоторые SEO-специалисты задаются вопросом, как решить эту проблему.

Возможные решения

Хотя Ильес не предложил окончательного решения, он намекнул на возможные подходы:

1. Google изучает способы обработки параметров URL-адресов, возможно, путем разработки алгоритмов для выявления избыточных URL-адресов.
2. Иллес предположил, что более четкая коммуникация со стороны владельцев веб-сайтов об их структуре URL могла бы помочь. «Мы могли бы просто сказать им: «Хорошо, используйте этот метод, чтобы заблокировать это пространство URL», — отметил он.
3. Иллес упомянул, что файлы robots.txt потенциально можно было бы использовать больше для руководства сканерами. «С robots.txt можно делать на удивление гибко», — сказал он.

Последствия для SEO

Это обсуждение имеет несколько последствий для SEO:

1. Бюджет сканирования: Для больших сайтов управление параметрами URL может помочь сэкономить бюджет сканирования, гарантируя, что важные страницы будут просканированы и проиндексированы.
2. Архитектура сайта: Разработчикам, возможно, придется пересмотреть структуру URL-адресов, особенно для крупных сайтов электронной коммерции с многочисленными вариациями продуктов.
3. Фасетная навигация: Сайты электронной коммерции, использующие фасетную навигацию, должны учитывать, как это влияет на структуру URL-адресов и возможность сканирования.
4. Канонические теги: Использование канонических тегов может помочь Google понять, какую версию URL следует считать основной.

В итоге

Обработка параметров URL остается сложной задачей для поисковых систем.

Google работает над этим, но вам все равно следует отслеживать структуру URL и использовать инструменты для управления сканерами.

Послушайте полную версию обсуждения в выпуске подкаста ниже: