Мириам Джессиер спросил Google о том, что будет хорошими атрибутами веб -гусеницы. В котором и Мартин Сплитт, и Гэри Иллиес дали некоторые ответы.

Мириам Джессиер спросил Блюзский«Каковы хорошие атрибуты? При выборе гусеницы нужно изучить, чтобы проверить вещи на сайте для SEO и Gen AI Search?»

Мартин Сплитт из Google ответил с этим списком атрибутов:

• Поддержка HTTP/2
• объявить личность в пользовательском агенте
• Уважение robots.txt
• Отвракание, если сервер замедляется
• Следуйте директивам кэширования*
• Разумные механизмы повторения
• Следуйте перенаправлениям
• обрабатывать ошибки изящно*

Гари Иллиес из Google отправил разговор на новый IETF документ Это говорит о лучших практиках хлистого. Гэри написал, что этот документ был опубликован несколько недель назад.

Он охватывает рекомендуемые лучшие практики, включая:

• Crawlers должны поддерживать и уважать протокол исключения роботов.
• Ползание должно быть легко идентифицировано через их строку пользователя.
• Crawlers не должны мешать регулярной работе сайта.
• Crawlers должны поддерживать директивы кэширования.
• Crawlers должны разоблачить диапазоны IP, из которых они ползают в стандартизированном формате.
• Пользания должны разоблачить страницу, которая объясняет, как используются данные ползания и как их можно заблокировать.

Проверьте этот полный документ здесь — Вы можете видеть, что Гэри Иллиес был соавтором, но не под именем Google.

Обсуждение на форуме в БлюзскийПолем

Изображение кредитование Lizzi