Robots Represher: протокол исключения для роботов в будущем
Оставаться организованным с коллекциями
Сохраните и классифицируйте контент на основе ваших предпочтений.
Пятница, 28 марта 2025 г.
В предыдущих постах о протоколе исключения роботов (Rep) мы исследовали то, что вы уже можете сделать с его различными компонентами, а именно Robots.txt и управления уровнем URI. В этом посте мы рассмотрим, как представитель может сыграть вспомогательную роль в постоянно развивающейся связи между автоматическими клиентами и человеческим сети.
Представитель — специально robots.txt — стал стандартом в 2022 году как
RFC9309Полем Тем не менее, тяжелая работа была сделана до его стандартизации: именно тест времени между 1994 и 2022 годами делал его достаточно популярным для принятия миллиардов хостов и практически всех основных операторов хруппа (за исключением состязательных сканеров, таких как вредоносные программы). Это простое и элегантное решение для выражения предпочтений с простым, но универсальным синтаксисом. За 25 лет своего существования ему едва пришлось развиваться из своего первоначального формы, он получил только
allow Правило, если мы рассмотрим только правила, которые повсеместно поддерживаются сканерами.
Это не значит, что нет других правил; Любой оператор Crawler может придумать свои собственные правила. Например, такие правила, как «clean-param» и «crawl-delay«Не являются частью RFC9309, но они поддерживают некоторые поисковые системы — хотя и не поиск в Google.»sitemap«Правило, которое снова не является частью RFC9309, поддерживается всеми основными поисковыми системами. Учитывая достаточную поддержку, оно может стать официальным правилом в представителе.
Потому что представитель на самом деле может получить «обновления». Это широко поддерживаемый протокол, и он должен расти в Интернете. Вносить в это невозможно, но это не просто; Это не должно быть легко, именно потому, что представитель широко поддерживается. Как и в случае любых изменений в стандарте, должен быть консенсус, который изменяет приносит пользу большинству пользователей протокола, как на стороне издателей, так и на стороне лихорадки.
Благодаря своей простоте и широкому внедрению, представитель является отличным кандидатом на ношение новых предпочтений ползания: миллиарды издателей уже знакомы с robots.txt и, например, его синтаксис, поэтому внесение изменений в него более естественно для них. С другой стороны, у операторов Crawler уже есть надежные, хорошо протестированные анализаторы и матчи (и Google также открыл свои собственные robots.txt parser), что означает, что весьма вероятно, что с новыми правилами не будут проблем с анализом.
То же самое касается расширений уровня повторений, X-robots-tag HTTP заголовок и его аналог метага. Если есть необходимость в новом правиле, чтобы принести предпочтения отказа, они легко расширяются. Как, хотя?
Самое важное, что вы, читатель, можете публично говорить о своей идее и собрать сторонников для этой идеи. Поскольку представитель является публичным стандартом, ни одна сущность не может внести в него односторонние изменения; Конечно, они могут реализовать поддержку чего -то нового на их стороне, но это не станет стандартом. Но говорить об этом изменении и показе в экосистему — как операторы, так и издательскую экосистему — что она приносит пользу всем приведет к консенсусу, и это прокладывает путь к обновлению стандарта.
Точно так же, если протоколу чего чего -то не хватает, говорите об этом публично. sitemap
стал широко поддерживаемым правилом в robots.txt, потому что оно было полезно как для создателей контента, так и для поисковых систем, которые проложили путь к принятию расширения. Если у вас есть новая идея для правила, спросите потребителей Robots.txt и создателям, что они думают об этом, и работают с ними, чтобы вытащить потенциальные (и вероятные) проблемы, которые они поднимают, и написать предложение.
Если ваш водитель должен служить общему блага, оно того стоит.
Автор: Гэри Иллиес, команда по поисковым отношениям
Проверьте остальную серию Robots Replesher:
