Понедельник, 24 февраля 2025 г.
Время от времени мы получаем вопросы о robots.txt, метатетах роботов и функциональности управления, которые они предлагают. После нашей декабрьской серии по ползанию мы подумали, что это будет идеальное время, чтобы собрать легкое освежение. Так что, если вам интересно с этими элементами управления, следите в этой новой серии постов в блоге!
Давайте начнем с самого начала, с robots.txt.
Содержание
Итак, что такое robots.txt?
А «robots.txt«Это файл, который может предоставить любой веб -сайт. В своей простейшей форме это текстовый файл, который хранится на сервере. Почти у всех веб -сайтов есть файл robots.txtПолем Чтобы посмотреть на один, возьмите доменное имя и добавьте /robots.txt К концу, затем просмотрите этот адрес. Например, файл Robots.txt этого веб -сайта находится в developers.google.com/robots.txtПолем
Большинство веб -сайтов используют системы управления контентом (CMSE), которые делают эти файлы автоматически, но даже если вы делаете свой веб -сайт «вручную», его легко создать. Мы посмотрим на некоторые вариации в будущих постах.
Для чего нужны эти файлы?
Файлы robots.txt сообщают, что веб -сайт Crawlers, какие части веб -сайта доступны для автоматического доступа (мы называем это ползанием), а какие не являются деталями. Это позволяет сайтам решать все, начиная с всего сайта, частей их сайта или даже конкретных файлов в их сайте. Помимо того, что файлы также читают машины, также читают человеку. Это означает, что всегда есть простой ответ «да» или «нет» относительно того, разрешена ли получить доступ к странице в автоматизированном виде конкретным человеком.
Это стандартная практика для тех, кто создает густо, чтобы следовать этим директивам, и для разработчика легко поддержать их — есть больше, чем 1000 библиотеки с открытым исходным кодом доступны
для разработчиков. Файл дает инструкции Crawlers для оптимального ползания веб -сайта. Современные веб -сайты могут быть сложными, автоматически навигация на них может быть сложной задачей, а правила robots.txt помогают сканерам сосредоточиться на соответствующем контенте. Это также помогает сканерам избежать динамически созданных страниц, которые могут генерировать напряжение на сервере, и сделать ползание излишне неэффективными. Поскольку файлы robots.txt являются технически полезными и полезными для отношений с владельцами веб -сайтов, большинство коммерческих операторов хлоулеров следуют за ними.
Построенный и расширенным общественностью
Файлы Robots.txt были почти столько же, сколько интернет существовал, и это один из важных инструментов, который позволяет Интернету работать, как и он. HTML, основатели веб -страниц, был изобретен в 1991 году, первые браузеры появились в 1992 году, а robots.txt появился в 1994 году. Это означает, что они предшествовали даже Google, который был основан в 1998 году. Формат в основном неизменен с тех пор, и и и и и и тогда и и и и тогда, и и в основном не изменился, и и
Файл с первых дней
все еще будет действительным сейчас. Через три года вовлечения в глобальное сообщество было сделано
IETF предложил стандарт
в 2022 году.
Если у вас есть веб -сайт, скорее всего, у вас также есть файл robots.txt. В Robots.txt существует оживленное и активное сообщество, есть тысячи программных инструментов, которые помогают создавать, тестировать, управлять или понимать файлы robots.txt во всех формах и размерах. Красота robots.txt, однако, в том, что вам не нужны причудливые инструменты, можно прочитать файл в браузере и для веб -сайта, которым вы управляете, настраивать его в простом текстовом редакторе.
С нетерпением жду…
Формат robots.txt гибкий. Есть место для роста, общественное веб -сообщество может расширить его, и сканеры могут объявить о расширениях, когда это необходимо, не нарушая существующего использования. Это произошло в 2007 году, когда Поисковые системы объявили «Карту сайта»
Директива. Это также регулярно происходит, поскольку новые «агенты пользователей» поддерживаются операторами и поисковыми системами, например, которые используются для целей искусственного интеллекта.
robots.txt здесь, чтобы остаться. Новые форматы файлов занимают несколько лет, чтобы быть завершенным с большим интернет -сообществом, правильные инструменты, чтобы сделать их полезными для экосистемы, занимают еще больше времени. Это легко, это детально и выразительно, хорошо понято и принято, и это просто работает, как будто он работает уже десятилетиями.
Хотите узнать больше о деталях? Оставайтесь с нами для следующих выпусков нашей серии Robots Represher в центре поиска!
Проверьте остальную серию Robots Replesher:
