Протокол исключения роботов (Rep), широко известный как robots.txt, является веб -стандартом с 1994 года и остается ключевым инструментом для оптимизации веб -сайтов сегодня.

Этот простой, но мощный файл помогает контролировать, как поисковые системы и другие боты взаимодействуют с сайтом.

Недавние обновления сделали важным понимание лучших способов его использования.

Почему robots.txt имеет значение

Robots.txt — это набор инструкций для веб -сканеров, рассказывающих им, что они могут и не могут делать на вашем сайте.

Это помогает вам поддерживать определенные части вашего сайта в частном порядке или избегать ползающих страниц, которые не важны.

Таким образом, вы можете улучшить свой SEO и держать свой сайт без гладкого.

Настройка файла robots.txt

Создание файла robots.txt является простым.

Он использует простые команды для обучения сканеров о том, как взаимодействовать с вашим сайтом.

Основными являются:

• User-agentкоторый указывает бота, на которого вы нацелены.
• Disallowчто говорит боту, куда он не может пойти.

Вот два основных примера, которые демонстрируют, как robots.txt управляет Crawler Access.

Это позволяет всем ботам ползти по всему сайту:

User-agent: *
Disallow:

Это направляет ботов, чтобы ползти всего сайта, за исключением папки «Держись»:

User-agent: *
Disallow: /keep-out/

Вы также можете указать определенные сканеры, чтобы остаться на улице:

User-agent: Googlebot
Disallow: /

Этот пример инструктирует Googlebot не отплесить какую -либо часть сайта. Это не рекомендуется, но вы поняли.

Использование подстановочных знаков

Как вы можете видеть в примерах выше, подстановочные знаки (*) удобны для создания гибких файлов robots.txt.

Они позволяют вам применять правила ко многим ботам или страницам, не перечислив каждый из них.

Управление на уровне страницы

Вы имеете большой контроль над пауком, если это необходимо.

Если вам нужно блокировать только определенные страницы вместо блокировки всего каталога, вы можете блокировать только определенные файлы. Это дает вам больше гибкости и точности.

Пример:

User-agent: *
Disallow: /keep-out/file1.html
Disallow: /keep-out/file2.html

Только необходимые страницы ограничены, поэтому ваш ценный контент остается видимым.

Объединение команд

В прошлом Disallow Директива была единственной доступной, и Google имел тенденцию применять наиболее ограничительную директиву в файле.

Последние изменения ввели Allow Директива, предоставляя владельцам веб -сайтов более детальный контроль над тем, как заползли их сайты.

Например, вы можете инструктировать ботов только пролезть по «важной» папке и оставаться везде везде:

User-agent: *
Disallow: /
Allow: /important/

Также возможно объединить команды для создания сложных правил.

Вы можете использовать Allow Директивы вместе с Disallow для точной настройки доступа.

Пример:

User-agent: *
Disallow: /private/
Allow: /private/public-file.html

Это позволяет вам держать определенные файлы доступными при защите других.

Поскольку по умолчанию Robots.tx Disallow и Allow Директивы, как правило, не нужны. Сохранять это простое, как правило, лучше.

Существуют ситуации, которые требуют более расширенных конфигураций.

Если вы управляете веб -сайтом, который использует параметры URL в ссылках на меню, чтобы отслеживать клики через сайт, и вы не можете реализовать канонические теги, вы можете использовать директивы robots.txt для смягчения дублирующих вопросов контента.

Пример:

User-agent: *
Disallow: /*?*

Еще один сценарий, в котором может потребоваться расширенная конфигурация,-это если неправильная конфигурация заставляет случайные низкокачественные URL-адреса появляться в случайно именованных папках.

В этом случае вы можете использовать файл robots.txt, чтобы отключить все папки, кроме тех, у кого есть ценное содержание.

Пример:

User-agent: *
Disallow: /
Allow: /essential-content/
Allow: /valuable-content-1/
Allow: /valuable-content-2/

---

Комментарии могут быть удобным способом наметить информацию более дружественным к человеку.

Комментарии возглавляются знаком фунта (#)

В файлах, которые обновляются вручную, я рекомендую добавить дату, которую файл был создан или обновлен.

Это может помочь устранению неполадок, если старая версия была случайно восстановлена ​​из резервной копии.

Пример:

#robots.txt file for www.example-site.com – updated 3/22/2025
User-agent: *
#disallowing low-value content
Disallow: /bogus-folder/

Управление скоростью ползания

Управление скоростью сканирования является ключом к контролю за нагрузкой вашего сервера и обеспечению эффективной индексации.

А Crawl-delay Команда позволяет установить задержку между запросами бота.

Пример:

User-agent: *
Crawl-delay: 10

В этом примере вы просите ботов ждать 10 секунд между запросами, предотвращения перегрузки и поддержания плавного.

Продвинутые боты могут почувствовать, когда они перегружают сервер, и Crawl-delay Директива не нужна так же сильно, как это было в прошлом.

Копайте глубже: Бюджет для полки: что вам нужно знать в 2025 году

XML -карта сайта

Хотя Google и Bing предпочитают, чтобы владельцы веб -сайтов отправляли свои XML Sitemaps через консоль поиска Google и инструменты Bing Webmaster, это все еще является принятым стандартом для добавления ссылки в XML -карту сайта в нижней части файла robots.txt.

Это может не потребоваться, но в том числе это не повредит и может быть полезным.

Пример:

User-agent: *
Disallow:
Sitemap:

Если вы добавите ссылку в свою карту сайта XML, убедитесь, что URL полностью квалифицирован.

Общие ловушки с robots.txt

Неправильный синтаксис

Убедитесь, что ваши команды правильно отформатированы и в правильном порядке.

Ошибки могут привести к неверному толкованию.

Проверьте свой robots.txt на наличие ошибок в консоли поиска Google — проверка robots.txt находится в НастройкиПолем

Чрезмерный переосмысление доступа

Блокирование слишком много страниц может нанести вред индексации вашего сайта.

Использовать Disallow Разумно командует и подумайте о влиянии на видимость поиска.

Это может применить к блокированию ботов, которые питают новые инструменты поиска искусственного интеллекта.

Если вы блокируете эти боты, у вас нет шансов появиться в ответах

Забывая, что боты не всегда следуют протоколу

Не все пауки подчиняются протоколу исключения роботов.

Если вам нужно заблокировать ботов, которые не «ведут себя хорошо», вам нужно будет принять другие меры, чтобы держать их в курсе.

Также важно помнить, что блокировка пауков в robots.txt не гарантирует, что информация не окажется в индексе.

Например, Google В частности, предупреждает Эти страницы с входящими ссылками с других веб -сайтов могут появиться в его индексе.

Если вы хотите убедиться, что страницы не оказываются в индексе, вместо этого используйте метатеги NoIndexПолем

Завершая

Как упоминалось выше, обычно лучше всего поддерживать вещи с файлами robots.txt. Обновления в том, как они интерпретируются, однако, делают его гораздо более мощным инструментом, чем в прошлом.

Для получения дополнительной информации и подробных примеров, ознакомьтесь с этими статьями из Google Search Central: