Google опубликовал новый Robots.txt Represher, объясняющий, как robots.txt позволяет издателям и SEO контролировать сканеров поисковых систем и других ботов (которые подчиняются robots.txt). Документация включает в себя примеры блокировки определенных страниц (например, корзины для покупок), ограничения определенных ботов и управления ползанием с помощью простых правил.

От оснований до продвинутых

Новая документация предлагает быстрое введение в то, что такое robots.txt, и постепенно продвигается до все более расширенного освещения того, что издатели и SEO могут делать с robots.txt и как это приносит им пользу.

Основной момент первой части документа является представление robots.txt в качестве стабильного веб -протокола с 30 -летней историей, которая широко поддерживается поисковыми системами и другими сканерами.

Console Google Search Console сообщит о сообщении об ошибке 404, если robots.txt отсутствует. Это нормально, чтобы это произошло, но если это беспокоит вас, чтобы увидеть это в GSC, вы можете подождать 30 дней, и предупреждение будет уйти. Альтернативным является создание пустого файла robots.txt, который также приемлем для Google.

Новая документация Google объясняет:

«Вы можете оставить свой файл robots.txt пустым (или не иметь его вообще), если весь ваш сайт может быть заполнен, или вы можете добавить правила для управления ползанием».

Оттуда он охватывает основы, такие как пользовательские правила для ограничения определенных страниц или разделов.

Расширенное использование robots.txt охватывает эти возможности:

• Может нацелиться на конкретные сканеры с разными правилами.
• Включает блокирующие узоры URL, такие как PDFS или страницы поиска.
• Включает гранулированный контроль над определенными ботами.
• Поддерживает комментарии для внутренней документации.

Новая документация заканчивается, описывая, насколько просто отредактировать файл robots.txt (это текстовый файл с простыми правилами), поэтому все, что вам нужно, — это простой текстовый редактор. Многие системы управления контентом имеют способ отредактировать его, и есть инструменты для тестирования, если файл robots.txt использует правильный синтаксис.

Прочитайте новую документацию здесь:

Robots Represher: robots.txt — Гибкий способ контроля того, как машины изучают ваш сайт

Показанное изображение от Shutterstock/Bluestord