Удалить страницу из результатов поиска может быть нужно по разным причинам — неактуальная информация, обновление контента, случайное дублирование или мертвая страница-зомби, которая не приносит пользы бизнесу.

Для того, чтобы страница не отображалась в результатах выдачи, есть несколько способов:

• Удалить полностью и прописать Disallow в файле robots.txt;

• Закрыть от индексирования с помощью noindex;

• Закрыть доступ к ней паролем;

• Настроить редирект на другую страницу, если это уместно;

• Настроить код ответа сервера 404, 403 или 410.

При этом у Google и Яндекса есть свои рекомендации для удаления страницы из поиска и механизмы немного отличаются. Рассмотрим подробнее, что советуют поисковики, и какие у них есть инструменты для этого.

Как удалить страницу из Google

У Google есть специальный инструмент для удаления страницы или отдельного изображения из выдачи.

Обратите внимание, что этот способ действует до шести месяцев, потом страница, если не удалить с сайта совсем, опять появится результатах.

При этом поисковый робот все равно сможет сканировать страницу, если она не будет скрыта другим способом.

В каких случаях использовать инструмент:

• Чтобы страница перестала показываться в поиске;

• После удаления неактуальной информации со страницы — чтобы изменения отразились в результатах выдачи.

В каких случаях он не работает:

• Если сайт принадлежит не вам и у вас нет доступа к нему через Search Console;

• Для страниц 404 — поисковый бот самостоятельно определит, что страницы не существует, и постепенно исключит их из поиска;

• Для устранения ошибок сканирования — инструмент удаляет страницы из выдачи, а не из Search Console;

• После санкций — если вы исправили ошибки, которые привели к санкциям, не надо удалять страницы из поиска, запросите повторную проверку;

• После взлома сайта и нарушения его работы — Google советует не блокировать все страницы сразу, а удалить вредоносный код или нежелательный контент. Подробнее о том, что делать в случае взлома, описано в справке;

• Для отображения определенной версии страницы — этот способ удалит все страницы из выдачи, а не только неканонические. Чтобы в поиск попадала каноническая версия, укажите ее в коде страниц.

Статья по теме: Все о rel canonical: как указывать атрибут правильно и зачем он нужен

Итак, чтобы убрать страницу из поиска, в левом меню Search Console выберите раздел «Индексирование», далее «Удаления». Нажмите «Создать запрос».

В запросе есть две опции — удаление URL и удаление кешированной копии страницы. Обе опции работают только для одного адреса страницы. Если она доступна по разным адресам или есть варианты их написания с разными регистрами, для каждого нужно будет сделать отдельный запрос.

Удаление одного или нескольких URL

Для удаления URL нужно будет выбрать один из вариантов:

• Только указанный URL;

• Все URL с указанным префиксом. Например, Обратите внимание, что из поиска будут удалены страницы с www и без, c HTTP и HTTPS, но это не распространяется на поддомены, например, m. для мобильной версии сайта.

Удаление кешированной копии страницы

В этом случае из поиска пропадет текущее описание страницы, а новое появится после очередного сканирования. Обратите внимание, что нужно ввести полный адрес страницы, включая расширение: www.site.com/cat/page.html

Аналогично предыдущей опции, можно удалить кешированные копии всех страниц определенного раздела сайта, указав префикс.

После создания запроса он появится в списке раздела «Удаления». Для обработки может понадобиться до суток. Если передумали, запрос можно отменить в любое время.

Удаление страницы из поиска Google навсегда

Инструмент для исключения страниц из выдачи работает временно, поэтому для полного удаления нужно еще несколько действий.

• Удалите страницу через админку сайта. Таким образом, когда поисковый бот через несколько месяцев будет сканировать сайт, он обнаружит код ответа 404 или 410 и признает страницу удаленной;

• Закройте доступ к странице, например, с помощью пароля;

• Запретите сканирование через noindex. В этом случае страница не должна быть закрыта в файле robots.txt, потому что в таком случае поисковый бот не сможет обработать код страницы и найти запрет на ее индексирование.

Как удалить страницу из выдачи Яндекса

У Яндекса не такой, как у Google. Поисковик рекомендует сначала удалить страницу или закрыть от индексации, а потом воспользоваться инструментом для удаления страниц из поиска. Есть два варианта действий, выбор зависит от того, удалили вы страницу с сайта или просто хотите закрыть от поискового бота.

При удалении страницы с сайта

1. В файле robots.txt закройте страницу с помощью директивы Disallow. Это первый шаг, потому что при обходе сайта робот сначала обращается к файлу robots.txt. Как это выглядит:

Пользовательский агент: Яндекс

Disallow: /page? # запрещает обход страниц с указанным URL

2. Настройте код ответа сервера 404, 403 или 410. Если нужно перенаправить пользователей на другую страницу, установите 301 редирект.

Статья по теме: Как настроить редирект самостоятельно

При удалении страницы из выдачи

1. На странице в метатеге robots укажите директиву noindex. Не закрывайте страницу в файле robots.txt, чтобы поисковый робот смог найти ваши указания.

Статья по теме: Метатеги robots и X-Robots для управления индексацией страниц вручную

2. Настройте код ответа сервера 404, 403 или 410.

В обоих случаях страница исчезнет из выдачи примерно через неделю. Страница, которую не удалили, но закрыли от робота, может появляться в выдаче, если на нее ссылаются другие страницы.

Список исключенных из индекса страниц можно найти в Вебмастере в разделе «Издексирование» — «Страницы в поиске». Кликните на вкладку «Исключенные страницы», там вы увидите дату последнего посещения страницы роботом, URL и причину удаления страницы: редирект, запрет индексирования, код ответа 404.

Инструмент для удаления страниц из поиска

Чтобы ускорить удаление страницы, используйте специальный инструмент. В Вебмастере перейдите в «Инструменты» — «Удаление страниц из поиска».

Можно удалить одну страницу или целый раздел — по префиксу.

Введите URL или путь и нажмите «Удалить».

В сутки можно удалить не более 500 страниц.

Ниже в том же разделе находится список заявок на удаление.

Каждой из них присваивается статус:

Чтобы вернуть страницу в выдачу, уберите из robots.txt директиву Disallow или метатег noindex в коде. Страница вернется в поиск в течение трех недель.