Джон Мюллер из Google ответил на вопрос о сайте, который получил миллионы запросов Googlebot на страницы, которых нет, с одним несуществующим URL-адресом, получившим более двух миллионов попаданий, по сути, запросы на странице уровня DDOS. Опасения издателя по поводу бюджета ползания и рейтинга, по -видимому, были реализованы, так как на сайте впоследствии произошел снижение видимости поиска.

Страницы noindex удалены и преобразованы в 410

Код ответа на сервер 410 принадлежит кодам ответов Family 400, которые указывают, что страница недоступна. Ответ 404 означает, что страница недоступна, и не предъявляет претензий относительно того, вернется ли URL -адрес в будущем, она просто говорит, что страница недоступна.

Код состояния 410 означает, что страница исчезла и, вероятно, никогда не вернется. В отличие от кода состояния 404, 410 сигнализирует о браузере или гусенике, что отсутствующий статус ресурса является преднамеренным и что любые ссылки на ресурс должны быть удалены.

Человек, задающий вопрос, был последовал вопрос по вопросу, который они опубликовали три недели назад на Reddit, где они отметили, что у него было около 11 миллионов URL -адресов, которые не должны были обнаружены, что они полностью удалили и начали обслуживать код ответа 410. Через полтора месяца Googlebot продолжал возвращаться в поисках пропущенных страниц. В результате они поделились своей обеспокоенностью по поводу бюджета ползания и последующих последствий для их рейтинга.

Мюллер в то время отправил их на страницу поддержки Google.

Потеря рейтинга, так как Google продолжает попадать на сайт на уровнях DDOS

Три недели спустя все не улучшилось, и они опубликовали последующий вопрос, в котором отмечалось, что они получили более пяти миллионов запросов на страницы, которых нет. Они опубликовали настоящий URL в своем вопросе, но я анонимизировал его, в противном случае это дословно.

Человек спросил:

«Googlebot продолжает агрессивно ползти по одному URL -адресу (с струнами запроса), хотя он возвращает статус 410 (ушел) в течение примерно двух месяцев.

Всего за последние 30 дней мы увидели приблизительно 5,4 миллиона запросов от Googlebot. Из них около 2,4 миллиона были направлены на этот URL:
С помощью строки запроса?

Мы также видели значительное снижение нашей видимости в Google в течение этого периода, и я не могу не задаться вопросом, есть ли связь — что -то просто чувствует. Затронутая страница:
? Функция =…

Причина, по которой Google обнаружил все эти URL -адреса, заключается в том, что мы непреднамеренно разоблачили их в полезной нагрузке JSON, сгенерированной Next.js — они не были реальными ссылками на сайте.

Мы изменили, как работает наши «множество функций» (используя? MF QueryString и что QueryString находится в robots.txt)

Было бы проблематично добавить что -то подобное к нашим robots.txt?

DISLAING:/Software/Virtual-DJ/? Face =*

Основная цель: остановить этот чрезмерный ползание от затопления наших бревен и потенциально вызвать непреднамеренные побочные эффекты ».

Джон Мюллер из Google подтвердил, что это нормальное поведение Google — продолжать возвращаться, чтобы проверить, вернулась ли отсутствующая страница. Это поведение Google по умолчанию, основанное на опыте, который издатели могут совершать ошибки, и поэтому они периодически возвращаются, чтобы проверить, была ли страница восстановлена. Это предназначено для того, чтобы стать полезной функцией для издателей, которые могут непреднамеренно удалить веб -страницу.

Мюллер ответил:

«Google пытается решить страницы, которые когда -то существовали в течение очень долгого времени, и если у вас их много, вы, вероятно, увидите больше из них. Это не проблема — это хорошо, когда страницы ушли, даже если это тонны из них.

Внимание: технический SEO впереди

Эта следующая часть — то, где SEO становится техническим. Мюллер предупреждает, что предлагаемое решение о добавлении роботов. TXT непреднамеренно нарушает рендеринг для страниц, которые не должны отсутствовать.

Он в основном советует человеку, задающему вопрос:

• Дважды проверяйте, что? URL-адреса?
• Используйте Chrome Devtools, чтобы моделировать то, что происходит, если эти URL -адреса заблокированы — чтобы ранее улавливать поломку.
• Поисковой консоли для Soft 404, чтобы обнаружить любое непреднамеренное влияние на страницы, которые должны быть индексированы.

Джон Мюллер продолжил:

«Главное, что я следит за тем, чтобы это действительно возвращается 404/410, и не то, что некоторые из них используются чем -то вроде JavaScript на страницах, которые вы хотите индексировать (поскольку вы упомянули полезную нагрузку JSON).

Трудно распознать, когда вы не разбиваете ползание встроенного ресурса (будь то непосредственно встроено на страницу или загружено по требованию) — иногда страница, которая ссылается на то, что она прекращает рендеринг и вообще не может быть проиндексирована.

Если у вас есть страницы с клиентом на стороне клиента JavaScript, я бы попытался выяснить, на что упоминались на URL-адреса (если вы можете) и блокировать URL-адреса в инструментах Chrome Dev, чтобы увидеть, что происходит при загрузке страницы.

Если вы не можете выяснить, где они были, я бы запретил их часть и контролирует ошибки Soft-404 в консоли поиска, чтобы увидеть, произойдет ли что-нибудь заметно.

Если вы не используете javaScript клиентского сренда, вы, вероятно, можете игнорировать этот абзац :-). ».

Разница между очевидной причиной и фактической причиной

Джон Мюллер из Google прав, предполагая более глубокую диагностику, чтобы исключить ошибки со стороны издателя. Ошибка издателя начала цепочку событий, которая привела к индексации страниц против желаний издателя. Таким образом, разумно попросить издателя проверить, может ли быть более правдоподобная причина для учета потери видимости поиска. Это классическая ситуация, когда очевидная причина не обязательно является правильной причиной. Есть разница между очевидной причиной и фактической причиной. Поэтому предложение Мюллера не отказываться от поиска причины, это хороший совет.

Прочитайте оригинальное обсуждение здесьПолем

Изображение от Shutterstock/Plutusart