В середине июня я заметил, что Google не показывает многие из моих изображений в Google Search и Discover, и некоторые читатели также сообщили мне об этом. Поэтому я воспользовался удобным инструментом проверки URL-адресов Google Search Console и обнаружил, что URL-адреса S3, которые я использовал для размещения своих изображений, не позволяют роботу Googlebot сканировать их. Вот небольшой пример от вас относительно проблемы индексирования/сканирования, с которой я столкнулся для URL-адресов моих изображений.

Эта ошибка AWS привела к падению количества показов моих изображений в Google Search и Google Images на 83%. Это привело к падению количества кликов по изображениям на этом сайте на 76%. Несколько недель спустя мое количество показов все еще снизилось примерно на 16%, а количество кликов при поиске изображений — на 26%, но это огромное улучшение.

Вот отчет об эффективности поиска из Google Search Console, который показывает график показов и кликов с течением времени. Вы увидите падение примерно 15 июня, затем оно начнет расти примерно 8 июля. Вы также увидите, что мой трафик изображений до сих пор не вернулся к нормальному состоянию до появления ошибок AWS, даже спустя два месяца:

Когда робот Googlebot попытался получить доступ к URL-адресам моих изображений на S3, Google получил ошибку 404: не найдено. Но когда я посетил URL-адреса на своем компьютере, они загрузились без проблем. Это те же URL-адреса изображений, которые я использую на этом сайте более десяти лет, и вот однажды AWS решила заблокировать Googlebot. Я связался с Google и AWS по поводу этой проблемы и считаю, что это довольно серьезная проблема. Множество сайтов используют S3 для хранения изображений и файлов, поэтому Googlebot, вероятно, получал массу ошибок 404. Странно то, что я не видел никаких публичных жалоб по этому поводу.

В любом случае, вот что увидел робот Googlebot, когда попытался просканировать эти URL-адреса:

AWS решил проблему через несколько дней:

Вот как мои изображения выглядели в инструменте проверки URL-адресов Google Search Console:

Это должно выглядеть так:

С тех пор я решил переместить свои изображения в AWS CloudFront — сервис, который был недоступен, когда я впервые создал этот сайт, — поэтому в то время я использовал S3 для изображений. Проблема S3 с роботом Googlebot по-прежнему устранена и работает нормально. Но я не вернусь на S3 за изображениями.

Я должен поблагодарить Гленна Гейба за то, что он также заметил, что изображения в Google Discover исчезли на раннем этапе. Гленн тоже это написал статья о миграции изображений который я рассмотрел перед переходом с AWS S3 на AWS CloudFront. Я не перенес свои старые изображения, а оставил их, потому что AWS устранил проблему. Но с конца июня все мои новые изображения используют CloudFront.

Чтобы внести ясность: это была не ошибка Google, а изменение AWS, из-за которого AWS S3 заблокировал Googlebot. Проблема теперь решена, но, похоже, ущерб уже нанесен… Если графика изменится и дальше, я обновлю эту статью ниже, чтобы задокументировать изменения. Но пока последние 5 недель или около того ситуация остаётся стабильной, поэтому я не ожидаю каких-либо больших изменений в будущем.

Обсуждение на форуме Х.