Четверг, 17 сентября 2020 г.

С ноября 2020 года робот Googlebot начнет сканировать некоторые сайты по протоколу HTTP/2.

С тех пор, как основные браузеры начали поддерживать следующую основную версию HTTP,
HTTP/2 или h2 короче говоря, веб-профессионалы
спросил нас может ли робот Googlebot сканировать обновленную, более современную версию протокола.

Сегодня мы объявляем, что с середины ноября 2020 года робот Googlebot будет поддерживать сканирование по протоколу HTTP/2 для некоторых сайтов.

Что такое HTTP/2

Как мы сказали, это следующий основная версия HTTP, протокол, который Интернет в основном использует для передачи данных. HTTP/2 намного надежнее, эффективнее и быстрее, чем его предшественник, благодаря своей архитектуре и функциям, которые он реализует для клиентов (например, вашего браузера) и серверов. Если вы хотите узнать больше об этом, у нас есть длинная статья на тему HTTP/2.

Почему мы вносим это изменение

В целом мы ожидаем, что это изменение сделает сканирование более эффективным с точки зрения использования ресурсов сервера. С помощью h2 Googlebot может открыть одно TCP-соединение с сервером и эффективно передавать по нему несколько файлов параллельно, вместо того, чтобы требовать несколько соединений. Чем меньше соединений открыто, тем меньше ресурсов серверу и роботу Googlebot приходится тратить на сканирование.

Как это работает

На первом этапе мы будем сканировать небольшое количество сайтов через h2 и постепенно увеличивать количество сайтов, которые могут извлечь выгоду из изначально поддерживаемых функций, таких как мультиплексирование запросов.

Робот Googlebot решает, какой сайт сканировать через h2, исходя из того, поддерживает ли сайт h2, а также выиграет ли сайт и робот Googlebot от сканирования через HTTP/2. Если ваш сервер поддерживает h2 и робот Googlebot уже много сканирует с вашего сайта, возможно, вы уже имеете право на обновление соединения, и вам не нужно ничего делать.

Если ваш сервер по-прежнему поддерживает только HTTP/1.1, это тоже нормально. В сканировании по этому протоколу нет явных недостатков; сканирование останется прежним, как по количеству, так и по качеству.

Как отказаться

Наши предварительные тесты не выявили проблем или отрицательного влияния на индексацию, но мы понимаем, что по разным причинам вы можете отказаться от сканирования своего сайта через HTTP/2. Вы можете сделать это, проинструктировав сервер ответить 421 Код состояния HTTP когда робот Googlebot пытается просканировать ваш сайт по адресу h2. Если это не представляется возможным в данный момент, вы можете
отправить сообщение команде Googlebot
(однако это решение временное).

Если у вас есть дополнительные вопросы о роботе Googlebot и HTTP/2, см.
вопросы, которые, как мы думали, вы могли бы задать. Если вы не нашли свой вопрос, напишите нам на Твиттер и в
справочные форумы.

Автор: Цзинь Лян и Гэри

Вопросы, которые, как мы думали, вы могли бы задать

Почему вы обновляете робота Googlebot сейчас?

Программное обеспечение, которое мы используем, чтобы позволить роботу Googlebot сканировать h2, достаточно развито, чтобы его можно было использовать в производственной среде.

Нужно ли мне как можно скорее обновить свой сервер?

Это действительно зависит от вас. Однако мы перейдем на сканирование только тех сайтов, которые его поддерживают, и явно выиграют от этого. Если нет явных преимуществ сканирования h2, робот Googlebot продолжит сканирование h1.

Как проверить, поддерживает ли мой сайт h2?

Облачная вспышка есть сообщение в блоге с множеством различных методов, чтобы проверить, поддерживает ли сайт h2, проверьте это!

Как мне обновить свой сайт до h2?

Это действительно зависит от вашего сервера. Мы рекомендуем поговорить с вашим администратором сервера или хостинг-провайдером.

Как мне убедить робота Googlebot поговорить с моим сайтом h2?

Вы не можете. Если сайт поддерживает h2, он может сканироваться по h2, но только в том случае, если это будет полезно для сайта и робота Googlebot. Если бы сканирование по h2 не приводило, например, к заметной экономии ресурсов, мы бы просто продолжили сканирование сайта по HTTP/1.1.

Почему вы не сканируете каждый сайт с поддержкой h2 поверх h2?

В наших оценках мы обнаружили, что некоторые сайты (например, с очень низким qps) практически не имеют преимуществ при сканировании h2. Поэтому мы решили переключать сканирование на h2 только тогда, когда есть явная польза для сайта. Мы продолжим оценивать прирост производительности и можем изменить наши критерии перехода в будущем.

Как узнать, сканируется ли мой сайт по h2?

Когда сайт получает право на сканирование через h2, владельцы этого сайта, зарегистрированные в Search Console, получат сообщение о том, что часть сканируемого трафика в дальнейшем может проходить через h2. Вы также можете проверить журналы вашего сервера (например, в файле access.log, если ваш сайт работает на Apache).

Какие функции h2 поддерживаются роботом Googlebot?

Googlebot поддерживает большинство функций, представленных h2. Некоторые функции, такие как отправка на сервер, которые могут быть полезны для рендеринга, все еще оцениваются.

Поддерживает ли робот Googlebot открытый текст HTTP/2 (h2c)?

Нет. Ваш веб-сайт должен использовать HTTPS и поддерживать HTTP/2, чтобы его можно было сканировать по протоколу HTTP/2. Это эквивалентно тому, как это обрабатывают современные браузеры.

Собирается ли робот Googlebot использовать расширение ALPN, чтобы решить, какую версию протокола использовать для сканирования?

Согласование протокола прикладного уровня (ALPN) будет использоваться только для сайтов, на которых разрешено сканирование через h2, и единственным приемлемым протоколом для ответов будет h2. Если сервер отвечает во время рукопожатия TLS с версией протокола, отличной от h2, робот Googlebot откажется и вернется позже на HTTP/1.1.

Как различные функции h2 помогут при сканировании?

Некоторые из многих, но наиболее заметных преимуществ h2 включают в себя:

• Мультиплексирование и параллелизм: Меньшее количество открытых TCP-соединений означает меньше затрат ресурсов.
• Сжатие заголовка: Значительно уменьшенный размер HTTP-заголовка сэкономит ресурсы.
• Пуш сервера: эта функция еще не включена; это все еще находится в стадии оценки. Это может быть полезно для рендеринга, но на данный момент мы не можем сказать об этом ничего конкретного.

Если вы хотите узнать больше о конкретных функциях h2 и их отношении к сканированию, спросите нас на
Твиттер.

Будет ли робот Googlebot сканировать больше или быстрее по h2?

Основным преимуществом h2 является экономия ресурсов как на стороне сервера, так и на стороне робота Google. То, сканируем ли мы с помощью h1 или h2, не влияет на то, как ваш сайт индексируется, и, следовательно, не влияет на то, сколько мы планируем сканировать с вашего сайта.

Есть ли какое-либо преимущество в ранжировании сайта при сканировании по h2?

Нет.