Справочный документ Google Crawl Budget добавляет раздел If-Modified-Since
Google добавил новый раздел в справочный документ по управлению краулинговым бюджетом. Новый раздел предназначен для заголовка запроса If-Modified-Since. Раздел называется «Укажите изменения содержимого с помощью кодов состояния HTTP». Google написал“Google обычно поддерживает заголовки HTTP-запросов If-Modified-Since и If-None-Match для сканирования. Сканеры Google не отправляют заголовки при всех попытках сканирования; это зависит от варианта использования запроса (например, …
Справочный документ Google Crawl Budget добавляет раздел If-Modified-Since Читать полностью »
