Знаете ли вы, что Google Search ежедневно проверяет около четырех миллиардов имен хостов на предмет robots.txt? Гэри Иллис сказал в декабрьском подкасте Search Off The Record: «У нас есть около четырех миллиардов имен хостов, которые мы проверяем на наличие файла robots.txt каждый день».

Он сказал это 20:31. в видео. Он сказал, что если бы они ежедневно проверяли четыре миллиарда имен хостов, то «количество сайтов, вероятно, было бы выше или, весьма вероятно, превысило бы четыре миллиарда».

Я заметил это видео от Гленна Гейба:

Вот транскрипция:

ГЭРИ ИЛЛИС: Да, я имею в виду, что это одна из проблем, о которой мы говорили вначале. Если мы что-то реализуем или предложим или предложим что-то, что может сработать, это не должно оказывать большего давления на редакторов, потому что, если вы подумаете об этом, если вы посмотрите наш кеш robots.txt, вы увидите, что у нас их около четырех. миллиардов имен хостов, которые мы проверяем каждый день на наличие файла robots.txt. Допустим, у всех из них есть, например, подкаталоги. Таким образом, количество сайтов, вероятно, превышает четыре миллиарда.

ДЖОН МЮЛЛЕР: Сколько из них в Search Console? Я думаю.

ГЭРИ ИЛЛИС: Джон, прекрати.

ДЖОН МЮЛЛЕР: Мне очень жаль.

ГЭРИ ИЛЛИС: В любом случае, если у вас есть четыре миллиарда имен хостов и еще много в подкаталогах, то как реализовать что-то, что не приведет к их банкротству, когда они захотят реализовать механизм отказа от подписки?

ЧИТАТЬ  Мрачный мир наборов данных для обучения ИИ раскрыт

ДЖОН МЮЛЛЕР: Это сложно.

ГЭРИ ИЛЛИС: Это сложно. И я знаю, что люди расстроены, потому что у нас еще чего-то нет. Но это не то, что…

МАРТИН СПЛИТ: Да, к этому следует относиться несерьезно.

ГЭРИ ИЛЛИС: Да.

Вот видео, встроенное во время начала:

Обсуждение на форуме по адресу Икс.



Source