Гэри Иллис поделился приятной новостью LinkedIn через файлы robots.txt. Он сообщил, что лишь небольшое количество файлов robots.txt имеют размер более 500 килобайт. Я имею в виду, что большинство файлов robots.txt содержат несколько строк текста, так что это имеет смысл, но все равно это хороший кусочек знаний.

Гэри просмотрел более миллиарда файлов robots.txt, известных Google Поиску, и обнаружил, что только 7188 из них имели размер более 500 КиБ. Это меньше 0,000719%.

Он написал: «Можно подумать, что из миллиардов (да, с ?) файлов robots.txt, о которых знает Google, более 7188 имеют размер в байтах, превышающий предел обработки в 500 КБ. К сожалению, нет.»

Да, суть SEO здесь в том, что Google может обрабатывать до 500 КБ вашего файла robots.txt, но большинство этих файлов даже близко не приближаются к этому размеру.

Обсуждение на форуме ниже LinkedIn.