Google обновил код парсера с открытым исходным кодом robots.txt на GitHub в другой день. Вчера утром Гэри Иллис из Google отправил обновление в репозиторий. Google впервые запустил анализатор по всему миру в 2019 году.

Гэри Иллес объяснил LinkedIn что этот обновленный парсер уже некоторое время используется Google, но теперь Google выпустил это обновление на GitHub.

Гэри написал: «В этом релизе представлены новые функции класса парсера, которые позволяют экспортировать информацию о синтаксическом анализе переданного тела robotstxt, а также добавлена ​​новая библиотека для доступа к этой информации. Эта новая библиотека уже много лет используется Google Search Console ( в сочетании с портом Java), и до сих пор у нас не было никаких проблем, если у вас есть, сообщите о проблеме на GitHub!

Когда Google впервые выпустил этот парсер, Google написал, что он «открыл исходный код библиотеки C++, которую наши производственные системы используют для анализа и сопоставления правил в файлах robots.txt». Эта библиотека существует уже 20 лет и содержит фрагменты кода, написанные в 90-х годах. С тех пор библиотека развивалась; Мы узнали много нового о том, как веб-мастера пишут файлы robots.txt, и об особых случаях, которые нам нужно было охватить, а также добавили то, что узнали за эти годы, в Интернет-проект, где это имело смысл. «

Обсуждение на форуме по адресу LinkedIn.