понедельник, 21 сентября 2020 г.

В прошлом году мы выпустили
Парсер и сопоставитель robots.txt которые мы используем в наших производственных системах, в мир с открытым исходным кодом. С тех пор мы видели, как люди создают с его помощью новые инструменты,
делать вклад в библиотеку с открытым исходным кодом (эффективно улучшая наши производственные системы — спасибо!), и выпускайте новые языковые версии, такие как голанг а также
ржавчинакоторые облегчают разработчикам создание новых инструментов.

В связи с окончанием сезона стажировок в Google мы хотели выделить два новых выпуска, связанных с robots.txt, которые стали возможными благодаря двум стажерам, работающим в команде Search Open Sourcing,
Андреа Дутулеску а также
Ян Должанский.

Тест спецификации robots.txt

Во-первых, мы выпускаем
структура тестирования для разработчиков парсера robots.txt, созданный Andreea. Проект предоставляет инструмент тестирования, который может проверить, следует ли парсер robots.txt протоколу исключения роботов и в какой степени. В настоящее время нет официального и тщательного способа оценить правильность синтаксического анализатора, поэтому Andreea создала инструмент, который можно использовать для создания синтаксических анализаторов robots.txt, следующих протоколу.

Парсер и сопоставитель Java robots.txt

Во-вторых, мы выпускаем официальный
Java-порт парсера C++ robots.txt, созданный Яном. Ява — это
3-й по популярности язык программирования
на GitHub, а также широко используется в Google, так что неудивительно, что это самый запрашиваемый языковой порт. Синтаксический анализатор представляет собой 1-к-1 перевод синтаксического анализатора C++ с точки зрения функций и поведения, и он был тщательно протестирован на соответствие большому набору правил robots.txt. Команды уже планируют использовать синтаксический анализатор Java robots.txt в производственных системах Google, и мы надеемся, что вы тоже найдете его полезным.

Как обычно, мы приветствуем ваш вклад в эти проекты. Если вы построили что-то с
Парсер C++ robots.txt или с этими новыми выпусками, дайте нам знать, чтобы мы могли потенциально помочь вам распространить информацию! Если вы обнаружили ошибку, помогите нам исправить ее, открыв задачу на GitHub или непосредственно отправив запрос на включение. Если у вас есть вопросы или комментарии об этих проектах, свяжитесь с нами по
Твиттер!

Нам было искренне приятно принимать у себя Андрею и Яна, и нам грустно, что их стажировка подходит к концу. Их вклад помогает сделать Интернет лучше, и мы надеемся, что сможем снова приветствовать их в Google в будущем.

Сообщение от Эду Переда а также
Гэрикоманда Google Search Open Source