Apple внесла действительно большие изменения в Документация Applebot после мероприятия Apple WWDC, на котором Apple анонсировала Apple Intelligence. Apple добавила больше информации об Applebot, сведениях об обратном DNS, Applebot-Extended и многом другом.
Чтобы внести ясность, Applebot не нов, ему около десяти лет, но теперь, благодаря Apple Intelligence, я думаю, Apple становится более серьезной в этом отношении? Изменение в документ было внесено 11 июня, на следующий день после выступления Apple.
Важным моментом в области искусственного интеллекта Applebot является то, что Apple добавила Applebot-Extended, аналогичный Googlebot-Extended, для целей искусственного интеллекта. Как отметил Гленн Гейб Икс в пятницу: «Вы можете заблокировать Applebot-Extended. Таким образом, вы можете отказаться от участия через robots.txt -> Apple заявляет, что не тренирует свои модели на личных данных пользователей или взаимодействиях с ними, а вместо этого полагается на лицензированные материалы, общедоступные в Интернете. данные.»
Многое изменилось, но вот расширенная часть Applebot:
Помимо соблюдения всех правил и директив robots.txt, у Apple есть дополнительный пользовательский агент Applebot-Extended, который дает веб-издателям дополнительный контроль над тем, как Apple может использовать контент их веб-сайта.
С помощью Applebot-Extended веб-издатели могут отказаться от использования контента своего веб-сайта для обучения базовым моделям Apple, обеспечивающим генеративные функции искусственного интеллекта в продуктах Apple, включая Apple Intelligence, сервисы и инструменты разработчика.
Вы можете добавить правило в robots.txt, чтобы запретить Applebot-Extended, следующим образом:
Пользовательский агент: Applebot-Extended Disallow: /private/
Applebot-Extended не сканирует веб-страницы. Веб-страницы, на которых запрещен Applebot-Extended, все равно могут быть включены в результаты поиска. Applebot-Extended используется только для определения того, как использовать данные, сканируемые пользовательским агентом Applebot.
Разрешение Applebot-Extended поможет со временем улучшить возможности и качество генеративных моделей искусственного интеллекта Apple.
Apple также добавила следующие новые разделы:
Узнайте об Applebot, веб-сканере Apple.
Данные, сканируемые Applebot, используются для поддержки различных функций, таких как технология поиска, интегрированная во многие пользовательские возможности экосистемы Apple, включая Spotlight, Siri и Safari. Включение Applebot в robots.txt позволяет контенту веб-сайта появляться в результатах поиска для пользователей Apple по всему миру в этих продуктах.
Applebot получает доступ ко многим видам ресурсов с веб-серверов, включая, помимо прочего, файл robots.txt, карты сайта, RSS-каналы, HTML, дополнительные ресурсы, необходимые для отображения таких страниц, как JavaScript, запросы Ajax, изображения и многое другое.
Другой способ — сопоставить IP-адрес с префиксом CIDR, содержащимся в следующем файле JSON: IP-CIDR Applebot.
Обратный DNS
В macOS команду хоста можно использовать, чтобы определить, является ли IP-адрес частью Applebot. В этих примерах показана команда хоста и ее результат:
Команду хоста можно использовать, чтобы определить, является ли IP-адрес частью Applebot. В этих примерах показана команда хоста и ее результат:
$ хост 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com имеет адрес 17.58.101.179.
Команду хоста также можно использовать для проверки того, что DNS указывает на один и тот же IP-адрес:
Пользовательские агенты
Пользовательский агент помогает веб-мастерам идентифицировать трафик сканеров, чтобы они могли получать точные отчеты журнала доступа об активности сканеров и контролировать доступ к сайту через robots.txt.
Applebot поддерживает несколько пользовательских агентов, включая поиск и подкасты.
Поиск
Для сканирования и рендеринга поискового веб-сайта Applebot использует следующий формат:
Строка пользовательского агента содержит «Applebot» и другую информацию. Ниже приведен общий формат:
Mozilla/5.0 (Устройство; версия_ОС) AppleWebKit/WebKit_версия (KHTML, например Gecko)Версия/Safari_версия [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)
Apple Подкасты
Трафик iTMS также может исходить с хостов applebot.apple.com и будет идентифицироваться следующим пользовательским агентом:
Пользовательский агент: iTMS
Пользовательский агент iTMS не следует за файлом robots.txt, поскольку он не является обычным поисковым сканером. Он сканирует только URL-адреса, связанные с зарегистрированным контентом в Apple Podcasts.
Как я уже сказал, многое изменилось между старая версия и новая версия.
Вы можете сравнить два документа в своем любимом инструменте сравнения текстов.
СТАРЫЙ:
НОВЫЙ:
Обсуждение на форуме Икс.
