Это руководство объясняет AhrefsBot.

Ниже вы узнаете, что такое AhrefsBot, как он работает и как управлять этим поисковым роботом на своем веб-сайте с помощью директив, которым подчиняется бот.

Что такое AhrefsBot?

AhrefsBot — это поисковый робот, который компилирует и индексирует базу данных ссылок для набора инструментов цифрового маркетинга Ahrefs. AhrefsBot просматривает Интернет, чтобы заполнить базу данных ссылок новыми ссылками, и проверяет состояние существующих ссылок, чтобы предоставлять самые свежие данные для пользователей Ahrefs.

В настоящее время в базе данных AhrefsBot содержится более 12 триллионов ссылок в Интернете. Эти данные о ссылках используются маркетологами и специалистами по поисковой оптимизации (SEO) для планирования, выполнения и мониторинга своих маркетинговых онлайн-кампаний.

AhrefsBot считается хорошим ботом, используемым в маркетинговых целях, который подчиняется правилам robots.txt и директивам Crawl-Delay со строкой User-Agent: Mozilla/5.0 (совместимо; AhrefsBot/7.0; +http://ahrefs.com/robot/) .

Как работает AhrefsBot?

AhrefsBot автоматически посещает общедоступные веб-страницы и переходит по ссылкам на этих страницах. Процесс сканирования от ссылки к ссылке позволяет AhrefsBot находить новые URL-адреса и неработающие ссылки в Интернете, чтобы обновлять свою базу данных данными о ссылках.

AhrefsBot сканирует более 6 миллиардов веб-страниц каждые 24 часа и обновляет индекс ссылок каждые 15-30 минут. Он использует алгоритмический процесс для определения краулингового бюджета для каждого веб-сайта. В зависимости от ограничения скорости сканирования и запроса, который он назначает веб-сайту, AhrefsBot будет сканировать различное количество веб-страниц во время каждого посещения, чтобы получить данные ссылки.

AhrefsBot также запрограммирован таким образом, что он не сканирует веб-сайт слишком быстро, чтобы избежать его перегрузки, что может привести к тайм-аутам и ошибкам сервера. Он также не собирает и не хранит никакой информации об анализируемых веб-сайтах. AhrefsBot также не инициирует просмотры рекламы и не отображается как трафик посетителей в Google Analytics.

Согласно Отчет о трафике ботов Imperva Incapsula, AhrefsBot — один из самых активных веб-пауков, используемых коммерческими предприятиями для сканирования веб-сайтов и получения информации в целях цифрового маркетинга. AhrefsBot постоянно работает над тем, чтобы дать онлайн-маркетологам лучшее представление об алгоритмах индексации и ранжирования поисковых систем, таких как Google, Yahoo и Bing, чтобы они могли лучше оптимизировать свои веб-сайты и SEO-кампании.

Управление AhrefsBot на вашем сайте

AhrefsBot можно контролировать с помощью файла robots.txt вашего веб-сайта, чтобы изменять частоту посещения сканером вашего веб-сайта и полностью блокировать сканирование ссылок в вашем домене.

Изменение частоты сканирования AhrefsBot

Частоту сканирования AhrefsBot можно изменить, указав минимально допустимую задержку между двумя последовательными запросами в файле robots.txt с помощью этой разметки:

User-agent: AhrefsBot
Crawl-Delay: [value]

Значение Crawl-Delay — это время в секундах. Например, Crawl-Delay: 5.

Блокировка AhrefsBot на вашем сайте

AhrefsBot можно заблокировать от сканирования вашего сайта, добавив следующую разметку в файл robots.txt:

User-agent: AhrefsBot
Disallow: /

AhrefsBot всегда соблюдает директиву Disallow, которая предписывает пауку не сканировать веб-сайт и не позволяет AhrefsBot сохранять данные о ссылках на веб-сайт в своей базе данных; делая его недоступным для пользователей Ahrefs. Однако AhrefsBot нужно время, чтобы принять директиву Disallow, если это новое добавленное изменение в файле robots.txt. После обнаружения AhfefsBot выполнит директиву Disallow во время следующего запланированного сканирования.

Примечание. Вы также можете посетить это связанное руководство о том, как заблокировать SemrushBot, если вы хотите, чтобы этот бот не сканировал ваш сайт. Или прочитайте это вводное руководство по SemrushBot, объясняющее, что это такое и как оно работает.

Список IP-адресов AhrefsBot

AhrefsBot использует диапазоны IP-адресов и отдельные IP-адреса, которые могут быть занесены в белый или черный список для доступа к веб-сканированию, которые вы найдете ниже. Если вам нужна помощь в добавлении этих IP-адресов в черный список для вашего веб-сайта, ознакомьтесь с соответствующим руководством о том, как заблокировать AhrefsBot с образцом кода, который вы можете скопировать и вставить в корневой файл .htaccess вашего веб-сайта.

Диапазоны IP-адресов AhrefsBot

54.36.148.0/24
54.36.149.0/24

195.154.122.0/24
195.154.123.0/24
195.154.126.0/24
195.154.127.0/24
51.222.253.0/26

Индивидуальные IP-адреса AhrefsBot

168.119.64.245
168.119.64.246
168.119.64.247
168.119.64.248
168.119.64.249
168.119.64.250
168.119.64.251
168.119.64.252
168.119.64.253
168.119.64.254
168.119.65.107
168.119.65.108
168.119.65.109
168.119.65.110
168.119.65.111
168.119.65.112
168.119.65.113
168.119.65.114
168.119.65.115
168.119.65.116
168.119.65.117
168.119.65.118
168.119.65.119
168.119.65.120
168.119.65.121
168.119.65.122
168.119.65.123
168.119.65.124
168.119.65.125
168.119.65.126
168.119.65.43
168.119.65.44
168.119.65.45
168.119.65.46
168.119.65.47
168.119.65.48
168.119.65.49
168.119.65.50
168.119.65.51
168.119.65.52
168.119.65.53
168.119.65.54
168.119.65.55
168.119.65.56
168.119.65.57
168.119.65.58
168.119.65.59
168.119.65.60
168.119.65.61
168.119.65.62
168.119.68.117
168.119.68.118
168.119.68.119
168.119.68.120
168.119.68.121
168.119.68.122
168.119.68.123
168.119.68.124
168.119.68.125
168.119.68.126
168.119.68.171
168.119.68.172
168.119.68.173
168.119.68.174
168.119.68.175
168.119.68.176
168.119.68.177
168.119.68.178
168.119.68.179
168.119.68.180
168.119.68.181
168.119.68.182
168.119.68.183
168.119.68.184
168.119.68.185
168.119.68.186
168.119.68.187
168.119.68.188
168.119.68.189
168.119.68.190
168.119.68.235
168.119.68.236
168.119.68.237
168.119.68.238
168.119.68.239
168.119.68.240
168.119.68.241
168.119.68.242
168.119.68.243
168.119.68.244
168.119.68.245
168.119.68.246
168.119.68.247
168.119.68.248
168.119.68.249
168.119.68.250
168.119.68.251
168.119.68.252
168.119.68.253
168.119.68.254

IP-адреса AhrefsBot для Cloudflare

Если вы используете Cloudflare, AhrefsBot может быть заблокирован брандмауэром Cloudflare. Вы можете попробовать использовать диапазоны IP-адресов выше или отдельные IP-адреса ниже, чтобы снять ограничение, добавив их в белый список брандмауэра.

51.222.253.0
51.222.253.1
51.222.253.2
51.222.253.3
51.222.253.4
51.222.253.5
51.222.253.6
51.222.253.7
51.222.253.8
51.222.253.9
51.222.253.10
51.222.253.11
51.222.253.12
51.222.253.13
51.222.253.14
51.222.253.15
51.222.253.16
51.222.253.17
51.222.253.18
51.222.253.19
51.222.253.20
51.222.253.21
51.222.253.22
51.222.253.23
51.222.253.24
51.222.253.25
51.222.253.26
51.222.253.27
51.222.253.28
51.222.253.29
51.222.253.30
51.222.253.31
51.222.253.32
51.222.253.33
51.222.253.34
51.222.253.35
51.222.253.36
51.222.253.37
51.222.253.38
51.222.253.39
51.222.253.40
51.222.253.41
51.222.253.42
51.222.253.43
51.222.253.44
51.222.253.45
51.222.253.46
51.222.253.47
51.222.253.48
51.222.253.49
51.222.253.50
51.222.253.51
51.222.253.52
51.222.253.53
51.222.253.54
51.222.253.55
51.222.253.56
51.222.253.57
51.222.253.58
51.222.253.59
51.222.253.60
51.222.253.61
51.222.253.62
51.222.253.63

Резюме AhrefsBot

Надеюсь, вам понравилось это руководство по AhrefsBot.

Как вы узнали, AhrefsBot — это поисковый робот, который компилирует и индексирует базу данных ссылок для набора инструментов цифрового маркетинга Ahrefs. AhrefsBot работает постоянно, сканируя сеть, чтобы заполнить базу данных ссылок новыми ссылками и проверяя состояние существующих ссылок, чтобы найти мертвые URL-адреса. Этот процесс предоставляет пользователям Ahrefs самые свежие данные. Вы изменяете частоту обхода AhrefsBot вашего веб-сайта и запрещаете ему доступ к вашему сайту через файл robots.txt или IP-адреса.