В этом руководстве объясняется, как запретить AhrefsBot сканировать веб-сайт.

Ниже вы найдете три метода блокировки AhrefsBot с помощью файла robots.txt, правил .htaccess и брандмауэра Cloudflare. Любой из этих вариантов предотвратит доступ AhrefsBot к веб-сайту для сканирования данных о его ссылках и сделает его недоступным для пользователей Ahrefs, которые пытаются проанализировать домен для поисковой оптимизации (SEO) и кампаний цифрового маркетинга.

Если вы хотите узнать больше о том, что такое AhrefsBot и как он работает, посетите эту соответствующую страницу на AhrefsBot.

Как заблокировать AhrefsBot

1. Используйте правило блокировки robots.txt

AhrefsBot можно заблокировать от посещения вашего сайта, добавив следующее правило в файл robots.txt:

User-agent: AhrefsBot
Disallow: /

AhrefsBot всегда соблюдает директиву Disallow, которая предписывает пауку не сканировать веб-сайт и блокирует AhrefsBot от сохранения данных о ссылках на сайт в своей базе данных. Однако AhrefsBot нужно время, чтобы принять директиву Disallow, если это новое добавленное изменение в файле robots.txt. После обнаружения AhfefsBot выполнит директиву Disallow во время следующего запланированного сканирования.

Примечание. SemrushBot также можно заблокировать с помощью директивы Disallow в файле robots.txt. См. соответствующее руководство о том, как заблокировать SemrushBot, если вы хотите, чтобы этот бот не сканировал ваш сайт.

2. Используйте правило блокировки .htaccess

AhrefsBot можно заблокировать с помощью правила запрета IP-адресов в корневом файле .htaccess веб-сайта. AhrefsBot использует как отдельные IP-адреса, так и диапазоны IP-адресов, поэтому вам нужно запретить их все, чтобы бот не сканировал веб-сайт.

Order Allow,Deny
Deny from 54.36.148.0/24
Deny from 54.36.149.0/24
Deny from 195.154.122.0/24
Deny from 195.154.123.0/24
Deny from 195.154.126.0/24
Deny from 195.154.127.0/24
Deny from 51.222.253.0/26
Deny from 168.119.64.245
Deny from 168.119.64.246
Deny from 168.119.64.247
Deny from 168.119.64.248
Deny from 168.119.64.249
Deny from 168.119.64.250
Deny from 168.119.64.251
Deny from 168.119.64.252
Deny from 168.119.64.253
Deny from 168.119.64.254
Deny from 168.119.65.107
Deny from 168.119.65.108
Deny from 168.119.65.109
Deny from 168.119.65.110
Deny from 168.119.65.111
Deny from 168.119.65.112
Deny from 168.119.65.113
Deny from 168.119.65.114
Deny from 168.119.65.115
Deny from 168.119.65.116
Deny from 168.119.65.117
Deny from 168.119.65.118
Deny from 168.119.65.119
Deny from 168.119.65.120
Deny from 168.119.65.121
Deny from 168.119.65.122
Deny from 168.119.65.123
Deny from 168.119.65.124
Deny from 168.119.65.125
Deny from 168.119.65.126
Deny from 168.119.65.43
Deny from 168.119.65.44
Deny from 168.119.65.45
Deny from 168.119.65.46
Deny from 168.119.65.47
Deny from 168.119.65.48
Deny from 168.119.65.49
Deny from 168.119.65.50
Deny from 168.119.65.51
Deny from 168.119.65.52
Deny from 168.119.65.53
Deny from 168.119.65.54
Deny from 168.119.65.55
Deny from 168.119.65.56
Deny from 168.119.65.57
Deny from 168.119.65.58
Deny from 168.119.65.59
Deny from 168.119.65.60
Deny from 168.119.65.61
Deny from 168.119.65.62
Deny from 168.119.68.117
Deny from 168.119.68.118
Deny from 168.119.68.119
Deny from 168.119.68.120
Deny from 168.119.68.121
Deny from 168.119.68.122
Deny from 168.119.68.123
Deny from 168.119.68.124
Deny from 168.119.68.125
Deny from 168.119.68.126
Deny from 168.119.68.171
Deny from 168.119.68.172
Deny from 168.119.68.173
Deny from 168.119.68.174
Deny from 168.119.68.175
Deny from 168.119.68.176
Deny from 168.119.68.177
Deny from 168.119.68.178
Deny from 168.119.68.179
Deny from 168.119.68.180
Deny from 168.119.68.181
Deny from 168.119.68.182
Deny from 168.119.68.183
Deny from 168.119.68.184
Deny from 168.119.68.185
Deny from 168.119.68.186
Deny from 168.119.68.187
Deny from 168.119.68.188
Deny from 168.119.68.189
Deny from 168.119.68.190
Deny from 168.119.68.235
Deny from 168.119.68.236
Deny from 168.119.68.237
Deny from 168.119.68.238
Deny from 168.119.68.239
Deny from 168.119.68.240
Deny from 168.119.68.241
Deny from 168.119.68.242
Deny from 168.119.68.243
Deny from 168.119.68.244
Deny from 168.119.68.245
Deny from 168.119.68.246
Deny from 168.119.68.247
Deny from 168.119.68.248
Deny from 168.119.68.249
Deny from 168.119.68.250
Deny from 168.119.68.251
Deny from 168.119.68.252
Deny from 168.119.68.253
Deny from Deny from 168.119.68.254
Allow from all

3. Заблокируйте с помощью Cloudflare

Если вы используете Cloudflare, вы можете добавить приведенные ниже отдельные IP-адреса в черный список брандмауэра, чтобы запретить AhrefsBot сканировать веб-сайт.

51.222.253.0
51.222.253.1
51.222.253.2
51.222.253.3
51.222.253.4
51.222.253.5
51.222.253.6
51.222.253.7
51.222.253.8
51.222.253.9
51.222.253.10
51.222.253.11
51.222.253.12
51.222.253.13
51.222.253.14
51.222.253.15
51.222.253.16
51.222.253.17
51.222.253.18
51.222.253.19
51.222.253.20
51.222.253.21
51.222.253.22
51.222.253.23
51.222.253.24
51.222.253.25
51.222.253.26
51.222.253.27
51.222.253.28
51.222.253.29
51.222.253.30
51.222.253.31
51.222.253.32
51.222.253.33
51.222.253.34
51.222.253.35
51.222.253.36
51.222.253.37
51.222.253.38
51.222.253.39
51.222.253.40
51.222.253.41
51.222.253.42
51.222.253.43
51.222.253.44
51.222.253.45
51.222.253.46
51.222.253.47
51.222.253.48
51.222.253.49
51.222.253.50
51.222.253.51
51.222.253.52
51.222.253.53
51.222.253.54
51.222.253.55
51.222.253.56
51.222.253.57
51.222.253.58
51.222.253.59
51.222.253.60
51.222.253.61
51.222.253.62
51.222.253.63

Заблокировать сводку AhrefsBot

Надеюсь, вам понравилось это руководство о том, как заблокировать AhrefsBot.

Как вы узнали, есть три способа заблокировать AhrefsBot от сканирования веб-сайта: с помощью файла .robots.txt, правил .htaccess и брандмауэра Cloudflare. Любой из этих вариантов предотвратит доступ AhrefsBot к веб-сайту для сканирования данных о его ссылках и сделает его недоступным для пользователей Ahrefs, которые пытаются проанализировать домен для кампаний цифрового маркетинга и SEO.