Вы когда -нибудь задумывались, какие сапоги SEO самые заблокированные? Это может повлиять на качество данных, предоставленных инструментами.
Блокировка этих роботов в основном окажет влияние на индекс ссылки инструмента. Они не смогут ползать по страницам, чтобы они не могли проверить, где связаны эти страницы. Это не имеет значения для оценок трафика, рейтинга ключевых слов, верхних страниц и т. Д. Они построены из разных источников данных.
Для Ahrefs это также повлияет на функцию истории страниц, которая показывает изменения в ваших страницах с течением времени, которые вам могут понадобиться в какой -то момент. Ahrefsbot также питает индекс нашей поисковой системы, ДаТаким образом, блок Ahrefsbot означает, что вы не покажете результаты поиска YEP.
Мы рассмотрели около 140 миллионов веб -сайтов, чтобы увидеть, как частота была заблокирована рецидивовые роботы. Я хотел бы поблагодарить нашего ученых за данные Xibeijia guan Чтобы нарисовать эти данные.
Вот 3 основных самых заблокированных роботов SEO:
- MJ12Bot (Majestic)Полем Заблокировано на 6,49% всех сайтов.
- SemrushbotПолем Заблокировано на 6,34% всех сайтов.
- АхрефсботПолем Заблокировано 6,31% всех сайтов.
Мы изучили общее количество веб -сайтов, блокирующих ботов. Есть много способов блокировать сапоги с помощью robots.txt, что объясняет их, в том числе:
- Явные блокигде упоминается бот и запрещен
- Общие блокигде все роботы можно заблокировать
- Все случаи, когда директива Столько же ботаПосле заблокированного всех ботов
Конференции: это не включает в себя какой -либо другой тип блоков, такого как брандмауэры или IP -блоки.
Как я упоминал ранее, наиболее заблокированным ботом является MJ12Bot de Majestic. Я подозреваю, что есть некоторые причины для этого.
- Это распределенный робот, что означает, что вы не можете искать или блокировать их по IPS, что делает их менее надежными.
- Они дольше ползали в Интернете.
- У них есть меньшая пользовательская база, чем более популярная, и, следовательно, меньше инструментов для ссылки на рычаги для удаления всех блоков.
Вот самые заблокированные роботы SEO:
И общие сайты, блокирующие SEO -ботинки:
Вот данные:
| Название бота | Считать | Процент процента | Оператор бота |
|---|---|---|---|
| MJ12bot | 9081205 | 6.49 | Величественный |
| Semrushbot | 8868486 | 6.34 | Сабля |
| Ахрефсбот | 8831316 | 6.31 | Ахрефс |
| дотбот | 8569766 | 6.13 | Моз |
| Блекс | 8374216 | 5.99 | SEO PowerSuit |
| Serpstatbot | 7878935 | 5.63 | Сертстат |
| DataForseObot | 7872939 | 5.63 | DATAFORSEO |
| Semrushbot-ct | 7855400 | 5.62 | Сабля |
| Лаять | 7804425 | 5.58 | Огромный |
| Semrushbot-ba | 7796785 | 5.57 | Сабля |
| Semrushbot-Swa | 7789812 | 5.57 | Сабля |
| Semsrushbotter | 7789062 | 5.57 | Сабля |
| Seokicks | 7758904 | 5,55 | Seokicks |
| Кричащая лягушка Seo Spider | 7711108 | 5.51 | Лягушка плачет |
| LinkDexbot | 7704425 | 5.51 | LinkDex |
| Domainstatsbot | 7696944 | 5.5 | Domainstats |
| Зомбот | 7669495 | 5.48 | Seozoom |
| Сайт Siteckerbotcrawler | 7666545 | 5.48 | Sitechecker |
| Коколизебот | 7666233 | 5.48 | Cocoolyser |
| Сейпиль | 7664228 | 5.48 | Сетка |
| Сенетобот | 7655145 | 5.47 | Сенето |
| Гипестат | 7648671 | 5.47 | Гипестат |
| Онлайн-Webceo | 7648444 | 5.47 | Вебцео |
| Груплер сортировал | 7648139 | 5.47 | Яркий |
| Сепаратор | 7648112 | 5.47 | Сепаратор |
Это становится немного сложнее, чтобы анализировать. Для вышесказанного мы изучили основной файл роботов для веб-сайта, но каждый поддомен может иметь свой собственный набор инструкций. Если мы посмотрим на роботы ~ 461 м. Вот лучшие 5:
- Semrushbot: 5,76%
- Dotbot (Moz): 5,34%
- MJ12Bot (Majestic): 4,96%
- Блекс: 4,88%
- Ахрефсбот: 4,67%
Для этой меры мы ищем только случаи, когда конкретному боту отказывается. Он не включает в себя какую -либо глобальную инструкцию или случаи, когда могут быть разрешены только определенные роботы. В этих случаях веб -сайты сделали все возможное, чтобы специально блокировать определенных роботов.
Бот де -величественный является наиболее целенаправленным, за которым следует бот Моз.
Вот наиболее заблокированные боты ссылки по явным упоминаниям:
Вот количество веб -сайтов, явно блокирующих роботов SEO:
Вот данные:
| Название бота | Считать | Процент процента | Оператор бота |
|---|---|---|---|
| MJ12bot | 2000372 | 1.43 | Величественный |
| дотбот | 1402305 | 1 | Моз |
| Ахрефсбот | 1350771 | 0,97 | Ахрефс |
| Semrushbot | 1285857 | 0,92 | Сабля |
| Блекс | 861184 | 0,62 | SEO PowerSuit |
| Serpstatbot | 354683 | 0,25 | Сертстат |
| DataForseObot | 284694 | 0,2 | DATAFORSEO |
| Лаять | 276332 | 0,2 | Огромный |
| Seokicks | 219961 | 0,16 | Seokicks |
| Semrushbot-ct | 211895 | 0,15 | Сабля |
| LinkDexbot | 166405 | 0,12 | LinkDex |
| Domainstatsbot | 157053 | 0,11 | Domainstats |
| Semrushbot-ba | 154349 | 0,11 | Сабля |
| Semsrushbotter | 147999 | 0,11 | Сабля |
| Semrushbot-Swa | 146261 | 0,1 | Сабля |
| Зомбот | 125310 | 0,09 | Seozoom |
| Сайт Siteckerbotcrawler | 122574 | 0,09 | Sitechecker |
| Коколизебот | 121737 | 0,09 | Cocoolyser |
| Сейпиль | 117558 | 0,08 | Сетка |
| Кричащая лягушка Seo Spider | 87673 | 0,06 | Лягушка плачет |
| Сенетобот | 54978 | 0,04 | Сенето |
| Гипестат | 861 | 0 | Гипестат |
| Сенетобот | 54978 | 0,04 | Сенето |
| Гипестат | 861 | 0 | Гипестат |
| Онлайн-Webceo | 659 | 0 | Вебцео |
| Груплер сортировал | 289 | 0 | Яркий |
| Сепаратор | 253 | 0 | Сепаратор |
Мы изучили 1 -метровые верхние участки DR, которые выстраиваются на участках с DR> 45. Semrush является наиболее заблокированным, за которым следуют величественный и Моз.
Вот как это разрушается для каждого отдельного бота в разных категориях веб -сайтов. Первые 3:
- Autos_and_veho: 39%
- Books_and_literating: 27%
- Недвижимость: 17%
Пройти запросы бота в Cloudflare RadarAhrefs, безусловно, самый быстрый робот в SEO -пространстве. ~ 4,6 раза быстрее, чем Моз и ~ 6,7 раза быстрее, чем Semrush.
