В этом руководстве объясняется, как заблокировать SemrushBot от сканирования веб-сайта.

Ниже вы найдете это руководство, разделенное на два раздела: первая часть включает шаги по блокировке каждого агента пользователя SemrushBot, который используется программным обеспечением Semrush для сканирования содержимого веб-сайта и данных ссылок, а вторая часть содержит полный набор правил. вы можете скопировать и вставить в файл robots.txt, чтобы предотвратить доступ всех ботов Semrush к вашему сайту.

К концу этой страницы вы будете знать, как сделать данные вашего веб-сайта недоступными для пользователей Semrush, которые пытаются проанализировать домен для поисковой оптимизации (SEO) и кампаний цифрового маркетинга.

Примечание. Если вы хотите узнать больше о том, что такое SemrushBot и как он работает, см. соответствующую страницу на SemrushBot. Вы также можете бесплатно попробовать Semrush, воспользовавшись моей партнерской ссылкой, чтобы протестировать все его возможности для своих SEO-кампаний и убедиться, что установленные вами правила блокировки правильно работают на вашем веб-сайте.

Как заблокировать SemrushBot

SemrushBot можно заблокировать, изменив файл robots.txt на Disallow the User-Agent. После блокировки пользовательского агента SemrushBot паук не сможет сканировать веб-сайт.

1. Заблокировать основного SemrushBot

Добавьте следующее правило в файл robots.txt, чтобы заблокировать основной SemrushBot, который создает веб-график ссылок для сайта, о которых сообщается в инструменте Backlink Analytics:

User-agent: SemrushBot
Disallow: /

2. Заблокировать SemrushAuditBot

Это правило не позволит SemrushBot сканировать ваш сайт для SEO-аудита и технических проблем:

ЧИТАТЬ  Playbook от Digital Advertiser 2025

User-agent: SiteAuditBot
Disallow: /

3. Заблокировать SemrushBot-BA

Это правило robots.txt запрещает SemrushBot сканировать ваш сайт с помощью инструмента аудита обратных ссылок:

Закажите стратегический вызов с уточненным содержанием
User-agent: SemrushBot-BA
Disallow: /

4. Заблокировать SemrushBot-SI

Эта директива блокирует доступ SemrushBot к вашему сайту с помощью инструмента On Page SEO Checker:

User-agent: SemrushBot-SI
Disallow: /

5. Заблокировать SemrushBot-SWA

Это правило robots.txt запрещает SemrushBot проверять отдельные веб-страницы для анализа с помощью инструмента SEO Writing Assistant:

User-agent: SemrushBot-SWA
Disallow: /

6. Заблокировать SemrushBot-CT

Эта директива запрещает SemrushBot сканировать ваш сайт с помощью инструментов Content Analyzer и Post Tracking:

User-agent: SemrushBot-CT
Disallow: /

7. Заблокировать SplitSignalBot

Это правило запрещает Semrush SplitSignalBot сканировать ваш сайт в поисках инструмента SplitSignal, который используется для проведения A/B-тестирования для цифрового маркетинга:

User-agent: SplitSignalBot
Disallow: /

8. Заблокировать SemrushBot-COUB

Эту директиву robots.txt можно использовать, чтобы заблокировать доступ SemrushBot к вашему веб-сайту для инструмента Content Outline Builder:

User-agent: SemrushBot-COUB
Disallow: /

Блокировка всех пользовательских агентов SemrushBot

Если вы хотите заблокировать каждого агента пользователя SemrushBot на своем веб-сайте, вы можете скопировать и вставить следующий код в файл robots.txt веб-сайта:

User-agent: SemrushBot
Disallow: /
User-agent: SiteAuditBot
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: SemrushBot-CT
Disallow: /
User-agent: SplitSignalBot
Disallow: /
User-agent: SemrushBot-COUB
Disallow: /

Примечание: AhrefsBot также можно заблокировать с помощью директивы Disallow в файле robots.txt. См. соответствующее руководство о том, как заблокировать AhrefsBot, если вы хотите, чтобы этот бот не сканировал ваш сайт.

Подробности о блокировке задержек

SemrushBots может занять от одного часа до 100 запросов, чтобы обнаружить изменения, внесенные в ваш файл robots.txt, и соблюдать эти директивы для сканирования веб-сайта. Если вы хотите убедиться, что SemrushBot соблюдает ваши правила, вы можете бесплатно попробовать Semrush и самостоятельно протестировать различные инструменты, чтобы увидеть, работают они или нет.

ЧИТАТЬ  Робот, сопоставляющий выражения, будет преследовать вас во сне, но однажды он может стать вашим единственным другом.

Сводка по блокировке SemrushBot

Надеюсь, вам понравилось это руководство о том, как заблокировать SemrushBot.

Как вы обнаружили, SemrushBot можно заблокировать, изменив файл robots.txt на Disallow the User-Agent. После блокировки основного агента пользователя SemrushBot паук не сможет сканировать веб-сайт для регистрации данных для веб-графика ссылок. Однако у Semrush есть несколько пользовательских агентов для каждого бота, который собирает данные веб-сайта для своего набора инструментов.

Следовательно, вам придется заблокировать доступ к веб-сайту для каждого агента пользователя в отдельности (как описано в этом руководстве), чтобы сделать его недоступным для пользователей Semrush, которые пытаются проанализировать домен для кампаний цифрового маркетинга и SEO.



Source link