Способы блокировки поисковых ботов


Ответы

Способ I: Файл robots.txt

User-agent: *
Disallow: /login

User-agent: AhrefsBot
Disallow: /

Способ II: Файл .htaccess

Способ III: Настройка Apache

CentOS/RHEL

cat << EOF > /etc/httpd/bot.conf
SetEnvIfNoCase User-Agent bing bad_bot
SetEnvIfNoCase User-Agent MJ12 bad_bot
SetEnvIfNoCase User-Agent Ahrefs bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot
EOF

Debian/Ubuntu

cat << EOF > /etc/apache2/bot.conf
SetEnvIfNoCase User-Agent bing bad_bot
SetEnvIfNoCase User-Agent MJ12 bad_bot
SetEnvIfNoCase User-Agent Ahrefs bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot
EOF

Внутрь тега Directory

Include /etc/apache2/bot.conf

Require env bad_bot

Способ IV: Настройка Nginx

cat << EOF > /etc/nginx/vhosts-includes/disable_bots.conf
if ($http_user_agent ~* Baiduspider|AhrefsBot|SemrushBot|mj12bot|bingbot) {
   return 403;
   break;
}
EOF