SpecialistOff.NET / Вопросы / Статьи / Фрагменты кода / Резюме / Метки / Помощь / Файлы
Список вопросов ПечатьМетки: nginx apache http .htaccess robots.txt
| RemiZOffAlex Создано: 2017-04-10 08:45:14.962689 Обновлено: 2017-04-10 08:45:14.962689 |
|---|
Способ I: Файл robots.txtUser-agent: * Disallow: /login User-agent: AhrefsBot Disallow: / Способ II: Файл .htaccessСпособ III: Настройка ApacheCentOS/RHELcat << EOF > /etc/httpd/bot.conf SetEnvIfNoCase User-Agent bing bad_bot SetEnvIfNoCase User-Agent MJ12 bad_bot SetEnvIfNoCase User-Agent Ahrefs bad_bot Order Allow,Deny Allow from all Deny from env=bad_bot EOF Debian/Ubuntucat << EOF > /etc/apache2/bot.conf SetEnvIfNoCase User-Agent bing bad_bot SetEnvIfNoCase User-Agent MJ12 bad_bot SetEnvIfNoCase User-Agent Ahrefs bad_bot Order Allow,Deny Allow from all Deny from env=bad_bot EOF Внутрь тега Directory Include /etc/apache2/bot.conf Require env bad_bot Способ IV: Настройка Nginx
cat << EOF > /etc/nginx/vhosts-includes/disable_bots.conf
if ($http_user_agent ~* Baiduspider|AhrefsBot|SemrushBot|mj12bot|bingbot) {
return 403;
break;
}
EOF
|