Блокировка поисковика ботов directadmin
Я хочу заблокировать некоторых плохих поисковых роботов, таких как MJ12bot, YandexBot и Ezooms. У нас около 200 пользователей в среде directadmin, и мы хотим установить "плагин" или "мод", чтобы заблокировать этот запрос, потому что мы не хотим заходить на каждый сайт, чтобы добавить его в.htaccess.
Есть ли плагин или мод для этого для directadmin, и как он называется?
Спасибо!
1 ответ
Решение
Создайте файл robots.txt со следующим содержимым в (/var/www/html):
User-agent: YandexBot
User-agent: Ezooms
Disallow: /
Добавьте следующее в ваш файл httpd.conf
Alias /robots.txt /var/www/html/robots.txt
Этот файл robots.txt теперь будет обслуживаться для всех виртуальных хостов на вашем сервере, переопределяя любой файл robots.txt, который вы можете иметь для отдельных хостов.