Рекомендуется черный список агента пользователя
Perishable Press часто публикует черный список управляемых пользовательских агентов, который блокирует плохих ботов, которые используют директивы htaccess.
Статью можно найти здесь: http://perishablepress.com/press/2009/03/29/4g-ultimate-user-agent-blacklist/
Вы бы порекомендовали использовать такой черный список? Основная цель - уменьшить количество запросов на моих серверах, потому что я вижу, что боты, посещающие мой сайт, потребляют много трафика.
ура
2 ответа
Как правило, да, если это соответствует вашим требованиям / потребностям, если только нет конкретных конфликтов, которые вы можете найти с их определениями и / или подходами. Благоразумным способом является очень тщательный мониторинг во время его первоначальной реализации, чтобы гарантировать, что он соответствует вашим потребностям, без каких-либо непредвиденных / неожиданных побочных эффектов.
Вам лучше использовать robots.txt контролировать ботов с хорошим поведением и запрашивать ограничение скорости для злых ботов. Вы не можете использовать что-либо, контролируемое клиентом, для ботов с плохим поведением, потому что они могут изменить себя, чтобы избежать ваших фильтров.