Как я могу использовать fail2ban для блокировки скребков?

Question

Как я могу использовать fail2ban для блокировки скребков?

У меня есть медиа-сайт и проблемы пользователей, которые приходят и соскребают весь контент. Я поместил невидимый URL на страницу, чтобы ловить пауков, которые немедленно блокируют ip, но некоторые люди выяснили схему URL и создают свои собственные сценарии.,

Все фильтры fail2ban, которые я видел до сих пор, имеют дело с неудачными попытками входа в систему, но я хочу иметь более продвинутый и обнаруживающий, затем ограничивающий скорость и / или блокирующий злоумышленников. URL-адреса, используемые скребками, действительны, поэтому, если они будут работать достаточно медленно, я не смогу сказать, но я думаю, что смогу не пускать любителей через fail2ban.

Как я могу правильно реализовать этот фильтр в fail2ban при минимальном количестве ложных срабатываний на законных пользователях?

2

apache-2.2 fail2ban rate-limiting block scraping

Источник

coneybeare 13 июн '11 в 02:11

1 ответ

Решение

Другие вопросы по тегам apache-2.2 fail2ban rate-limiting block scraping

MrTuttle 13 июн '11 в 06:33 2011-06-13 06:33 · Accepted Answer · 2011-06-13 06:33

Я не совсем уверен, что fail2ban - правильный инструмент здесь; Возможно, вы захотите посмотреть на что-то вроде mod_security ( http://www.modsecurity.org/). Вы сможете отслеживать запросы из сеанса или ip-контекста, определять правила для описания подозрительного трафика, а затем соответственно отклонять / замедлять его.

РЕДАКТИРОВАТЬ: Вы не указали, поэтому я просто предполагаю, что вы используете Apache.