Заблокировать поддельные гугл боты

Как я могу блокировать DDOS-атаки с помощью поддельных ботов Google?

Я нашел 2 решения в сети. Но оба, кажется, блокируют и правильные боты Google.

# Block fake google when it's not coming from their IP range's (A fake googlebot) [F] => Failure
RewriteCond %{HTTP:X-FORWARDED-FOR} !^66\.249\.(6[4-9]|[78][0-9]|9[0-5])\.
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5\.0\ \(compatible;\Googlebot/2\.[01];\ \+http://www\.google\.com/bot\.html\)$ [NC]
RewriteRule .* - [F,L]
# End if match

А вот и второй:

# Validate Googlebots
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5\.0\ \(compatible;\ Googlebot/2\.[01];\ \+http://www\.google\.com/bot\.html\)$
RewriteCond %{HTTP:Accept} ^\*/\*$
RewriteCond %{HTTP:Accept-Encoding} ="gzip,deflate"
RewriteCond %{HTTP:Accept-Language} =""
RewriteCond %{HTTP:Accept-Charset} =""
RewriteCond %{HTTP:From} ="googlebot(at)googlebot.com"
RewriteCond %{REMOTE_ADDR} ^66\.249\.(6[4-9]|7[0-9]|8[0-46-9]|9[0-5])\. [OR]
RewriteCond %{REMOTE_ADDR} ^216\.239\.(3[2-9]|[45][0-9]|6[0-3])\.0
# Optional reverse-DNS-lookup replacement for IP-address check lines above
# RewriteCond %{REMOTE_HOST} ^crawl(-([1-9][0-9]?|1[0-9]{2}|2[0-4][0-9]|25[0-5])){4}\.googlebot\.com$
RewriteRule ^ - [S=1]
## Block invalid Googlebots
RewriteCond %{HTTP_USER_AGENT} Googlebot [NC]
RewriteRule ^ - [F]
# END sending now 403 to fake Googebots

Кто-нибудь может предложить решение, чтобы заблокировать DDOS-атаки с помощью поддельных googlebots?

2 ответа

Представленные вами два метода разрешают на основе известного диапазона IP-адресов. Вы хотите убедиться, что соответствие регулярному выражению соответствует действительности и что диапазон, который вы проверяете, является тем, что Google фактически использует. Если вы на самом деле находитесь под "DDoS", я не предлагаю использовать опцию обратного просмотра DNS в вашем файле.htaccess.

В качестве альтернативы вы можете использовать "брандмауэр веб-приложений". Как Sucuri, так и CloudFlare предлагают сервис для фильтрации этого типа трафика (и других вредоносных программ) и могут значительно сократить количество запросов "плохих ботов", которые вы обслуживаете.

- CloudFlare: https://www.cloudflare.com/waf/

- Sucuri: https://sucuri.net/website-firewall/

Вот где приходит брандмауэр. Брандмауэры имеют специальные встроенные цели, некоторые из которых предназначены именно для этого.

Я бы посмотрел на межсетевые экраны ASA или Dell SonicWall. По умолчанию это все равно блокирует что-то подобное.

Другие вопросы по тегам