Как оценить ограничение сканирования Google моего блока IP?
У меня есть несколько сайтов в /24 сеть, которую все регулярно сканируют в Google. Обычно это нормально. Однако, когда Google начинает сканировать все сайты одновременно, небольшой набор серверов, поддерживающих этот IP-блок, может сильно пострадать от нагрузки.
С помощью инструментов Google для веб-мастеров вы можете ограничить количество роботов Google в данном домене, но я пока не нашел способа ограничить бота в IP-сети. У кого-нибудь есть опыт с этим? Как ты это починил?
4 ответа
Если вы запускаете BGP, вы можете просто ограничить скорость AS15169 (AS-GOOGLE), но выполнение этого вручную, вероятно, будет слишком подвержено ошибкам.
Вы можете зайти в Google и создать учетную запись с помощью инструмента для веб-мастеров, а затем вы можете контролировать скорость сканирования для каждого сайта. Перейдите в Конфигурация сайта:: Настройки:: Скорость сканирования. Это не позволит вам планировать свои сайты в определенном порядке, я не верю, но вы можете по крайней мере замедлить его для всех из них.
Я нашел эти заметки интересными для продолжения
- Получите умный robots.txt и другие сообщения robots.txt там
- Пост о Google Dirty Little Secret от кого-то, кто был обеспокоен роботами Google
- Сканеры Google
Нет, не кататься Вы должны поместить это в robots.txt на каждом сайте. Google- по праву - не нужно платить за "владельцев IP-адресов", так сказать. Все управление происходит от robots.txt на сайтах.