Перемещен веб-сайт на новый сервер - обновлен DNS - сканеры веб-сайтов все еще обращаются к старому сайту по IP
Около десяти дней назад я переместил сайт - в основном дискуссионную доску Joomla - на новый сервер с другим IP-адресом. Во время короткого запланированного простоя я, как обычно, реплицировал контент и завершал переключение DNS (через Cloudflare), и большая часть трафика следовала за ним - все реальные пользователи могут получить доступ к сайту в новом месте, и, как кажется, большинство веб-сканеров Запросы.
Тем не менее, у меня все еще есть веб-сканеры, пытающиеся получить доступ к моему сайту по старому IP. И я имею в виду, в частности, по IP-адресу - хотя они пытаются сканировать допустимые пути, которые теперь существуют на новом сервере. Это в первую очередь GoogleBot, хотя я также вижу отдельные записи BingBot или Yahoo Slurp. Журналы Apache показывают 1-2 обращения в минуту на старом сервере.
Однако все три бота выполняют большую часть сканирования на новом сервере.
Я удалил содержимое со старого сервера, поэтому эти запросы удовлетворяются с помощью 404. Существует ли соглашение для сканеров как-то индексировать по IP-адресу сервера?
Есть ли способ заставить их посмотреть на новый сайт? Стоит ли активно пытаться перенаправить их с помощью пользовательских кодов ошибок HTTP?
1 ответ
Обновление кеша DNS на этих сканерах может занять смехотворное количество времени, но мне кажется, что 10 дней растянуты. OTOH вы говорите, что они попали на ваш сайт по IP, что, безусловно, ошибочно. TBH это больше похоже на плохую ссылку где-то и тот факт, что ваш веб-сервер не перенаправляет IP-адреса на фактические URL-адреса FQDN, а затем сканер продолжает просматривать собственные относительные ссылки сайта (но это только предположение).
Я не стал бы беспокоиться о перенаправлениях, если только вы не собираетесь запускать этот старый сервер в течение долгого времени, чтобы сделать это. Например, мы внедрили SSL целый год назад (с перенаправлением 301), но мы все еще получаем много запросов по обычному HTTP. И они являются прямыми ссылками на конкретные ресурсы (например, загрузки), поэтому они не вводят основной адрес без указания https://. Пока вы продолжаете служить ему, они будут продолжать использовать его.
Если эти же боты будут сканировать и ваш новый сервер, я бы не стал возражать. Мои 2 цента.