Робот Googlebot постоянно ищет файлы, которых нет на моем сервере
Я размещаю сайт для волонтерской организации. Я переместил сайт на WordPress, но так было не всегда. Я подозреваю, что однажды это было взломано плохо.
Мой файл журнала ошибок Apache за последние 18 часов вырос до 122 КБ. Подавляющее большинство зарегистрированных ошибок имеют следующую форму - сегодня они повторяются сотни раз в моих лог-файлах:
[Mon Nov 12 18:29:27 2012] [error] [client xx.xxx.xx.xxx] File does not exist: /home/*******/public_html/*******.org/calendar.php
[Mon Nov 12 18:29:27 2012] [error] [client xx.xxx.xx.xxx] File does not exist: /home/*******/public_html/*******.org/404.shtml
(Я подтвердил, что xx.xxx.xx.xxx был сервером Google.)
Я подозреваю, что где-то раньше была дыра в безопасности, вероятно, в calendar.phpэксплуатировался.
Файлы больше не существуют, но может быть много обратных ссылок, которые ссылаются здесь, поэтому googlebot так заинтересован в их сканировании.
Как я могу это исправить изящно? Я все еще хотел бы, чтобы Google проиндексировал сайт. Я просто хочу как-то сказать, чтобы больше не искать эти файлы.
1 ответ
Это одна вещь, для которой может использоваться ошибка 410 Gone.
Google и другие поисковые системы могут использовать эту информацию, чтобы определить, что URL больше не является допустимым и, как ожидается, никогда не будет действительным снова, и, таким образом, удалить его из своих индексов.