Как я могу рекомендовать Google прочитать новый файл robots.txt?
Я только что обновил свой файл robots.txt на новом сайте; Инструменты Google для веб-мастеров сообщают, что прочитали мой файл robots.txt за 10 минут до моего последнего обновления.
Можно ли как-нибудь посоветовать Google перечитать мой robots.txt как можно скорее?
ОБНОВЛЕНИЕ: под конфигурацией сайта | Crawler Access | Тест robots.txt:
Доступ к домашней странице показывает:
Робот Googlebot заблокирован с http://my.example.com/
К вашему сведению: файл robots.txt, который Google последний раз читал, выглядит следующим образом:
User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /
Я выстрелил себе в ногу, или он в конечном итоге будет читать: http:///robots.txt (как это было в прошлый раз, когда он читал это)?
Любые идеи о том, что мне нужно сделать?
4 ответа
В случае, если кто-то столкнется с этой проблемой, есть способ заставить google-bot повторно загрузить файл robots.txt.
Зайдите в Health -> Fetch as Google [1] и получите его /robots.txt
Это повторно загрузит файл, и Google также повторно проанализирует файл.
[1] в предыдущем пользовательском интерфейсе Google это было "Диагностика -> Выбрать как GoogleBot".
Я знаю, что это очень старая версия, но... Если вы загрузили неправильный файл robots.txt (запрещающий все страницы), вы можете попробовать следующее:
- сначала исправьте файл robots.txt, чтобы разрешить правильные страницы, затем
- загрузите sitemap.xml со своими страницами
Когда Google пытается прочитать карту сайта xml, он проверяет ее снова на robots.txt, заставляя Google перечитать ваш файл robots.txt.
После того, как возникла такая же проблема, я успешно заставил Google перечитать мой файл robots.txt, отправив по этому URL-адресу:
ХОРОШО. Вот что я сделал, и через несколько часов Google перечитал мои файлы robots.txt.
У нас есть 2 сайта для каждого 1 сайта, который мы запускаем. Давайте назовем их каноническим сайтом (www.mysite.com) и сайтом с пустым доменом (mysite.com).
У нас настроены сайты, так что mysite.com всегда возвращает 301, перенаправляющий на www.mysite.com.
Как только я настроил оба сайта в инструментах Google для веб-мастеров, сказал, что www.mysite.com является каноническим сайтом, вскоре после этого он прочитал файл robots.txt на каноническом сайте.
Я действительно не знаю почему, но это то, что случилось.
Сократить интервал сканирования Google на несколько дней.
Кроме того, я видел там, чтобы проверить ваш robots.txt, это может заставить его гуглить, но я не уверен.