Уважает ли GoogleBot User-agent: *
Я заблокировал страницу в robots.txt под User-agent: * и попытался вручную удалить этот URL из кэша Google в инструментах для веб-мастеров. Google сказал, что он не был заблокирован в моем файле robots.txt, поэтому я заблокировал его специально под User-agent: GoogleBot и попытался удалить его снова, и на этот раз это сработало. Означает ли это, что Google не уважает User-agent: * или что?
3 ответа
GoogleBot должен правильно следовать правилам User-agent: *Однако он не будет обновлять свой кеш, пока GoogleBot снова не просканирует ваш сайт, что занимает некоторое время. Google не сообщает точное минимальное время между обходами, но я бы предположил, что оно составляет от 15 до 30 минут.
Входящие ссылки также сделают URL проиндексированным Google. Не было бы индекса фактического содержания
Если бы инструменты для веб-мастеров сказали, что robots.txt не блокирует их, я бы сказал, что в вашем файле robots.txt произошла ошибка. Google определенно соблюдает User-Agent, поэтому что-то еще должно быть не так. Вы можете более подробно ознакомиться с файлом robots.txt на страницах справки в Инструментах Google для веб-мастеров.
В моем опыте удаление индекса занимает 24-48 часов, хотя я видел, что это происходит всего за 5 часов.