Робот Google не может получить доступ к моему сайту. Инструменты для веб-мастеров. Ответить Недоступно robots.txt

Когда я пытаюсь получить свой сайт как googlebot в инструментах для веб-мастеров, он возвращает Unreachable robots.txt, после исследования я понял, что робот Google может видеть мой сервер:

tcpdump | grep google

Он возвращает, что Google может получить доступ к моему серверу с IP-адресом aa.bb.cc.xx или aa.bb.cc.yy. но нет ничего в access_log или error_log или других логах apache.

cat access_log | grep google or cat error_log | grep aa.bb.cc.xx

Другой бот (Bing,...) может получить доступ к Apache, но Google не может.

В моем нет проблем robots.txt или его разрешения, потому что, как вы знаете, robots.txt нет необходимости, поэтому я удаляю его, но снова инструменты для веб-мастеров вернули "Unreachable robots.txt", а не 404 не найден!

Информация о сервере:

• Серверная ОС: CentOS 6
• Веб-сервер: Apache 2.x
• Брандмауэр: IPTables остановлен
• SELinux отключен
• На моем сервере больше не нужно думать о безопасности.

Как я могу исследовать проблему и есть ли какая-либо другая команда, которая может помочь мне найти проблему?