Описание тега googlebot

Вопросы с тегом
2 ответа

Заблокировать поддельные гугл боты

Как я могу блокировать DDOS-атаки с помощью поддельных ботов Google? Я нашел 2 решения в сети. Но оба, кажется, блокируют и правильные боты Google. # Block fake google when it's not coming from their IP range's (A fake googlebot) [F] => Failure R…
02 ноя '15 в 19:22
1 ответ

Как я могу предложить Google сканировать новый файл robots.txt?

Я только что обновил свой файл robots.txt на новом сайте; Google Webmaster Tools сообщает, что он прочитал мой robots.txt за 2 дня до моего последнего обновления. у моего последнего файла robots.txt был "disallow: all" raw. Можно ли как-нибудь посов…
04 авг '14 в 18:30
0 ответов

Apache дублирует каждый запрос GET, сделанный Googlebot

Система: Linux 3.10.47.core2.24Apache: Скорее всего версия 2.2 (не могу это проверить)Серверный API: Обработчик Apache 2.0Apache API версия: 20051115 В логах запросы выглядят так: 94.*.*.* - - [26/Nov/2014:01:06:52 +0100] "GET /zegarki/adriatica/zeg…
28 ноя '14 в 10:07
1 ответ

Apache: при подключениях к Googlebot один процесс забирает всю память сервера

После https://faultserver.ru/questions/418735/unbelievable-issue-a-single-apache-process-takes-4-gb-of-memory я публикую новый вопрос, потому что я смог определить тот факт, что он происходит, когда клиент подключается к Googlebot. Под "этим" я подр…
17 авг '12 в 23:35
0 ответов

Устранение неполадок при фильтрации googlebot из журнала доступа apache

Хотя кажется, что это должно быть довольно просто, я не смог настроить apache так, чтобы запросы googlebot не сохранялись в журнале доступа. Я пробовал следующие строки: SetEnvIfNoCase User-Agent googlebot dontlog BrowserMatchNoCase googlebot dontlo…
07 апр '15 в 12:42
1 ответ

Разрешить Google обходить брандмауэр Nginx

Поэтому я ищу систему, которая по сути возвращает 401 для каждого посетителя, у которого нет определенного cookie. Я хотел бы сделать это так, если посетитель / запросчик Google, то он не возвращает 401. Вот следующий код, который у меня есть, и он,…
24 фев '16 в 00:15
1 ответ

Google-бот отключается на совершенно нормальном robots.txt, затем на несуществующем robots.txt

У меня есть два доменных имени, указывающих на один и тот же виртуальный сервер. Одним из них, http://ilarikaila.com/, является веб-сайт рабочей брошюры, который я создал для друга. Я использовал другой, http://teemuleisti.com/, чтобы протестировать…
15 май '14 в 08:24
1 ответ

Робот Googlebot постоянно ищет файлы, которых нет на моем сервере

Я размещаю сайт для волонтерской организации. Я переместил сайт на WordPress, но так было не всегда. Я подозреваю, что однажды это было взломано плохо. Мой файл журнала ошибок Apache за последние 18 часов вырос до 122 КБ. Подавляющее большинство зар…
13 ноя '12 в 02:51
1 ответ

Как исправить подключение сервера googlebot

Я получаю сообщение об ошибке "Подключение к серверу" в инструменте Google для веб-мастеров. Я подозреваю, что это из-за правил iptables, которые я установил, чтобы противостоять некоторым атакам DDoS, хотя я не уверен, какие правила могут иметь отн…
23 июл '12 в 21:58
1 ответ

Робот Google не может получить доступ к моему сайту. Инструменты для веб-мастеров. Ответить Недоступно robots.txt

Когда я пытаюсь получить свой сайт как googlebot в инструментах для веб-мастеров, он возвращает Unreachable robots.txt, после исследования я понял, что робот Google может видеть мой сервер: tcpdump | grep google Он возвращает, что Google может получ…
27 окт '13 в 06:15
1 ответ

Почему googlebot запрашивает robots.txt с моего SSH-сервера?

Я запускаю ossec на своем сервере и периодически получаю предупреждение, подобное этому: Received From: myserver->/var/log/auth.log Rule: 5701 fired (level 8) -> "Possible attack on the ssh server (or version gathering)." Portion of the log(s)…
19 ноя '13 в 19:40
1 ответ

fail2ban ignoreip Пример хоста DNS?

Я хотел бы добавить ".googlebot.com" в список игнорирования iplist для fail2ban, поскольку в объяснении ignore ip упоминается хост DNS в качестве принятого ввода. Это правильный формат? # "ignoreip" can be an IP address, a CIDR mask or a DNS host. F…
13 дек '13 в 04:34
0 ответов

nginx обслуживает другой html файл для googlebot

У меня есть угловое приложение через nginx. Для googlebot я хочу использовать другой статический html-файл, чтобы он мог правильно индексировать, правильна ли следующая конфигурация nginx? (Я не хочу усложнять настройку с помощью phantomjs, я хочу и…
15 окт '13 в 14:17
1 ответ

Блокировать Googlebot на определенной странице с помощью nginx

В настоящее время мы сканируем с большей скоростью, чем мы можем справиться. Я не могу получить nginx, блокирующий Googlebot server { location /ajax/sse.php { if ($http_user_agent ~* "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bo…
23 мар '17 в 18:33
1 ответ

Googelbot находит мой оригинальный URI, хотя у меня есть рабочая директива перезаписи

Я имею: RewriteRule ^Article/([^/]*)$ /article.php?newsid=$1 [L] Это означает, что URL должен быть //example.com/Article/855563но гугл ползает //example.com/article.php?newsid=855563, Что я могу сделать, чтобы предотвратить это? Или перенаправить 30…
14 мар '19 в 13:30
1 ответ

apache переписать синтаксис

Попытка заблокировать доступ бота Google и других к некоторым моим сайтам. Дело в том, что у меня есть одна коробка, в которой находится масса файлов виртуальных хостов, которые не делают ничего, кроме прокси-пропуска на другие серверы. Я хотел бы з…
20 мар '13 в 15:37
1 ответ

Перемещен веб-сайт на новый сервер - обновлен DNS - сканеры веб-сайтов все еще обращаются к старому сайту по IP

Около десяти дней назад я переместил сайт - в основном дискуссионную доску Joomla - на новый сервер с другим IP-адресом. Во время короткого запланированного простоя я, как обычно, реплицировал контент и завершал переключение DNS (через Cloudflare), …
18 ноя '15 в 20:26
1 ответ

Что делать со случайными символьными запросами, поступающими от googlebot, например, vvytnoxvontwusz.html?

Один из моих сайтов получал запросы от googlebot, порядка: example-log:66.249.79.216 - - [06/Apr/2016:15:36:56 -0700] "GET /vvytnoxvontwusz.html HTTP/1.1" 404 15136 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" TLSv1…
07 апр '16 в 00:43
1 ответ

Как запретить роботу Google Favicon звонить на мой сайт?

У меня есть некоторый внутренний URL-адрес, который я использую для себя только в Google Chrome. Это не открытая публика. Однако по какой-то причине этот бот "Google Favicon" ip, расположенный на Google, называют этот URL, который я не хочу. Я предп…
20 апр '16 в 03:54
0 ответов

Включение TLS/SSL с SNI для подмножества веб-сайтов без потери рейтинга SEO на сайтах, не относящихся к TLS

На AWS мы запускаем несколько серверов LAMP с несколькими десятками веб-сайтов, которые клиенты платят нам за разработку, сборку и размещение. Это серверы Ubuntu 14.04 с Varnish, Apache и PHP. В настоящее время, если клиент хочет использовать SSL/TL…
01 мар '17 в 13:42