Nginx не показывает строку агента пользователя
Я уже давно занимаюсь проблемой на одном из моих серверов. Короче говоря, сервер получает огромные скачки нагрузки - до 50 - но сайт почти не получает трафика. Я знаю, что это может быть связано с плохими стандартами кодирования, большими процессами PHP и плохо сформированными инструкциями MySQL, однако сайт обычно работает 90% времени.
Я проверял журналы доступа во время всплесков, и чаще всего это какой-то неизвестный сканер сайтов, который пытается загрузить миллион страниц одновременно и вызывает проблемы.
Однако недавно я получил журналы доступа, которые показывают что-то похожее на:
127.0.0.1 - - [13/Aug/2014:08:39:55 -0700] "GET /index.php HTTP/1.1" 200 20579 "-" "-"
где нет строки агента пользователя. Что меня обычно не волнует, кроме того, что этот неизвестный пользовательский агент запрашивает сотни страниц в течение нескольких секунд, которые начинаются с ошибок HTTP 200, затем 499, а при перегрузке сервера получается 502, а затем 503 ошибки. Так что я не могу заблокировать его в robots.txt или любом другом черном списке, потому что у меня нет ничего для черного списка / запрета.
Стек представляет собой стандартные ubuntu, nginx, php-fpm, MySQL с кэшированием Varnish.
Кто-нибудь знает, что здесь происходит?