Программное обеспечение для анализа файлов веб-журналов для измерения поисковых роботов
Мне нужно проанализировать, как происходит сканирование поисковых систем на моем сайте. Есть ли хороший инструмент для этого? Я пробовал AWStats и Sawmill. Но оба из них дают мне очень ограниченное понимание ползания. Мне нужно знать информацию, например, сколько уникальных / отдельных веб-страниц в разделе моего сайта было просканировано определенным сканером за определенный период времени.
Google Analytics вообще не отслеживает сканирование благодаря своему механизму отслеживания JavaScript.