Программное обеспечение для анализа файлов веб-журналов для измерения поисковых роботов

Мне нужно проанализировать, как происходит сканирование поисковых систем на моем сайте. Есть ли хороший инструмент для этого? Я пробовал AWStats и Sawmill. Но оба из них дают мне очень ограниченное понимание ползания. Мне нужно знать информацию, например, сколько уникальных / отдельных веб-страниц в разделе моего сайта было просканировано определенным сканером за определенный период времени.

Google Analytics вообще не отслеживает сканирование благодаря своему механизму отслеживания JavaScript.

1 ответ

Решение

Clarity - это интерфейс интерфейса, похожий на Splunk.

Logstash должен быть в состоянии помочь вам с тем, что вам нужно.

Другие вопросы по тегам