Статистика из огромных логов IIS

Question

Статистика из огромных логов IIS

У нас есть веб-сайт, который ежемесячно создает около 100 ГБ файлов журналов IIS. Мы хотели бы получить статистику из этих журналов, например, наиболее посещаемые URL-адреса, аутентифицированные пользователи с большинством запросов и т. Д. И т. Д. Мы также хотели бы получить некоторые базовые функции детализации, например, чтобы увидеть, какие URL-адреса наиболее часто используются пользователями.

Мы протестировали несколько различных инструментов для этого, но не нашли один, который не сталкивается с проблемами производительности. Например, мы попробовали SmarterStats и предоставили ему 500 ГБ журналов, но он работал со 100% -ной загрузкой ЦП в течение нескольких дней, а через несколько дней произошел сбой службы. Я знаю о Microsoft Log Parser, но мне нужен инструмент для создания простых для понимания графиков, который позволяет мне углубляться в детали.

Есть ли инструмент для этого, который может обрабатывать терабайты файлов журналов?

0

iis log-files statistics

Источник

nitramk 17 сен '13 в 06:20

1 ответ

Другие вопросы по тегам iis log-files statistics

Alex H 17 сен '13 в 06:35 2013-09-17 06:35 · Answer 1 · 2013-09-17 06:35

После этого я использовал анализатор логов IIS, после чего логи можно отправлять в MSSQL с помощью SSIS, а из БД можно создавать все виды графиков.

Первоначально для сортировки журналов и подготовки их к анализатору журналов я использовал Power Shell, который их упорядочивает, с помощью 7zip для передачи их между серверами.