Splunk: Как извлечь поля из расширенного формата W3C
Я пытаюсь настроить Splunk для правильного разбора полей формата журнала W3C.
Теперь я сталкиваюсь с путаницей конфигурации: где и как мне указать, как разделить формат журнала?
Мой Inputs.conf выглядит так:
[monitor://C:\WINDOWS\system32\LogFiles\W3SVC98989898]
disabled = false
host = mywebsite.net
sourcetype = iis
Я попытался добавить это в мой sourcetypes.conf:
[iis_w3c_default]
DELIMS = " "
FIELDS = "date", "time", "cs-method", "cs-uri-stem", "cs-uri-query", "cs-username", "c-ip", "cs-version", "cs(User-Agent)", "cs(Referer)", "sc-status", "sc-bytes"
Но использование ths в качестве исходного типа не позволило извлечь какие-либо значимые поля.
Я думаю, я просто не понимаю всего, что делает Сплунк...
Как только у меня все заработает, я планирую переиндексировать все мои данные с новыми полями (что само по себе будет тяжелым испытанием).
Я действительно, очень хочу любить Splunk, но конфигурация слишком шаткая...
2 ответа
Вы можете отфильтровать строки, начинающиеся с #, используя преобразование.
В файле props.conf (вы можете просто добавить дополнительную строку ниже существующей настройки):
[iis_w3c_default]
TRANSFORMS-blacklist-hash = iis_blacklist_hash
В transforms.conf:
[iis_blacklist_hash]
REGEX = ^#
DEST_KEY = queue
FORMAT = nullQueue
Вот что я сделал:
и т.д. \ система \ Local\props.conf:
[iis_w3c_default]
REPORT-foobar=iis_w3c_default_extractions
и т.д. \ система \ Local\transforms.conf:
[iis_w3c_default_extractions]
DELIMS = " "
FIELDS = "date", "time", "cs-method", "cs-uri-stem", "cs-uri-query", "cs-username", "c-ip", "cs-version", "cs(User-Agent)", "cs(Referer)", "sc-status", "sc-bytes"
Обновлюсь, как только я выясню, как удалить строки, в которых есть символ "#".