Настройка и тестирование сервера журналов, с менеджером журналов с открытым исходным кодом
Я пытался настроить новый централизованный сервер регистрации и запустить его для некоторого тестирования и столкнулся с некоторыми проблемами.
Первая часть заключается в том, что я установил Kibana, но ничего не могу проиндексировать, попробовал большую часть собственных проблем Kibanas. Кажется, что он не будет читать удаленные файлы журналов, даже не может индексировать стандартные журналы как сообщения, аудит и так далее. Любые хорошие указатели на то, что я могу делать неправильно? Также пробовал ELSA, на другом сервере, и та же проблема там. Такое чувство, что Elastisearch не работает ни с какими журналами, отправленными или на диске.
Есть ли хороший способ использовать старые журналы и попробовать поиск и индексацию на этих серверах ?
Вторая часть. У кого-нибудь есть хороший указатель на то, как вы должны тестировать серверы журналов и как обрабатывать журналы от множества различных устройств, таких как брандмауэры, коммутаторы, маршрутизаторы, Windows и Linux-машины. Я сосредоточился в основном на rsyslog. Syslog-ng лучше для этого? или я должен попробовать что-то совершенно другое?
Прямо сейчас я использую виртуальные машины с Centoos и Ubuntu-сервером. Кроме того, в качестве создателя журнала также есть старые журналы, созданные с сервера prod linux с базой данных SQL. Еще не начали с crontab и хотели бы, чтобы сначала работал менеджер журналов. Итак, я вижу, что я могу делать пользовательские поиски, а что нет. Также думал о том, чтобы иметь хранилище в другой системе. Какие проблемы это может мне дать?
2 ответа
Сколько логов у вас есть за день?
Если это менее 500 МБ, вы можете увидеть спленк. Это довольно крутой инструмент, который позволяет легко индексировать журналы и строить графики / корреляции. Конечно, стоит попробовать. Кроме того, splunk индексирует каждое поле отдельно, так что обработка разных форматов предусмотрена по умолчанию.
По крайней мере, в моем случае мы используем rsyslog для Linux-машин и Snare для Windows. Все они собраны в кластер машин, а затем обрабатываются с помощью splunk.
В противном случае, если вы хотите использовать кластер вместо одного компьютера, вы можете использовать corosync, кардиостимулятор и glusterfs для синхронизации между ними (а затем любое приложение, которое вы хотите поверх этого для визуализации).
Полное раскрытие: я основатель LogZilla.
Вы можете попробовать LogZilla. Просто скачайте виртуальную машину и закажите eval лицензию с сайта. Eval - это (практически) неограниченная лицензия на 30 дней, и, как только вы начинаете отправлять на нее логи, у нее есть "биржевая биржа", которая запускается в верхнем правом углу главной страницы - она мгновенно выдаст вам входящие Количество событий в секунду (EPS), чтобы вы могли оценить свои потребности. После того, как этот сервер проработал около 24 часов, вы можете перейти в каталог scripts и запустить:
./LZTool -v -r ss
И он проведет анализ, чтобы предсказать дальнейшие потребности в размерах сервера (ожидаемый диск и память). Последняя версия LogZilla может обрабатывать более 1 Б событий в день, и для запроса этих данных требуется всего около 5 секунд. Вы также можете импортировать старые журналы, используя скрипт, включенный в источник, расположенный в scripts/contrib/syslog2logzilla
Кроме того, LogZilla является бесплатным для 1M событий / день.