Журнал мониторинга наборов инструментов для Unix?
Какие хорошие инструменты для мониторинга журналов в системе? В настоящее время я использую logsentry, который в основном просто запускает grep для журналов, игнорирует регулярные выражения, я говорю это игнорировать, и отправляет мне все остальное по почте, но я хотел бы найти что-то немного "умнее" (т.е. могу понять, что такое журнал Postfix это нечто большее, чем просто ряд строк, на которые можно наткнуться, и тому подобное - контекстуальное знание).
На сервисах не работает ничего особо экзотического - apache, memcached, postgres, postfix, openssh, squid, bind, mailman. Самое странное, что работает, - это монотонность, которую я не ожидал бы, чтобы какой-либо анализатор логов поддерживал ее (поэтому было бы неплохо, если бы ее было легко расширить с пониманием дополнительных услуг).
Что-то, что может анализировать и суммировать информацию в почасовых или ежедневных отчетах (например, 15 404, зарегистрированных в этом файле журнала Apache, 3 входа этого пользователя с IP-адресов x, y и z, 5 писем, отправленных этим пользователем, и 150 полученных этим другим пользователь, диск X заполнен на 90%, 3000 неудачных попыток ssh с этих случайных IP-адресов и т. д.) были бы идеальными.
Я просмотрел несколько списков инструментов мониторинга журналов для Unix, но большинство из них, кажется, сводятся к tail -f или же grep, Я надеюсь, что есть что-то, что я упустил.
4 ответа
Я думаю о мониторинге в двух видах. Существует мониторинг текущего состояния и ведение истории этого на сервере мониторинга, а также есть история мониторинга (журналы).
Некоторая информация, которую вы перечислили, на самом деле не предназначена для мониторинга через журналы. Например, дисковое пространство лучше отслеживать с помощью плагина, который вызывает команду df или что-то в этом роде. Поэтому я хотел бы рассмотреть этот мониторинг текущего состояния, даже если вы ведете учет этого.
Мне нравится Splunk для мониторинга журналов, но это дорого, если вам нужно делать то, чего не делает бесплатная версия. Для мониторинга таких вещей, как дисковое пространство, если процесс запущен, использование процессора и т. Д., Лично мне нравится Nagios. Две пары хорошо вместе, я думаю.
Вы можете найти что-то, что хорошо справится с обоими этими действиями, но я бы не стал пытаться заставить один тип использовать другой (например, Nagios для мониторинга журналов), это, вероятно, будет немного хакерским.
Вы можете использовать Octopussy для всей информации, которую вы просили. (за исключением "90% диска заполнено", как сказал Кайл, вероятно, лучше контролировать мониторы системы, такие как Nagios, Zabbix,...)
Octopussy - это решение для управления журналом для:
- Поиск в ваших логах
- Поднять оповещения из логов
- Генерация отчетов из журналов
С Octopussy вы можете "легко" создавать отчеты о чем угодно из любых журналов. (может быть не так "просто", потому что вам нужно немного поработать, чтобы определить шаблоны логов и отчеты, но после этой первой работы вы получите действительно много сил)
Отказ от ответственности: я работаю над Octopussy.
То, что вы хотите, это OSSEC, серьезно. Это легко ставит logsentry, logwatch и аналогичные.
Это делает именно это по умолчанию, обнаруживая веб-сканирование, грубые атаки и многие другие проблемы, используя анализ журнала (или обнаружение вторжения на основе журнала, как они это называют).
Попробуйте, это самый простой инструмент для установки (просто запустите их скрипт install.sh) и наслаждайтесь.
Ссылка: http://www.ossec.net/
Я полагаю, что Logwatch, который установлен и активен как в Debian, так и в Redhat, выполняет многие отчеты, которые вы ищете. Я ожидаю, что есть много совпадений с тем, что вы получаете из logsentry. По какой-то причине конфиги logwatch в Redhat производят большой объем (esp samba log), делая его более бесполезным, в отличие от более плотных отчетов logwatch из Debian.
Лично я вкладываю больше в наблюдение только за тем, что может стать критическим. У меня есть задания cron, чтобы проверить, видят ли устройства RAID все исправные диски, и если нет, напишите мне. Я использую cacti для отображения активной и общей очереди на серверах MX и SMTP (по сценарию оболочки, запрашиваемому через snmp). Точно так же у меня есть ежедневные статистические данные в журналах постфикса, которые отображаются в кактусах. Denyhosts блокирует чрезмерные сбои аутентификации ssh или других сервисов и корень электронной почты. Даже температуру в серверной комнате можно отслеживать, получая температуру ИБП APC (используйте apsupsd) и отображая ее в кактусах. Cacti также будет отображать график использования диска, нагрузки на сервер и т. Д. Отличительной особенностью графиков является то, что они будут показывать вам тренды в течение недель или лет, которые вы, возможно, не воспримете иначе. Например, сколько спама помечено или тенденции дискового пространства. Это учитывает будущее планирование.