Splunk фантастически дорог: каковы альтернативы?
Возможный дубликат:
Альтернативы Splunk?
Это обсуждалось, но прошло уже несколько месяцев, поэтому, возможно, пришло время вернуться к нему:
Предыдущее обсуждение RE Splunk альтернативы
Для записи, Splunk качается. Но цена просто выше того, что мы можем рассмотреть (когда я говорил сегодня со Splunk, стоимость системы для индексации данных 5 ГБ / день превышает 30000 долларов США).
Это больше, чем мы тратим на SQL Server (в большом количестве), больше, чем мы тратим на стойку серверов (в несколько раз) и т. Д. И т. Д.
Сплоченная команда продаж работает правильно (что за 30 тысяч долларов мы получаем большую ценность и функциональность, чем если бы мы потратили столько же на создание собственной системы), но это не имеет значения. Стоимость спленка просто слишком высока (в несколько раз).
Тааак, мы смотрим вокруг!
Кто-нибудь там строит подобную спленку систему?
Наша основная потребность:
- Возможность прослушивать сообщения системного журнала на нескольких портах udp
- Возможность индексировать входящие данные в асинхронном режиме
- Какой-то поисковик
- Какой-то интерфейс
- API для поисковой системы (для встраивания в нашу консоль)
В настоящее время нам нужно индексировать 3-5 ГБ / день, но мы должны быть в состоянии масштабироваться до 10 ГБ / день и более. Нам не нужно много истории (30 дней это хорошо).
Мы используем серверы Windows 2008 и 2003.
Спасибо за ваши мысли!
ОБНОВЛЕНИЕ: Мы провели две недели, исследуя коммерческие и открытые варианты. Наш вывод: написать свой собственный (мы являемся компанией-разработчиком программного обеспечения... мы знаем, как писать вещи). Мы создали замечательную систему, основанную на mongodb и.NET, которая дает нам необходимые функции от MongoDB примерно за одну инженерную неделю. Сейчас мы завершили нашу реализацию. Мы используем два сервера Mongodb (главный и подчиненный) и можем регистрировать и индексировать любой объем данных журнала (5 ГБ / день, 15 ГБ / день и т. Д.), Ограниченный только дисковым пространством.
ОБНОВЛЕНИЕ ОБНОВЛЕНИЯ (декабрь 2012 г.): Мы продолжаем использовать наше решение mongodb, и оно прекрасно работает! Если бы мы строили его сегодня, мы бы настоятельно рекомендовали построить его поверх эластичного поиска.
ЗАМЕЧАНИЯ: Это пространство нуждается в твердом решении, которое стоит 1000-3000 долларов США. Модели лицензирования, используемые коммерческими фирмами, основаны на моделях "молокоперерабатывающих центров". Это их право (конечно!), Но оно оставляет ОГРОМНОЕ пространство открытым для того, чтобы кто-то вошел под ними. Я предполагаю, что через год или два будет хорошее решение с открытым исходным кодом, которое будет действительно полезным.
Спасибо всем за ваш вклад (даже если это была самореклама).
2 ответа
logstash - это инструмент для управления событиями и журналами. Вы можете использовать его для сбора журналов, их анализа и сохранения для последующего использования (например, для поиска). Говоря о поиске, logstash поставляется с веб-интерфейсом для поиска и детализации всех ваших журналов.
https://www.elastic.co/products/logstash
Это все еще довольно рано в разработке, но звучит очень многообещающе и движется быстро.
У меня нет в уме матрицы сравнения следующего, особенно когда речь идет о сравнении с splunk:
Вот некоторые полностью работающие инструменты:
Octopussy http://www.octopussy.pm/
Logreport http://www.logreport.org/
Snare: http://www.intersectalliance.com/projects/index.html
Вход серфера: http://www.crypt.gen.nz/logsurfer/
Анализатор логов: http://loganalyzer.adiscon.com/
Временная шкала журнала 2: http://log2timeline.net/ (это больше инструмент анализа временной шкалы)
Наконец, если вы хотите выполнить кодирование самостоятельно, но, возможно, у вас есть более масштабируемое решение: (ниже приведены инструменты для сбора данных журнала, им не нужно иметь все функции из коробки для поиска по данным.)
Хону https://github.com/jboulon/Honu
Chukwa http://wiki.apache.org/hadoop/Chukwa
Flume http://archive.cloudera.com/cdh/3/flume/
Редактировать: добавлена ссылка для сравнения: http://csgrad.blogspot.com/2010/07/guided-tour-of-hadoop-zoo-getting-data.html
Редактировать: Добавлен Graylog2: Добавлен Logstash. Logstash, вероятно, является наилучшим на сегодняшний день, чтобы стать "заменой спленка с открытым исходным кодом".