Описание тега elk

Вопросы с тегом
1 ответ

Разбор или переформатирование логов перед подачей их в Splunk или Elastic Search

У меня есть очень сложные сообщения журнала, которые я хочу сократить до самых важных полей, чтобы сохранить квоту. Сообщения журнала являются многострочными, и в них содержится много избыточной информации. Решение состоит в том, чтобы написать что-…
16 май '19 в 15:30
0 ответов

Анализ события JSON в Logstash

У меня есть журнал в следующем формате, это обычный JSON с вложенными полями. { "level": "info", "message": { "req": { "headers": { "host": "localhost:8080", "connection": "keep-alive", "x-forwarded-for": "192.168.1.1, 1.1.1.1", "x-forwarded-proto":…
12 мар '19 в 09:22
0 ответов

Как обновить данные Logstash в режиме Redshift в режиме реального времени?

Я ищу способ построить конвейер для хранения данных журналов (я использую стек ELK) в AWS Redshift, для аналитики. Я прошел через выходные плагины для ElasticSearch и нашел один для записи данных в AWS S3. Но он записывает данные партиями, а работа …
30 сен '15 в 05:58
1 ответ

Могу ли я установить logstash с сертификатами, сгенерированными в Windows вместо openssl?

Проходя этот урок. Они используют openssl для генерации сертификатов для использования с logstash, то есть этой командой: sudo openssl req -subj '/CN=ELK_server_fqdn/' -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarde…
07 июн '16 в 20:46
1 ответ

Используете Elasticsearch или Logstash выход?

Я прошел несколько уроков по использованию битов для отправки данных в asticsearch. Я заметил, что некоторые учебники предпочитают использовать logstash в качестве выхода, который затем выводит на эластичный поиск. Некоторые другие учебные пособия в…
28 май '19 в 07:35
0 ответов

Filebeat и доступность вниз по течению

Здесь и там я читал, что при использовании Filebeat брокер (например, Redis) может не потребоваться в конвейере журналов (обычно ELK). С официальной страницы Filebeat: [Filebeat] достаточно умен, чтобы иметь дело с [...] временной недоступностью ниж…
23 дек '15 в 09:42
1 ответ

Импортировать данные Elasticsearch 2.X в 6.X?

У меня есть некоторые данные / журналы от Elasticsearch 2.4 и у меня запущен новый Elasticsearch 6.X. Каков наилучший / правильный способ импорта данных из 2.X в 6.x? Спасибо!
21 апр '18 в 09:45
0 ответов

Фильтр logstash: syslog_pri всегда по умолчанию замечает?

Я просматриваю некоторые файлы журналов системного журнала в моем стеке ELK и заметил, что все поля syslog_severity "уведомлены", когда я могу проверить в файлах журналов, что они не "уведомлены". Похоже, что Logstash по умолчанию замечает syslog_se…
07 фев '17 в 16:21
1 ответ

Использование ELK X-pack для общих предупреждений и сигналов тревоги

Пакет X-pack от Elastic полностью интегрирован с Elasticsearch и Kibana для обеспечения (среди прочего) платформы оповещения о тревогах. Я полагаю, что обычным вариантом использования является построение этого из Kibana с аварийными сигналами в резу…
29 окт '16 в 12:26
1 ответ

Автоматическое удаление данных эластичного поиска старше 30 дней

Я настроил стек ELK для сбора журналов на центральном сервере. Работает отлично. Но по умолчанию он постоянно сохраняет индекс / данные эластичного поиска. Мы просто хотим сохранить данные за 30 дней. Кто-нибудь, пожалуйста, укажите мне, как удалить…
20 окт '17 в 08:49
1 ответ

Информация, отправленная из Logstash через эластичный вывод, не отображается в Kibana, но вывод файла работает нормально - что я делаю не так?

У меня есть конфигурация "ELK stack", и сначала я выполнял стандартную подачу системного журнала 'filebeat' из logstash с помощью выходного плагина asticsearch. Работало просто отлично. Теперь я добавил входной порт TCP (с назначенным "типом" для эт…
07 ноя '17 в 20:33
1 ответ

rsyslog 8.24 и несколько omfwd

Я хочу переслать *.* на удаленный хост через TCP/IP.Также у меня есть local0 средство, где сообщения представляют собой простые сообщения JSON, и они должны быть перенаправлены на тот же хост, но на другой порт (и использует тот же сертификат для gT…
26 мар '19 в 23:11
0 ответов

Снимок Elasticsearch для лазури - опция не появляется

Я установил плагин хранилища Azure для 6.7 и настроил для него запись большого двоичного объекта. Указания на https://www.elastic.co/guide/en/elasticsearch/plugins/6.7/repository-azure.html были выполнены, но я не могу ничего написать в BLOB-объект.…
27 мар '19 в 19:07
2 ответа

Устранение неполадок интеграции rsyslog со стеком ELK

Я пытаюсь настроить rsyslog для отправки логов в logstash на CentOS. Итак, я следовал за учебником. Однако после настройки ничего не происходит. Все началось хорошо, не произошла ошибка, но нет логов в asticsearch. Вот мой /etc/rsyslog.conf: #### MO…
08 июн '17 в 06:59
1 ответ

Logstash создает множество соединений TCP для отдельных хостов

Logstash: 5.3.0 nxlog: nxlog-ce-2.9.1716 При проверке Nestat у меня есть около 300 установленных соединений, хотя у меня только около 50 хостов. У меня около 40 соединений для некоторых хостов, когда на стороне клиента есть только одно активное соед…
07 июл '17 в 15:12
1 ответ

ELK logstash и основные шаблоны Grok

Я оцениваю стек ELK с помощью filebeat & logstash для различных приложений / серверов. Я понимаю всю мощь настройки моих собственных шаблонов Grok для каждого приложения / журнала, но для запуска на начальном этапе кажется очень неэффективным вручну…
18 янв '18 в 17:14
0 ответов

Обратный прокси-сервер Google Cloud VM для эластичного стека

У меня есть облачная виртуальная машина Google с ELK (elasticstack) от Bitnami. Панель управления Kibana доступна с помощью URL Также у меня есть logstash с плагином http, на котором я хочу выполнить свой запрос из моего внешнего приложения, чтобы р…
05 июн '18 в 15:22
2 ответа

Как добавить журналы доступа AWS ELB к logstash с входом S3?

Я использую стек ELK для мониторинга сервера. Журналы доступа моего приложения от AWS ELB хранятся в AWS S3. Я пытаюсь добавить их в logstash со следующим вводом: input { s3 { access_key_id => "my_id" secret_access_key => "my_key" bucket =>…
19 янв '16 в 15:14
1 ответ

Ошибка стека лося "невозможно получить отображение, у вас есть индексы, соответствующие шаблону"

Я пытаюсь настроить стек ELK с collectd на Ubuntu 16.04 LTS (так что в значительной степени доступна последняя версия стека) kibana находится за прокси-сервером nginx (следуйте этому руководству https://www.digitalocean.com/community/tutorials/how-t…
20 июн '16 в 03:56
1 ответ

Что такое "io/console не поддерживается; tty не будет манипулировать"?

Что это за сообщение и как я могу от него избавиться? Я использую стек ELK на Windows 8. Все работает нормально, но это сообщение, которое я получаю всякий раз, когда я запускаю logstash, гудит. Это полный вывод, который я получаю, запустив logstash…
19 янв '16 в 08:50