Как добавить журналы доступа AWS ELB к logstash с входом S3?

Я использую стек ELK для мониторинга сервера. Журналы доступа моего приложения от AWS ELB хранятся в AWS S3. Я пытаюсь добавить их в logstash со следующим вводом:

input {
  s3 {
    access_key_id => "my_id"
    secret_access_key => "my_key"
    bucket => "my_bucket"
    region => "region"
    prefix => "AWSLogs/828557649675/elasticloadbalancing/eu-west-1/**/**/**/*.log"
    type => "elb"
  }
}

Но ничего не добавляется в logstash, что я делаю не так? У меня есть другой способ добавить их в logstash? Части фильтра и вывода, кажется, в порядке, поэтому я не публикую их.

Примечание: я использую версию logstash 2.1

Источник

2 ответа

Решение

Похоже, префикс должен быть, так как плагин не поддерживает globs (*):

 prefix => "AWSLogs/828557649675/elasticloadbalancing/eu-west-1/"

Полный пример:

input {
  s3 {
    access_key_id => "my_id"
    secret_access_key => "my_key"
    bucket => "my_bucket"
    region => "region"
    prefix => "AWSLogs/828557649675/elasticloadbalancing/eu-west-1/"
  }
}
Источник

Не могли бы вы добавить sincedb_path => "/tmp/alb-sincedb" и оставить префикс как prefix => "AWSLogs/"?

Также было бы здорово, если бы вы установили последнюю версию input s3 gem. Я думаю, что я видел изменения, связанные с итерацией объектов внутри корзины с использованием префикса с использованием API ресурсов V2. Моя текущая версия logstash-input-s3-3.1.2.gem,

Источник
Другие вопросы по тегам