Получение облачного фронта регистрируется в logstash: ОШИБКА: не является допустимым аргументом для этой оболочки, потому что он не отвечает на "чтение"

Logstash версия 1.5.0.1

Я пытаюсь использовать входной плагин logstash s3 для загрузки журналов облачного фронта и плагин облачного кодека для фильтрации потока.

Я установил кодек Cloudfront с bin/plugin install logstash-codec-cloudfront,

Я получаю следующее: Ошибка: Объект: #Version: 1.0 не является допустимым аргументом для этой оболочки, потому что он не отвечает на "чтение".

Вот полное сообщение об ошибке из /var/logs/logstash/logstash.log

 {:timestamp=>"2015-08-05T13:35:20.809000-0400", :message=>"A plugin had an unrecoverable error. Will restart this plugin.\n  Plugin: <LogStash::Inputs::S3 bucket=>\"[BUCKETNAME]\", prefix=>\"cloudfront/\", region=>\"us-east-1\", type=>\"cloudfront\", secret_access_key=>\"[SECRETKEY]/1\", access_key_id=>\"[KEYID]\", sincedb_path=>\"/opt/logstash_input/s3/cloudfront/sincedb\", backup_to_dir=>\"/opt/logstash_input/s3/cloudfront/backup\", temporary_directory=>\"/var/lib/logstash/logstash\">\n  Error: Object: #Version: 1.0\n is not a legal argument to this wrapper, cause it doesn't respond to \"read\".", :level=>:error}

Мой конфигурационный файл logstash: /etc/logstash/conf.d/cloudfront.conf

input {
  s3 {
    bucket => "[BUCKETNAME]"
    delete => false
    interval => 60 # seconds
    prefix => "cloudfront/"
    region => "us-east-1"
    type => "cloudfront"
    codec => "cloudfront"
    secret_access_key => "[SECRETKEY]"
    access_key_id => "[KEYID]"
    sincedb_path => "/opt/logstash_input/s3/cloudfront/sincedb"
    backup_to_dir => "/opt/logstash_input/s3/cloudfront/backup"
    use_ssl => true
  }
}

Я успешно использую подобный поток ввода s3, чтобы мои журналы cloudtrail попадали в logstash, основанный на ответе из сообщения stackoverflow.

CloudFront log-файл из s3 (я включил только заголовок из файла):

 #Version: 1.0
 #Fields: date time x-edge-location sc-bytes c-ip cs-method cs(Host) cs-uri-stem sc-status cs(Referer) cs(User-Agent) cs-uri-query cs(Cookie) x-edge-result-type x-edge-request-id x-host-header cs-protocol cs-bytes time-taken x-forwarded-for ssl-protocol ssl-cipher x-edge-response-result-type

Заголовок выглядит так, как будто это в основном правильный формат, основанный на строках 26-29 из плагина облачного фронта github repo cloudfront_spec.rb и официальных документов AWS CloudFront Access Logs.

Есть идеи? Спасибо!

[ОБНОВЛЕНИЕ 9/9/2015]

Основываясь на этом посте, я попытался использовать плагин кодека gzip_lines, установленный с bin/plugin install logstash-codec-gzip_lines и проанализировать файл с фильтром, к сожалению, я получаю точно такую ​​же ошибку. Похоже, что это проблема с первым символом файла журнала, имеющего #,

Для записи вот новая попытка, включая обновленный шаблон для анализа файла журнала облачного фронта из-за четырех новых полей:

/etc/logstash/conf.d/cloudfront.conf

input {
  s3 {
    bucket => "[BUCKETNAME]"
    delete => false
    interval => 60 # seconds
    prefix => "cloudfront/"
    region => "us-east-1"
    type => "cloudfront"
    codec => "gzip_lines"
    secret_access_key => "[SECRETKEY]"
    access_key_id => "[KEYID]"
    sincedb_path => "/opt/logstash_input/s3/cloudfront/sincedb"
    backup_to_dir => "/opt/logstash_input/s3/cloudfront/backup"
    use_ssl => true
  }
}
filter {
    grok {
    type => "cloudfront"
    pattern => "%{DATE_EU:date}\t%{TIME:time}\t%{WORD:x_edge_location}\t(?:%{NUMBER:sc_bytes}|-)\t%{IPORHOST:c_ip}\t%{WORD:cs_method}\t%{HOSTNAME:cs_host}\t%{NOTSPACE:cs_uri_stem}\t%{NUMBER:sc_status}\t%{GREEDYDATA:referrer}\t%{GREEDYDATA:User_Agent}\t%{GREEDYDATA:cs_uri_stem}\t%{GREEDYDATA:cookies}\t%{WORD:x_edge_result_type}\t%{NOTSPACE:x_edge_request_id}\t%{HOSTNAME:x_host_header}\t%{URIPROTO:cs_protocol}\t%{INT:cs_bytes}\t%{GREEDYDATA:time_taken}\t%{GREEDYDATA:x_forwarded_for}\t%{GREEDYDATA:ssl_protocol}\t%{GREEDYDATA:ssl_cipher}\t%{GREEDYDATA:x_edge_response_result_type}"
  }

mutate {
    type => "cloudfront"
        add_field => [ "listener_timestamp", "%{date} %{time}" ]
    }

date {
      type => "cloudfront"
      match => [ "listener_timestamp", "yy-MM-dd HH:mm:ss" ]
    }

}