Описание тега apache-flume
Распределенный доступный сервис для эффективного сбора, агрегирования и перемещения больших объемов данных журнала
1
ответ
Flume- журнал ошибок при использовании FileChannel
Я использую Flume flume-ng-1.5.0 (с CDH 5.4) для сбора журналов со многих серверов и загрузки в HDFS. Вот моя конфигурация: #Define Source , Sinks, Channel collector.sources = avro collector.sinks = HadoopOut collector.channels = fileChannel # Defin…
08 май '15 в 11:39
0
ответов
Самый эффективный способ передачи журналов веб-маяков в Apache Flume?
Настройка Я установил простой сервер Nginx, который регистрирует (в формате JSON), который затем передается в корзину S3 с Apache Flume. Все, что делает сервер Nginx, это отвечает пикселем отслеживания веб-маяка и записывает в файл журнала. Пока все…
09 авг '13 в 22:43
1
ответ
Последовательный надежный обмен сообщениями
Я работаю над новым проектом, Я сейчас решаю между Flume & Scribe для систем обмена сообщениями... (скорее всего, отправлены в журналы или Hadoop) Я не могу потерять сообщение когда-либо.. Что вы думаете о том, что лучше? Конфигурация / надежность /…
11 ноя '10 в 01:36
1
ответ
Обработка уже существующих файлов журнала с Flume
У меня есть большой набор файлов журналов, из которых мне нужно извлечь данные. Можно ли использовать Flume для чтения этих файлов и выгрузки их в HDFS (Cassandra или другой источник данных), который я затем могу запросить? Документация, кажется, пр…
23 авг '11 в 18:28