Описание тега kafka
Kafka - это приложение для распределенной очереди сообщений, написанное на Java.
0
ответов
Кафка не смогла пройти проверку подлинности из-за: SSL рукопожатие не удалось
Я должен добавить шифрование и аутентификацию по SSL в кафке. Вот что я сделал: - 1) Generate certificate for each broker kafka: COMANDO: keytool -keystore server.keystore.jks -alias localhost -validity 365 -genkey - 2) Create CA. The generated CA i…
27 фев '19 в 10:40
1
ответ
Сценарии kafka в каталоге "bin" завершаются с ошибкой "Адрес уже используется" (работает в kubernetes)
У меня установлена кафка, работающая в миникубе. Он работает и работает, и я могу создавать в него сообщения и использовать их обратно. Однако, когда я вхожу в один из брокеров (используя kubectl exec если уместно) и попытаться получить некоторую …
04 апр '19 в 13:24
2
ответа
Кластер Kafka: выдерживает перебои в сети
У нас есть кластер кафки. И сеть. Ура. Сеть будет недоступна для всех стоек в нашем дата-центре в течение 5-10 минут (!), Так как обслуживание требует этого. Я обеспокоен тем, что kafka слишком долго отключается, чтобы изящно справиться с ним, и что…
28 июн '18 в 22:04
1
ответ
Кафка с ACL не может соединиться зк и останавливается
У меня есть установка kafka (с аутентификацией слушателя ssl и клиента ssl). Работает нормально, пока не попробую добавить ACL. это ошибка (полная ошибка внизу): [edit-1] первая ошибка при запуске kafka: [2018-07-25 14:15:10,498] ERROR Exception whi…
25 июл '18 в 10:30
1
ответ
Кафка долгое время загрузки координатора и маленькие ISR
Я использую Kafka 0.8.2.1, использую тему с 200 разделами и RF=3, с сохранением журнала в 1GB. Неизвестное событие привело к тому, что кластер перешел в состояние "загрузка координатора" или "групповая загрузка". Несколько сигналов сделали это очеви…
22 авг '18 в 22:10
0
ответов
Избегайте использования диска kafka на 100% для задания Cron
Мы хотим предложить следующее, основываясь на наших проблемах с дисками kafka. У нас есть много кластеров HDP (на основе ambari, и все машины имеют версию 7.2) Каждый кластер включает в себя 3 машины kafka, в то время как каждый kafka включает диск …
05 ноя '18 в 19:02
1
ответ
Как отследить отставание потребителей Kafka в Stackdriver?
Я могу просмотреть все показатели брокера Kafka с помощью агента мониторинга JMX exporter -> stackdriver и отображается в Stackdriver, но я не вижу никаких потребительских метрик, меня особенно интересует отставание потребителей, есть ли способ мони…
25 янв '19 в 19:24
1
ответ
Кафка несколько слушателей
Первоначальные извинения за длинный пост (это также на superuser, так как я не был уверен, что лучшее место для этого https://superuser.com/questions/1404421/kafka-multiple-listeners поэтому дайте мне знать, если нужно закрыть)... Я настроил кластер…
11 фев '19 в 13:39
0
ответов
Брокер Kafka на некоторое время выводит список пустых узлов *
В целях тестирования интеграции я создаю очень простое одноузловое развертывание Kafka: 1x зоопарк 1x Кафка 1x клиент Kafka (например, AdminClient, создание тем) (Все чисто развернуто в свежих контейнерах Docker.) Я вижу периодические сбои при подкл…
11 фев '19 в 17:22
1
ответ
Как сделать перебалансировку данных на кафке, если данные хранятся постоянно
Я новичок в кафке и готовлюсь использовать его для производства. Какие стратегии можно использовать для перебалансирования хранилища данных, если посредникам для текущих разделов темы не хватает места на диске, если в кластер можно добавить больше п…
02 окт '18 в 07:36
2
ответа
Конфигурация Apache Kafka за NAT/LB
Чтобы сделать наш кластер Kafka доступным как из Интернета, так и из нашей частной сети, мы решили настроить Kafka следующим образом: Private VIP:9000 => All brokers:9092 (topology query only) Private VIP:9001 => Broker #1:9092 Private VIP:900…
03 окт '18 в 14:55
3
ответа
ZooKeeper не запускается, потому что принято Epoch меньше текущего Epoch
У меня есть zookeeper.version=3.4.10, и я вижу: https://issues.apache.org/jira/browse/ZOOKEEPER-2307 это однако в нерешенном статусе. Проблема появилась из-за заполнения дискового пространства. Теперь, когда я удалил несколько журналов и освободил м…
22 янв '19 в 10:12
0
ответов
Как настроить Apache Kafka, чтобы каждое сообщение в теме обрабатывалось последовательно?
Я пишу быстрое тестовое приложение в Go, чтобы обернуть голову производителям кафки, потребителям, темам и всему кафке. Я должен использовать его на работе, но у меня есть большой контроль над тем, как он настроен. У меня много разных политик в моем…
22 янв '19 в 22:08
2
ответа
Кафка расположение лог-файла
Просто чтобы прояснить некоторые вещи: я говорю о файле журнала процесса, который содержит сообщения stdout и stderr. Это мой системный файл systemd: [Unit] Description=Apache Kafka server Documentation=http://kafka.apache.org Requires=network.targe…
11 фев '17 в 00:15
1
ответ
Получить статус кластера zookeeper
Есть ли cli или какая-то командная строка, которую я могу использовать, чтобы узнать состояние кластера zookeeper. В основном я хочу знать, как входить в кластер или какие узлы выступают в качестве лидера. Любые указатели будут полезны. Видел этот в…
06 сен '16 в 06:00
1
ответ
JMX сообщает о неправильных измерениях и собирает их для Apache Kafka
Я использую JMX для сбора метрик из Apache Kafka и отправки в Librato, сервис визуализации и мониторинга, через collectd. Проблема в том, что некоторые метрики, кажется, сообщают неправильно. Например, когда никто не использует кластер Kafka, некото…
24 янв '17 в 17:31
2
ответа
Что означают параметры MBean в collectd?
Я использую JMX для мониторинга кластера Apache Kafka с плагином Collectd GenericJMX. Однако я не уверен, что означают некоторые параметры MBean. В частности, у меня есть одна метрика называется kafka.server:type=BrokerTopicMetrics,name=MessagesInPe…
25 янв '17 в 11:37
1
ответ
Защита конечных точек API Kafka REST
Мы планируем использовать Kafka для публикации обновлений для наших клиентов. План состоит в том, чтобы использовать отдельную тему для каждого клиента. Чтобы сделать их проще, мы хотим использовать REST API. Так что user1 сможет получать обновления…
10 авг '16 в 12:40
1
ответ
Каковы минимальные разрешения, необходимые брокерам Kafka для их работы?
Я защищаю кластер Кафки. Я прочитал и последовал Руководству по безопасности Confluent Kafka, и оно работает как шарм. Теперь я хотел бы добавить ACL к брокерам, чтобы удалить их из списка суперпользователей (super.users=User:kafkabroker). Какой мин…
21 сен '18 в 11:31
0
ответов
Мониторинг Kafka Metrics с использованием Прометея
В настоящее время я слежу за Кафкой с Прометеем, для которого я новичок. Я успешно настроил Prometheus с помощью nade_exporter, jmx_exporter и kafka_exporter. Я хочу отслеживать другие показатели, приведенные по этой ссылке, которых нет у 3 вышеупом…
05 фев '19 в 07:13