Apache Kafka 0.8.1.1 чистое отключение не работает

У меня есть:

  • один экземпляр Apache Kafka (2.9.2-0.8.1.1), установленный из источника, с использованием конфигурации по умолчанию (server.properties так далее.),
  • Автономный Zookeeper (3.4.5+dfsg-2), установленный из пакета

.. работает на хосте Ubuntu 14.04 LTS с именем hostname1,


Я пытаюсь отключить Кафку, но не могу.


Я попробовал 2 метода:

  • отправка SIGINT - но Kafka просто игнорирует его (не упоминает о получении сигнала в любом журнале, продолжает работать) [SIGTERM работает, но это не главное]

  • с помощью инструмента ControlledShutdown, но он не работает со следующим

..трассировки стека:

[2015-02-03 12:55:49,461] ERROR Operation failed due to controller failure (kafka.admin.ShutdownBroker$)
java.io.IOException: Failed to retrieve RMIServer stub: javax.naming.ServiceUnavailableException [Root exception is java.rmi.ConnectException: Connection refused to host: hostname1; nested exception is:
        java.net.ConnectException: Connection refused]
        at javax.management.remote.rmi.RMIConnector.connect(RMIConnector.java:369)
        at javax.management.remote.JMXConnectorFactory.connect(JMXConnectorFactory.java:268)
        at kafka.admin.ShutdownBroker$.kafka$admin$ShutdownBroker$$invokeShutdown(ShutdownBroker.scala:56)
        at kafka.admin.ShutdownBroker$.main(ShutdownBroker.scala:109)
        at kafka.admin.ShutdownBroker.main(ShutdownBroker.scala)
Caused by: javax.naming.ServiceUnavailableException [Root exception is java.rmi.ConnectException: Connection refused to host: hostname1; nested exception is:
        java.net.ConnectException: Connection refused]
        at com.sun.jndi.rmi.registry.RegistryContext.lookup(RegistryContext.java:118)
        at com.sun.jndi.toolkit.url.GenericURLContext.lookup(GenericURLContext.java:203)
        at javax.naming.InitialContext.lookup(InitialContext.java:411)
        at javax.management.remote.rmi.RMIConnector.findRMIServerJNDI(RMIConnector.java:1929)
        at javax.management.remote.rmi.RMIConnector.findRMIServer(RMIConnector.java:1896)
        at javax.management.remote.rmi.RMIConnector.connect(RMIConnector.java:286)
        ... 4 more
Caused by: java.rmi.ConnectException: Connection refused to host: hostname1; nested exception is:
        java.net.ConnectException: Connection refused
        at sun.rmi.transport.tcp.TCPEndpoint.newSocket(TCPEndpoint.java:619)
        at sun.rmi.transport.tcp.TCPChannel.createConnection(TCPChannel.java:216)
        at sun.rmi.transport.tcp.TCPChannel.newConnection(TCPChannel.java:202)
        at sun.rmi.server.UnicastRef.newCall(UnicastRef.java:341)
        at sun.rmi.registry.RegistryImpl_Stub.lookup(Unknown Source)
        at com.sun.jndi.rmi.registry.RegistryContext.lookup(RegistryContext.java:114)
        ... 9 more
Caused by: java.net.ConnectException: Connection refused
        at java.net.PlainSocketImpl.socketConnect(Native Method)
        at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339)
        at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200)
        at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182)
        at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
        at java.net.Socket.connect(Socket.java:579)
        at java.net.Socket.connect(Socket.java:528)
        at java.net.Socket.<init>(Socket.java:425)
        at java.net.Socket.<init>(Socket.java:208)
        at sun.rmi.transport.proxy.RMIDirectSocketFactory.createSocket(RMIDirectSocketFactory.java:40)
        at sun.rmi.transport.proxy.RMIMasterSocketFactory.createSocket(RMIMasterSocketFactory.java:147)
        at sun.rmi.transport.tcp.TCPEndpoint.newSocket(TCPEndpoint.java:613)
        ... 14 more
Источник

2 ответа

Решение

Для 0.8.1.1 этот инструмент:

  • не работает из коробки,
  • больше не нужен.

Цитата из раздела "Средство контролируемого выключения, похоже, не работает из коробки" Kafka JIRA:

Нужен ли нам этот инструмент? Управляемое в настоящее время отключение включается через конфиг и автоматически включается при уничтожении -15 сервера Kafka. Я почти думаю, что мы можем избавиться от инструмента для контролируемого отключения.


Вот что я положил в свой config/server.properties:

controlled.shutdown.enable=true
controlled.shutdown.max.retries=3
controlled.shutdown.retry.backoff.ms=5000
Источник

Первое, что я использовал неправильный сигнал. Я должен был использовать SIGTERM (15) вместо SIGINT (2).


Во-вторых, как указал @MaasSql, вы должны явно включить управляемое отключение в Kafka 0.8.1.1.

(Для 0.8.2+ вам этого не нужно - по умолчанию это включено.)

Источник
Другие вопросы по тегам