HBase проблема с подключением * некоторых * регион-серверов

У меня работает кластер HBase, и я пытаюсь добавить несколько новых серверов в кластер, но ошибки "SocketException: неверный аргумент" и "FailedServerException: этот сервер находится в списке неисправных серверов" продолжают генерироваться в журналах,

2014-07-02 22:28:01,140 WARN org.apache.hadoop.hbase.regionserver.HRegionServer: Unable to connect to master. Retrying. Error was:
java.net.SocketException: Invalid argument
    at sun.nio.ch.Net.connect(Native Method)
    at sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:534)
    at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:193)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:528)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:492)
    at org.apache.hadoop.hbase.ipc.HBaseClient$Connection.setupConnection(HBaseClient.java:392)
    at org.apache.hadoop.hbase.ipc.HBaseClient$Connection.setupIOstreams(HBaseClient.java:438)
    at org.apache.hadoop.hbase.ipc.HBaseClient.getConnection(HBaseClient.java:1141)
    at org.apache.hadoop.hbase.ipc.HBaseClient.call(HBaseClient.java:988)
    at org.apache.hadoop.hbase.ipc.WritableRpcEngine$Invoker.invoke(WritableRpcEngine.java:87)
    at com.sun.proxy.$Proxy10.getProtocolVersion(Unknown Source)
    at org.apache.hadoop.hbase.ipc.WritableRpcEngine.getProxy(WritableRpcEngine.java:141)
    at org.apache.hadoop.hbase.ipc.HBaseRPC.waitForProxy(HBaseRPC.java:208)
    at org.apache.hadoop.hbase.regionserver.HRegionServer.getMaster(HRegionServer.java:2040)
    at org.apache.hadoop.hbase.regionserver.HRegionServer.reportForDuty(HRegionServer.java:2086)
    at org.apache.hadoop.hbase.regionserver.HRegionServer.run(HRegionServer.java:748)
    at java.lang.Thread.run(Thread.java:701)
2014-07-02 22:28:31,764 WARN org.apache.hadoop.hbase.regionserver.HRegionServer: Unable to connect to master. Retrying. Error was:
org.apache.hadoop.hbase.ipc.HBaseClient$FailedServerException: This server is in the failed servers list: <MY_MASTER_SERVER>/<MY_MASTER_NAME>:<MY_MASTER_PORT>
    at org.apache.hadoop.hbase.ipc.HBaseClient$Connection.setupIOstreams(HBaseClient.java:427)
    at org.apache.hadoop.hbase.ipc.HBaseClient.getConnection(HBaseClient.java:1141)
    at org.apache.hadoop.hbase.ipc.HBaseClient.call(HBaseClient.java:988)
    at org.apache.hadoop.hbase.ipc.WritableRpcEngine$Invoker.invoke(WritableRpcEngine.java:87)
    at com.sun.proxy.$Proxy10.getProtocolVersion(Unknown Source)
    at org.apache.hadoop.hbase.ipc.WritableRpcEngine.getProxy(WritableRpcEngine.java:141)
    at org.apache.hadoop.hbase.ipc.HBaseRPC.waitForProxy(HBaseRPC.java:208)
    at org.apache.hadoop.hbase.regionserver.HRegionServer.getMaster(HRegionServer.java:2040)
    at org.apache.hadoop.hbase.regionserver.HRegionServer.reportForDuty(HRegionServer.java:2086)
    at org.apache.hadoop.hbase.regionserver.HRegionServer.run(HRegionServer.java:748)
    at java.lang.Thread.run(Thread.java:701)

Пока что я не могу найти никаких различий между старым и новым серверами:

  • и на Ubuntu 12.04 со всеми последними обновлениями, и на Cloudera CDH4 для HBase
  • ни в /etc/hosts нет записей для главного HBase (хотя я пытался добавить один на новых серверах, но все еще имел ту же проблему)
  • межсетевые экраны должны быть настроены одинаково без каких-либо ограничений локальной сети (ПРИМЕЧАНИЕ: на новых серверах я могу подключиться к порту 60000, порту моего HBase Master, без каких-либо ошибок)

Во время отладки я видел в сети упоминание о возможной проблеме конфигурации IPv6, но, насколько мне известно, и на старых, и на новых серверах есть конфигурации по умолчанию, которые Ubuntu использует для этого.

Любые идеи о том, как я могу отлаживать дальше и / или в чем проблема?

0 ответов

Другие вопросы по тегам