Панель инструментов экосистемы Hadoop
Я пытаюсь найти инструмент, который показал бы мне обзор моей экосистемы Hadoop - состояние, состояние, выполняемые задачи и т. Д. Я пытался Google, но не нашел ни одного. Есть какой-нибудь хороший полезный инструмент?
3 ответа
Выполняемые задачи, состояние / состояние сопоставленного узла:
http://example.com:50030/jobtracker.jsp
Состояние HDFS и состояние узла:
http://example.com:50070/dfshealth.jsp
Замените example.com на IP или имя хоста вашего трекера заданий / имени узла.
Если эти порты неверны, проверьте ваш mapred-site.xml и hdfs-site.xml для определенного порта.
Другой альтернативой является проект Ambari. В настоящее время он находится в статусе инкубатора в Apache, но я считаю, что Hortonworks является одним из основных факторов для этого. Это прежде всего структура обеспечения и мониторинга. Вы можете увидеть примеры на сайте Hortonworks. Они сделали сообщение в блоге, описывающее, как настроить это.
Если вы ищете более "симпатичный" интерфейс для Jobtracker или namenode, у Cloudera есть пользовательская среда Hadoop (HUE), которая предоставляет некоторые функции, которые вы ищете. Тем не менее, он по большей части ориентирован на неадминистраторов.
Cloudera предлагает запатентованный инструмент, который делает то, что вы описываете, и называется Cloudera Manager. Это не F/OSS, но у них есть бесплатная версия, которая позволяет работать на ограниченном количестве узлов. Он предназначен как продукт с полным жизненным циклом, поэтому он может быть немного излишним для того, что вам нужно.
Полное раскрытие: я никогда не использовал это сам. Мы рассмотрели это в моей компании, но в итоге не использовали его.