Отключить оповещение о недопублицированных блоках в Cloudera Manager

Question

Отключить оповещение о недопублицированных блоках в Cloudera Manager

У меня есть один серверный кластер Hbase, который я использую только в качестве приемного конца репликации HBase. Поэтому я не хочу реплицировать какие-либо блоки в этом кластере (так как источник имеет реплицированные блоки, я не чувствую, что мне это нужно).

Я хотел бы отключить предупреждение "Недостаточно реплицированных блоков" для этого экземпляра. Я попробовал две вещи:

Установка коэффициента репликации для этого экземпляра на 1
Установка порогов до невозможных значений (т.е. 200% для реплицируемых блоков). Это останавливает предупреждение, но заменяет его недействительными предупреждениями конфигурации.

Кто-нибудь знает, как я могу отключить это конкретное предупреждение для кластера?

3

hdfs hbase cloudera cloudera-manager

Источник

Kyle Brandt 17 июл '14 в 20:05

2 ответа

Другие вопросы по тегам hdfs hbase cloudera cloudera-manager

Chirag Bhalgami 02 окт '14 в 06:53 2014-10-02 06:53 · Answer 1 · 2014-10-02 06:53

Выполните следующие два шага:

1) Измените коэффициент репликации из файловой системы hadoop. Обязательно войдите в систему пользователя, для которого вы получаете проблемы со здоровьем недостаточно реплицированных блоков:

su - hdfs
hadoop fs -setrep -R 1 /

или же

su - oozie
hadoop fs -setrep -R 1 /

так далее...

2) Измените Предупреждение и Критическое значение для "Недостаточно реплицированных пороговых значений для мониторинга блоков" из Cloudera Manager. Для CDH 5.0.0, перейдите:

Главная страница CM> HDFS > Конфигурация> Сфера обслуживания> Мониторинг> Недостаточно реплицированные пороги мониторинга блоков

В CDH 5.0.0 стандартная ссылка:

http://localhost:7180/cmf/services/17/config?groupParent=config.HDFS.service_17&q=%22Under-replicated+Block+Monitoring+Thresholds%22

MrE 28 ноя '14 в 17:56 2014-11-28 17:56 · Answer 2 · 2014-11-28 17:56

По моему опыту проблема неполной репликации блока была вызвана плохой связью между узлом данных и namenode. Вы можете иметь один узел данных на том же хосте, что и узел имени, и он сообщает, что с hdfs все в порядке, но блок недостаточно реплицирован, потому что другие узлы не общаются с узлом имени, поэтому только один узел активен и не реплицируется. Проверьте журналы hdfs для всех узлов данных, чтобы проверить это, прежде чем пытаться покрыть симптом каким-либо другим исправлением.