Конфигурация hdfs

Я новичок. Попытка настроить систему hdfs для обслуживания моих данных (я не планирую использовать mapreduce) в моей лаборатории.

Пока я прочитал, настройки кластера, но я все еще в замешательстве. Несколько вопросов:

  • Нужно ли иметь вторичный наменоде?
  • Есть 2 файла, мастера и рабы. Мне действительно нужны эти 2 файла, хотя я просто хочу hdfs? Если они мне нужны, что там нужно? Я предполагаю, что мой наменоде в мастерах и датанодах в качестве рабов? Нужны ли узлы рабов
  • Какие файлы конфигурации необходимы для namenode, вторичного namenode, datanode и клиента? (Я предполагаю, что core-site.xml необходим для всех 4)? Кроме того, кто-то может предложить хорошую модель конфигурации? Пример конфигурации для namenode, вторичного namenode, datanode и клиента будет очень полезен.

Я запутался, потому что кажется, что большая часть документации предполагает, что я хочу использовать map-Reduction, что не так.

1 ответ

Чтобы ответить на ваши первые 2 вопроса 1. Нет, вам не нужен вторичный наменод, если вам все равно, если сработает наменоде. 2. Вам нужны подчиненные файлы для запуска демонов датододы из наменода с помощью команды hadoop bash start-dfs.sh. Вам не нужен файл мастера, если вы не хотите использовать secondard namenode

Ваш третий вопрос. Пошаговая документация по установке небольшого кластера hadoop по адресу http://www.hadoop-blog.com/2010/11/how-to-quickly-install-hadoop-020-in.html

Пожалуйста, пройдите через это, вы можете пропустить шаги, которые говорят о JobTracker и Tasktracker, и этого должно быть достаточно для запуска вашей HDFS.

Другие вопросы по тегам