Конфигурация hdfs
Я новичок. Попытка настроить систему hdfs для обслуживания моих данных (я не планирую использовать mapreduce) в моей лаборатории.
Пока я прочитал, настройки кластера, но я все еще в замешательстве. Несколько вопросов:
- Нужно ли иметь вторичный наменоде?
- Есть 2 файла, мастера и рабы. Мне действительно нужны эти 2 файла, хотя я просто хочу hdfs? Если они мне нужны, что там нужно? Я предполагаю, что мой наменоде в мастерах и датанодах в качестве рабов? Нужны ли узлы рабов
- Какие файлы конфигурации необходимы для namenode, вторичного namenode, datanode и клиента? (Я предполагаю, что core-site.xml необходим для всех 4)? Кроме того, кто-то может предложить хорошую модель конфигурации? Пример конфигурации для namenode, вторичного namenode, datanode и клиента будет очень полезен.
Я запутался, потому что кажется, что большая часть документации предполагает, что я хочу использовать map-Reduction, что не так.
1 ответ
Чтобы ответить на ваши первые 2 вопроса 1. Нет, вам не нужен вторичный наменод, если вам все равно, если сработает наменоде. 2. Вам нужны подчиненные файлы для запуска демонов датододы из наменода с помощью команды hadoop bash start-dfs.sh. Вам не нужен файл мастера, если вы не хотите использовать secondard namenode
Ваш третий вопрос. Пошаговая документация по установке небольшого кластера hadoop по адресу http://www.hadoop-blog.com/2010/11/how-to-quickly-install-hadoop-020-in.html
Пожалуйста, пройдите через это, вы можете пропустить шаги, которые говорят о JobTracker и Tasktracker, и этого должно быть достаточно для запуска вашей HDFS.