Как указать жесткий диск для кластера hadoop?
Я установил Hadoop на одну виртуальную машину Azure, и она отлично работает на диске с ОС. Однако я подключил один жесткий диск к своей виртуальной машине и хочу узнать, как настроить Hadoop для использования только этого нового жесткого диска в качестве диска хранения по умолчанию. Может кто-нибудь сказать мне, как изменить конфигурации?
Любая помощь будет благодарна. Благодарю вас.
2 ответа
В частности, Datanode должен иметь свойство конфигурации dfs.datanode.data.dir с указанием пути к каждой точке монтирования или каталогу, в который ему разрешено записывать данные. Это свойство представляет собой набор значений, разделенных запятыми.
Например:
<property>
<name>dfs.datanode.data.dir</name>
<value>/hdfs/01/hdfs,/hdfs/02/hdfs,/hdfs/03/hdfs</value>
</property>
Это определяет три разных каталога, в которые Datanode может записывать блоки.
Проблема решена. Я должен отредактировать hdfs-site.xml. Спасибо всем.