Как установить hadoop2.4.1 в windows с spark 2.0.0

Я хочу настроить кластер, используя hadoop в режиме пряжи.. я хочу использовать API-интерфейс spark для map-Reduce и буду использовать spark submit для развертывания моих приложений.. я хочу работать на кластере.. кто-нибудь может мне помочь, как установить HADOOP в кластере с использованием Windows

Источник

1 ответ

как установить hadoop2.4.1

Это само по себе является отдельным, более широким вопросом. Прочитайте документацию по установке Hadoop Cluster.

Я бы порекомендовал получить один узел, затем псевдораспределенный, а затем вы можете настроить кластер.

С Spark 2.0.0

Перейдите на страницу загрузки Spark, выберите опцию "Hadoop, предоставленный пользователем"

По большей части, Spark будет просто работать с минимальным редактированием. Это Hadoop, который нужно настроить.

Убедиться, что HADOOP_CONF_DIR или же YARN_CONF_DIR указывает на каталог, который содержит (клиентские) файлы конфигурации для кластера Hadoop.

Вы можете редактировать spark-env.sh а также spark-defaults.conf если нужно.

Если у вас есть конкретная проблема, пожалуйста, отредактируйте ваш вопрос

Или вы можете настроить сервер Ambari, и он установит и установит все для вас, после управления ключами SSH.

Источник
Другие вопросы по тегам