Описание тега hadoop
Hadoop - это решение с открытым исходным кодом для предоставления распределенной / реплицируемой файловой системы, системы сокращения отображений уровня производства, и имеет ряд дополнительных дополнений, таких как Hive, Pig и HBase, для получения большей отдачи от кластера на основе Hadoop.
0
ответов
Увеличить дисковое пространство CDH4
Первоначально я использовал прилагаемую виртуальную машину CDH3 (Cloudera Version Hadoop), позже я удалил CDH3, и теперь я использую CDH4 на CentOS в качестве виртуальной машины (через проигрыватель VMWare) с хост-машиной под Win7 64bit. Мне нужно у…
23 июн '12 в 10:31
1
ответ
Как соединить два док-контейнера, работающих на одном хосте?
У меня работает два докера docker ps Результаты CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 0bfd25abbfc6 f_service:latest "/usr/local/start-fl 13 seconds ago Up 2 seconds 0.0.0.0:8081->8081/tcp flume 6a1d974f4e3e h_service:latest "/usr/…
29 янв '15 в 06:16
1
ответ
Не удается запустить Hadoop из сценария init.d
Я использую CentOS 6.2. Я пытаюсь запустить Hadoop из сценария init.d, но он не работает. Вот что я вижу в boot.log: Retrigger failed udev events [ OK ] Enabling Bluetooth devices: starting namenode, logging to /home/hadoop/hadoop/hadoop-0.20.2/bin/…
15 авг '12 в 23:34
2
ответа
Паника ядра - не синхронизируется - попытка убить init
Я использую Linux 2.6.32-33-server #70-Ubuntu 10.04.3 в качестве узлов данных и узлов имен в моем кластере Hadoop, но один из моих узлов данных не работает с утра. Когда я перезапустил эту конкретную систему, он показал ошибку "Kernel panic - not sy…
22 авг '12 в 09:25
3
ответа
Панель инструментов экосистемы Hadoop
Я пытаюсь найти инструмент, который показал бы мне обзор моей экосистемы Hadoop - состояние, состояние, выполняемые задачи и т. Д. Я пытался Google, но не нашел ни одного. Есть какой-нибудь хороший полезный инструмент?
24 авг '12 в 06:26
1
ответ
Группа суперпользователей Cloudera Hadoop
Я пытаюсь создать группу на одном из моих datanodes, который будет иметь привилегии суперпользователя для hdfs и связанных команд fs. Пока что у меня есть: Проверено, чтобы увидеть, что dfs.permissions.superusergroup= супергруппа (по умолчанию) Созд…
02 май '14 в 19:22
1
ответ
Hadoop hdfs namenode выдает ошибку
Полный список ошибок: hb@localhost:/etc/hadoop/conf$ sudo service hadoop-hdfs-namenode start * Starting Hadoop namenode: starting namenode, logging to /var/log/hadoop-hdfs/hadoop-hdfs-namenode-localhost.out 12/09/10 14:41:09 INFO namenode.NameNode: …
10 сен '12 в 09:14
2
ответа
Перемещение узла SecondaryName в кластере HBase Cloudera
Я развернул вторичный наменод на той же машине, это мой основной наменод: Это неправильно по причинам производительности и долговечности (вторичный узел имени не является горячим резервом, но у него есть копия необходимых метаданных). Я нашел докуме…
10 дек '14 в 02:30
1
ответ
Можно ли приостановить или приостановить работу Hadoop?
Я использую hadoop-0.20.2. Смотря на hadoop fs, Я могу убить или провалить отдельное задание. Можно ли как-то приостановить его, чтобы освободить слоты для карт для другой задачи?
01 дек '10 в 16:57
2
ответа
Как использовать объединенную мощность процессора / памяти кластера Windows
У меня есть 5 компьютеров Windows (двухъядерный, 3 ГБ) в локальной сети, все присоединены к домену. У меня есть программа, которая требует 8 ядер и 10 ГБ для запуска в указанное время SLA. Какую платформу / инструмент я могу использовать, чтобы испо…
08 апр '11 в 09:15
0
ответов
Удаленное подключение к проблеме Hadoop namenode
Мне нужно взломать один узел hasoop "кластер" (cloudera psuedo-распределенный), чтобы иметь возможность получить к нему удаленный доступ. Я успешно установил hadoop и обновил идентификаторы localhost в конфигах до IP-адреса машины. я могу бежать had…
18 авг '11 в 15:26
2
ответа
Как указать жесткий диск для кластера hadoop?
Я установил Hadoop на одну виртуальную машину Azure, и она отлично работает на диске с ОС. Однако я подключил один жесткий диск к своей виртуальной машине и хочу узнать, как настроить Hadoop для использования только этого нового жесткого диска в кач…
13 янв '15 в 09:05
1
ответ
Установка Hadoop на нескольких экземплярах Ubuntu 10.04.1, работающих на VMware Workstation
Я хочу узнать о Hadoop и немного разбираться в распределенных вычислениях, занимаясь программированием. У меня установлен ПК с Windows 7 Professional. На том же ПК у меня также установлена Ubuntu 10.04.1 на VMware Workstation 7. Я хочу знать, возм…
24 авг '10 в 17:10
1
ответ
Получение доступа к большим данным без необходимости настройки среды
Кто-нибудь знает о какой-либо песочнице, где среда уже настроена для обработки больших данных? Это может быть Hadoop, Кассандра, Свинья и т. Д... Я программист SQL Server, и я пытаюсь получить доступ к решениям для больших данных /nosql, но мне очен…
31 дек '12 в 16:50
0
ответов
Избегайте использования диска kafka на 100% для задания Cron
Мы хотим предложить следующее, основываясь на наших проблемах с дисками kafka. У нас есть много кластеров HDP (на основе ambari, и все машины имеют версию 7.2) Каждый кластер включает в себя 3 машины kafka, в то время как каждый kafka включает диск …
05 ноя '18 в 19:02
1
ответ
Flume- журнал ошибок при использовании FileChannel
Я использую Flume flume-ng-1.5.0 (с CDH 5.4) для сбора журналов со многих серверов и загрузки в HDFS. Вот моя конфигурация: #Define Source , Sinks, Channel collector.sources = avro collector.sinks = HadoopOut collector.channels = fileChannel # Defin…
08 май '15 в 11:39
1
ответ
Почему Accumulo требует $ZOOKEEPER_HOME в дополнение к IP-адресам ансамбля Zookeeper?
Согласно документации, Accumulo требует, чтобы вы установили $ZOOKEEPER_HOME (локальный путь) в файлах конфигурации, а также требует список IP-адресов для ансамбля Zookeeper. Почему одних IP-адресов недостаточно? Что если ваш ансамбль Zookeeper отде…
30 июл '15 в 09:21
0
ответов
Балансировка HDFS, как сбалансировать данные hdfs?
у нас есть версия Hadoop - 2.6.4 На машине датоде мы видим, что данные hdfs не сбалансированы На некоторых дисках мы используем разные размеры, как SDB 11G и SDD 17G /dev/sdd 20G 3.0G 17G 15% /grid/sdd /dev/sdb 20G 11G 9.3G 53% /grid/sdb <-- WHY …
07 мар '19 в 17:23
1
ответ
Датодода не отображается в WEB-интерфейсе
Новичок на кластерах Hadoop.Я настроил свои два узла conf, как описано MG Noll здесь. На датоде работает datanode & tasktracker (команда jps показывает их). Однако в веб-интерфейсе я вижу только один узел для DFS Live Node : 1 Dead Node : 0 То же са…
01 июн '11 в 06:48
1
ответ
Сервер Ambari выходит без сообщения об ошибке в журнале
Я скачал Hortonworks Data Platform 2.3.0 и установил его на Centos7. Установка прошла успешно. При запуске сервера отображаются следующие сообщения: [root@sparkperf-5360 apps]# ambari-server start Using python /usr/bin/python2.7 Starting ambari-serv…
26 авг '15 в 00:54