Описание тега hdfs
По вопросам, касающимся распределенной файловой системы Hadoop (HDFS), которая является частью проекта Apache Hadoop.
4
ответа
Запуск HDD datanode завершается неудачно, когда диски переполнены
Наш кластер HDFS заполнен только на 90%, но некоторые датододы имеют некоторые диски, которые заполнены на 100%. Это означает, что когда мы массово перезагружаем весь кластер, некоторые датододы полностью не запускаются с таким сообщением: 2013-10-2…
29 окт '13 в 14:53
1
ответ
Влияет ли изменение коэффициента репликации HDFS по умолчанию на 3 на производительность сопоставителя?
У меня есть кластер HDFS/Hadoop и я смотрю в настройку. Интересно, если изменение коэффициента репликации HDFS по умолчанию (по умолчанию:3) на что-то большее, улучшит производительность картографа за счет очевидного увеличения используемого дисково…
29 июн '11 в 15:57
2
ответа
Hadoop HDFS: установить размер блока файла из командной строки?
Мне нужно установить размер блока файла, когда я загружаю его в HDFS, на некоторое значение, которое меньше размера блока кластера. Например, если HDFS использует блоки по 64 МБ, я могу захотеть скопировать большой файл с блоками по 32 МБ. Я делал э…
11 авг '11 в 15:22
1
ответ
mount.nfs: сбой монтирования системного вызова
Я пытаюсь смонтировать hdfs на моей локальной машине с Ubuntu, используя следующую команду: --- sudo mount -t nfs -o vers=3,proto=tcp,nolock 192.168.170.52:/ /mnt/hdfs_mount/ Но я получаю эту ошибку: - mount.nfs: mount system call failed Выход для r…
28 июн '17 в 06:23
2
ответа
Как исправить кластер Hadoop HDFS с отсутствующими блоками после переустановки одного узла?
У меня есть 5 подчиненных кластера Hadoop (с использованием CDH4)--- где работают DataNode и TaskNode. Каждый ведомый имеет 4 раздела, выделенных для хранения HDFS. Один из ведомых устройств нуждался в переустановке, и это привело к потере одного из…
10 авг '13 в 12:36
0
ответов
Как предотвратить произвольное выполнение на кластере hadoop
Я участвую в настройке кластера Hadoop для обеспечения полного контроля и безопасности. Я новичок в экосистеме Hadoop, но у меня есть хорошее представление об основах. У меня есть несколько проблем, по которым я надеюсь, что кто-то сможет указать мн…
15 ноя '17 в 16:50
1
ответ
Запуск HDFS только с одним узлом данных - добавление не удалось
Я пытаюсь протестировать некоторые сервисы, которые требуют HDFS, используя Docker Compose. Поскольку тестируемые сервисы, namenode и узлы данных будут работать на одной физической машине (dev-ноутбуке), было бы неплохо уменьшить использование памят…
04 окт '16 в 17:34
2
ответа
Удаление временного каталога из HDFS
Есть ли умный способ удаления старых файлов из каталога hdfs /tmp? (Просто чтобы убедиться, я не говорю о Unix FS / TMP)
09 авг '12 в 21:28
2
ответа
Измените существующий UID пользователя Linux в LDAP, но, похоже, hdfs его не распознает
Я установил среду hadoop 1.2.1 на centos 6. Я также использую nfs-proxy, который монтирует ndfs в локальную файловую систему, чтобы я мог получить доступ к файлам внутри hdfs локально. Он отлично работает до сегодняшнего дня, меня попросили интегрир…
18 дек '13 в 11:42
0
ответов
Пример вывода Rumen или Ввод в Gridmix
Я хочу видеть журналы JobHistory, которые можно подавать в качестве входных данных в рубец. В частности, мне интересно знать формат ввода для Gridmix. Я попробовал следующие две вещи для этого: 1) Я нашел эти файлы: Что это за файл? Это выходной фор…
06 апр '18 в 20:24
0
ответов
jull.lang.NullPointerException при чтении в HDFS
У меня был кластер HBase из 10 узлов, работающий в течение последних 4 месяцев. Кластер был настроен на виртуальных машинах в корпоративной среде, которую я не контролирую, но все работает отлично... до сегодняшнего дня. Сегодня каждая часть системы…
15 апр '14 в 22:04
2
ответа
Ошибка при запуске любой команды файловой системы hadoop hdfs
Я очень новичок в hadoop и имею в виду книгу "hadoop for dummies". У меня есть виртуальная машина со следующими характеристиками: hadoop версия 2.0.6-alpha bigtop os centos Проблема в том, что когда я запускаю любую команду файловой системы hdfs, я …
29 июн '14 в 06:40
1
ответ
Почему DFSZKFailoverController убивает процесс Namenode в hadoop?
Я пытаюсь настроить кластер высокой доступности hadoop, следуя этому руководству: http://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-high-availability/ Когда я следую этой статье, я сталкиваюсь с двумя основными проблемами:1. hdfs nam…
17 июл '16 в 14:46
0
ответов
Настроить путь URL веб-интерфейса HDFS
Я развернул HDFS в Kubernetes, используя диаграмму Хелма: git clone https://github.com/apache-spark-on-k8s/kubernetes-HDFS.git cd kubernetes-HDFS helm repo add incubator \ https://kubernetes-charts-incubator.storage.googleapis.com/ helm dependency b…
29 апр '19 в 11:36
1
ответ
Rhadoop hdfs.init() Ошибка
Я недавно установил CDH5.1.0 вместе с R 3.1.*, И у меня все rmr2, rJava и rhdfs установлены правильно. (вместе с необходимыми пакетами и настройкой необходимых переменных среды) После некоторых проблем с установкой rhdfs я добавляю это в мой файл /u…
29 июл '14 в 19:06
1
ответ
Обработка уже существующих файлов журнала с Flume
У меня есть большой набор файлов журналов, из которых мне нужно извлечь данные. Можно ли использовать Flume для чтения этих файлов и выгрузки их в HDFS (Cassandra или другой источник данных), который я затем могу запросить? Документация, кажется, пр…
23 авг '11 в 18:28
1
ответ
Какая версия HDFS совместима со стабильной HBase?
HBase стабильный в настоящее время hbase-0.90.4, с какой версией (ами) HDFS он совместим?
21 дек '11 в 02:44
0
ответов
Порт блокировки процесса зомби при перезапуске Hadoop (Secondary) Namenode
У меня странные проблемы с Hadoop Namenode и Secondary Namenode. Наш кластер HDFS работает без сбоев большую часть времени. Но время от времени либо Первичный Наменод замирает (разбивая весь кластер), либо Вторичный Наменод замирает и перестает созд…
29 фев '16 в 16:41
1
ответ
Копирование файлов в киосках hdfs
Имеет кластер из 35 узлов с большим количеством блоков в нем: ≈450K блоков на узел данных. После изменения конфигурации (которая содержала переназначение стоек и увеличение NameNode Xmx) HDFS стала проблемой. Он не может выполнять операции копирован…
12 май '17 в 04:44
1
ответ
Что происходит при запуске - hadoop namenode -format
У нас есть кластер amabri (версия 2.6) с 24 рабочими машинами мы хотим запускать следующие команды только на компьютере worker23 (потому что проблема на worker23), как эти команды влияют на всю файловую систему всех рабочих? или только на worker23? …
20 ноя '17 в 17:48