Копирование файлов в киосках hdfs
Имеет кластер из 35 узлов с большим количеством блоков в нем: ≈450K блоков на узел данных.
После изменения конфигурации (которая содержала переназначение стоек и увеличение NameNode Xmx) HDFS стала проблемой. Он не может выполнять операции копирования на случайных блоках, когда я пытаюсь скопировать файл в другой каталог, часто это создает _COPYING_
промежуточный файл и застревает. Если я попробую тот же файл еще раз, он в основном получится.
Если ему наконец удается успешно скопировать застрявший файл, он выдает предупреждение в консоли
WARN hdfs.DFSClient: Slow waitForAckedSeqno took 229398ms (threshold=30000ms)
Что может быть причиной этого?
1 ответ
Решение
Решено:
MTU (размер пакета Jumbo) был установлен на 1500 байтов, изменен на 9000