Копирование файлов в киосках hdfs

Имеет кластер из 35 узлов с большим количеством блоков в нем: ≈450K блоков на узел данных.

После изменения конфигурации (которая содержала переназначение стоек и увеличение NameNode Xmx) HDFS стала проблемой. Он не может выполнять операции копирования на случайных блоках, когда я пытаюсь скопировать файл в другой каталог, часто это создает _COPYING_ промежуточный файл и застревает. Если я попробую тот же файл еще раз, он в основном получится.

Если ему наконец удается успешно скопировать застрявший файл, он выдает предупреждение в консоли

WARN hdfs.DFSClient: Slow waitForAckedSeqno took 229398ms (threshold=30000ms)

Что может быть причиной этого?

1 ответ

Решение

Решено:

MTU (размер пакета Jumbo) был установлен на 1500 байтов, изменен на 9000

Другие вопросы по тегам