Как определить значение yarn.scheduler.maximum-distribution-vcores в кластере ambari
У нас есть кластер ambari (версия 2.6) с 3 рабочими машинами, и на каждой рабочей машине имеется 16 CPU Core (см. рис. вниз), в то время как каждая машина имеет 32G памяти
в соответствии с:
yarn.nodemanager.resource.cpu-vcores: установите соответствующий номер в yarn-site.xml на всех узлах. Это строго зависит от типа рабочих нагрузок, выполняемых в кластере, но общая рекомендация состоит в том, что администраторы устанавливают его равным количеству физических ядер на машине.
мы устанавливаем для yarn.nodemanager.resource.cpu-vcores значение 16
но каково правильное значение для - yarn.scheduler.maximum-distribution-vcores?
yarn.scheduler.maximum-alloc-vcores: это максимальное выделение для каждого запроса контейнера в Resource Manager с точки зрения виртуальных ядер ЦП. Запросы выше этого значения не вступят в силу и будут ограничены этим значением.
Доза это означает 80% от общего ядра или что-то между 50% и 100% от общего ядра процессора?
1 ответ
... претензии:
Значение по умолчанию для yarn.scheduler.maximum-distribution-vcores в Qubole установлено равным удвоенному числу процессоров. Эта избыточная подписка предполагает, что процессоры не всегда выполняют поток, и, следовательно, назначение большего количества ядер позволяет максимально использовать процессор.
Если вас это не устраивает, вы можете установить yarn.scheduler.maximum-distribution-vcores = 80% * (общее количество ядер ЦП) * 2. После внесения любых изменений настроек некоторое время следите за загрузкой ЦП кластера / узла. нагрузки. 70%-80% использования должны быть правильными.