spark.dynamicAllocation + настройка параметров искры в соответствии с кластером ambari
Мы хотим найти значения для следующих параметров искры в соответствии с входными данными, такими как память на машине с датоде, CPU CORE на машине с узлом данных, номера машины с датодой и т. д.,
spark.dynamicAllocation.initialExecutors = ?
spark.dynamicAllocation.minExecutors = ?
spark.dynamicAllocation.maxExecutors = ?
Я думаю, что мы не можем дать точно значения, так что это поможет найти диапазон для этих параметров
например
у нас есть Ambari кластер с
3 мастер машины
21 рабочий компьютер (каждый рабочий компьютер имеет память 32 ГБ и 16 ЯДРО ЦП)
3 кафки машины
Пожалуйста, помогите мне рассчитать значения для параметров (я буду рад получить диапазон значений для каждого параметра, так как я знаю, что мы никогда не закрываем значение точно)
Я просто высказываю свое мнение (на основе сайта - https://community.microstrategy.com/s/article/Best-Practices-for-Spark-Thrift-Server-on-YARN
мы можем установить оба параметра на 21 (как количество рабочих машин)??, Это нормально?
spark.dynamicAllocation.initialExecutors = 21
spark.dynamicAllocation.minExecutors = 21
spark.dynamicAllocation.maxExecutors = 21