Сколько дисков для spark_local_dirs?

Я ищу решение для улучшения производительности моего кластера Spark, которое я прочитал по http://spark.apache.org/docs/latest/hardware-provisioning.html:

Мы рекомендуем иметь 4-8 дисков на узел

Я пробовал как с одним, так и с двумя дисками, но я видел, что с двумя дисками время выполнения удваивается. Любые объяснения по этому поводу?

Это моя конфигурация: 1 машина с ОЗУ 140 ГБ, 2 диска и 32 процессора (я знаю, что это необычная конфигурация), и на этом у меня есть автономный кластер Spark с 1 рабочим.