Ceph слишком медленный и как его оптимизировать?

Установка состоит из 3 кластерных Proxmox для вычислений, 3 кластерных узлов хранения Ceph,

ceph01 8 * 150 ГБ ssds (1 используется для ОС, 7 для хранения)
ceph02 8 * 150 ГБ ssds (1 используется для ОС, 7 для хранения)
ceph03 8 * 250 ГБ ssds (1 используется для ОС, 7 для хранения)

Когда я создаю виртуальную машину на узле proxmox, используя Ceph Storage, я получаю скорость ниже (пропускная способность сети НЕ является узким местом)

Запись в ВМ, где HDD в Ceph

[root@localhost ~]# dd if=/dev/zero of=./here bs=1M count=1024 oflag=direct
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 46.7814 s, 23.0 MB/s

[root@localhost ~]# dd if=/dev/zero of=./here bs=1G count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB) copied, 15.5484 s, 69.1 MB/s

Запись в ВМ, где HDD в Proxmox
для сравнения ниже на ВМ на proxmox, ssd тот же модальный,

[root@localhost ~]# dd if=/dev/zero of=./here bs=1M count=1024 oflag=direct
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 10.301 s, 104 MB/s

[root@localhost ~]# dd if=/dev/zero of=./here bs=1G count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB) copied, 7.22211 s, 149 MB/s

У меня ниже ceph бассейн

size/min = 3/2
pg_num = 2048
ruleset = 0

Запуск 3 мониторов на тех же хостах. Журналы хранятся в каждом собственном OSD. Запуск последнего Proxmox с Ceph Hammer.

Любые предложения о том, где мы должны искать улучшения? Это бассейн Ceph? Это Журналы? Имеет ли значение, если журнал находится на том же диске, что и ОС (/dev/sda) или OSD (/dev/sdX)?