Проблемы с производительностью в Raid 10
Я занимаюсь настройкой зеркальной системы хранения для нашего бизнеса.
У нас нет бюджета на предварительные сборки, поэтому я стараюсь сделать все возможное, чтобы получить максимальную отдачу от затраченных средств. Вот наша аппаратная разбивка:
Сан1 и Сан2 Windows Server 2019
SUPERMICRO MBD-H11SSL-IAmd Epyc 7251 8-ядерный процессор
64 ГБ ОЗУ 8 ГБ x8
SSD для ОС 500ГБ
ЛСИ 9380-8i8e
Сетевой адаптер Intel 10G, 4 порта — сеть Iscsi
Сетевой адаптер Intel 25G, 2 порта — Синхронизация между серверами — Jumbo Frames-9014.
1 внутренний сетевой адаптер 1G (данные), 1 IPMI используется на МБ
IW-RJ224-03 Корпус SSD с 24 отсеками, вмещает 24 накопителя Samsung 860 Pro емкостью 2 ТБ, конфигурация Raid10. Подключен через 2 кабеля sas к карте 9380.
Мы будем использовать Starwind для синхронизации двух серверов.
В процессе настройки Starwind я пытался оценить производительность синхронизации. Используя изображения разных размеров от 500 ГБ до 5 ТБ.
Когда начинается синхронизация, система, записывающая данные синхронизации, практически не пригодна для использования. Система зависает, монитор производительности зависает, и все работает ужасно, пока я не отключу все параметры кэширования. Если я включу обратную запись или включу дисковый кэш, я замечаю Core0 на нуме 0 привязки 100%, и все идет наперекосяк... другие ядра показывают очень мало или вообще не используют, минус пара.
Я пробовал все виды комбинаций настроек привода, чтобы справиться с этим, но на данный момент я ни к чему не добился. Должно быть, я что-то упускаю. Я настроил массив с настройками 2x8, 6x4 и 4x6 (стандартная полоса 64 КБ), думая, что меня сдерживает какое-то ограничение диска, но у меня был 1 экземпляр, где все пошло не так, и диск без проблем записал синхронизацию объемом 5 ТБ. , и за час при идеальном отклике системы. В то время скорость превышала 1,6 ГБ/с при включении обоих кэшей в массиве 4x6. Я заметил, что ядро core0, numa0 в то время почти простаивало, а ядро 2,numa 0 выполняло тяжелую работу. Снес все, чтобы скопировать и восстановить, с тех пор застрял. Теперь при каждой передаче максимальная скорость записи составляет около 600 МБ при отключенном кэше, а при включении скорость достигает около 1 ГБ/с, прежде чем это становится заметным.
Любые идеи, которые помогут мне выбрать правильное направление, приветствуются! Обновлена прошивка 9380, драйверы для карт Raid, сетевых адаптеров и компонентов MB.