Производительность диска ниже ожиданий

Это продолжение предыдущего вопроса, который я задал ( два сервера с непостоянной скоростью диска).

У меня есть сервер PowerEdge R510 с интегрированным RAID-контроллером PERC H700 (назовите этот Сервер B), который был построен с использованием восьми дисков с пропускной способностью 3 Гбит / с, которые я сравнивал с почти идентичным сервером (назовем этот Сервер A), который был построен с использованием четырех диски с пропускной способностью 6 Гбит / с. На сервере A скорость ввода-вывода была намного выше, чем на сервере B.

Как только я обнаружил разницу с дисками, у меня был восстановлен сервер A с более быстрыми дисками 6 Гбит / с. К сожалению, это не привело к увеличению производительности дисков. Ожидая, что между серверами должно быть какое-то другое различие в конфигурации, мы вынули диски 6 Гбит / с из Сервера A и поместили их в Сервер B. Это также не привело к увеличению производительности дисков.

Теперь у нас есть два идентичных сервера, за исключением того, что один построен с шестью дисками 6 Гбит / с, а другой - с восемью дисками 3 Гбит / с, а скорости ввода-вывода для дисков практически идентичны. Это говорит о том, что существует некое узкое место, кроме дисков, но я не могу понять, как изначально у сервера B был лучший ввод / вывод, который впоследствии был "потерян".

Ниже приведена сравнительная информация ввода / вывода, измеренная с помощью SQLIO. Те же параметры были использованы для каждого теста. Важны не фактические цифры, а различия между системами. В каждом случае D: 2-дисковый том RAID 1, а E: 4-дисковый том RAID 10 (кроме оригинального Сервера A, где E: 2-дисковый том RAID 0).

Сервер A (оригинальная настройка с дисками 6 Гбит / с)

D: Read (MB/s)     63 MB/s
D: Write (MB/s)    170 MB/s
E: Read (MB/s)     68 MB/s
E: Write (MB/s)    320 MB/s

Сервер B (оригинальная настройка с дисками 3Gpbs)

D: Read (MB/s)     52 MB/s
D: Write (MB/s)    88 MB/s
E: Read (MB/s)     112 MB/s
E: Write (MB/s)    130 MB/s

Сервер A (новая настройка с дисками 3Gpbs)

D: Read (MB/s)     55 MB/s
D: Write (MB/s)    85 MB/s
E: Read (MB/s)     67 MB/s
E: Write (MB/s)    180 MB/s

Сервер B (новая настройка с дисками 6Gpbs)

D: Read (MB/s)     61 MB/s
D: Write (MB/s)    95 MB/s
E: Read (MB/s)     69 MB/s
E: Write (MB/s)    180 MB/s

Кто-нибудь может предложить какие-либо идеи, что здесь происходит?

Используемые диски:

4 ответа

Вам нужно меньше фокусироваться на максимальной скорости интерфейса и больше смотреть на характеристики производительности физического диска, поскольку это, как правило, является узким местом. Как описано на этом сайте для диска SAS сервера Hitachi Hus153030vls300 300 ГБ, который вы связали.

С точки зрения производительности, важные цифры, перечисленные в PDF Hitachi

  • Буфер данных (МБ) 16
  • Скорость вращения (об / мин) 15000
  • Средняя задержка (мс) 2,0
  • Скорость передачи медиа (Мбит / с, не более) 1441
  • Устойчивая скорость передачи (МБ / с, тип.) 123-72 (зона 0-19)
  • Время поиска (чтение, мс, типичное значение) 3,6 / 3,4 / 3,4

Поскольку все эти цифры означают, что диск не сможет насыщать канал 3 Гбит / с, нет смысла в нем иметь канал 6 Гбит / с.

Я не могу представить себе raid-контроллер, который может одновременно использовать максимальную производительность каждого диска в одном и том же массиве. Таким образом, при условии, что у вас есть RAID 1 с 2 дисками, первый из которых способен поддерживать скорость последовательного чтения и записи 60 МБ / с, а второй - только 50 МБ / с, тогда запись в массив будет ограничена 50 МБ / с, в то время как приличная рейд-карта будет быть в состоянии иметь 2 потока одновременного чтения, один со скоростью 60 МБ / с, а другой со скоростью 50 МБ / с. Чем сложнее массив, тем сложнее становятся эти цифры.

Некоторые другие заметки

  • Максимальная скорость передачи диска отличается в разных областях диска, как правило, она быстрее в начале диска.
  • последовательное чтение - это самая быстрая операция, которую может выполнить диск, а случайное чтение или запись значительно медленнее.
  • обычно контроллер raid отключает встроенный кэш записи дисков и использует только собственный кэш для записи, если он имеет хорошую батарею или вы переопределяете его по умолчанию.
  • Я читал о некоторых случаях, когда некоторые комбинированные прошивки диска / рейда ошибочно выявляли неисправную батарею и отключали весь кэш записи. Так что обновите свою прошивку для диска и контроллера рейда

Есть некоторые диски, рекламируемые как высокопроизводительные диски 6 Гбит / с, которые на самом деле не настолько высокопроизводительны, они просто имеют интерфейс 6 Гбит / с и в любом случае даже не могут насытить канал 3 Гбит / с (что может занять 357 МБ / с).

Основное преимущество sas/sata 6 Гбит / с - для твердотельных накопителей и умножителей портов (т. Е. Подключение нескольких дисков к порту 1 sas/sata).

Я не очень знаком с системами Windows, но вот некоторые моменты, которые необходимо учитывать при тестировании, особенно с операциями ввода-вывода.

Помните об этой схеме, представляющей слои между вашим приложением и дисками:

Application <=> Filesystem (OS) <=> Disk controller <=> Hard drive

И каждая часть в этом имеет свой собственный метод перемещения информации в верхнюю и нижнюю части, имеет свой собственный кэш, конфигурацию и т. Д.

  • Применение: (здесь ваш инструмент). Написание больших модификаций в большом блоке лучше, чем делать много маленьких записей. Вы ждете полной очистки диска, делаете ли вы последовательный или произвольный доступ?
  • Файловая система: здесь много параметров: кэширование ОС, предварительная выборка данных, размер блока данных
  • Дисковый контроллер: он является центральной точкой доступа к жестким дискам. Его конфигурация будет рассчитывать на 30% ваших настроек. Среди этого основными моментами являются:
    • Коэффициент кэширования между чтением / записью. В зависимости от вашего приложения, которое может интенсивно читать или писать, вы соответственно настроите это соотношение.
    • Кэширование батареи, позволяющее использовать методы WRITE-THROUGH или WRITE-BACK.
    • Уровень рейда: вы должны выбрать уровень в соответствии с вашими потребностями отказоустойчивости. RAID0 для допустимости 0, но отличные характеристики, RAID1 для отказоустойчивости, но 50% используемого дискового пространства, RAID5/6 для компромисса...
  • Жесткий диск: более высокая скорость вращения позволит вам быстрее получить доступ к данным, расположенным в разных регионах диска. Таким образом, лучше для случайного поиска

Кроме того, поиск по выравниванию данных: я видел, как Windows много раз создавала неправильно выровненные разделы. Таким образом, когда файловая система хочет записать 1 блок размером 4 КБ, это приводит к 2 операциям ввода-вывода на диске, поскольку блок FS расположен на 2 блоках устройства.

Более подробная информация поможет нам найти узкое место.

Эдриан.

По своему опыту, я видел большие различия в производительности 15k дисков SAS. Вы упомянули несколько перестановок дисков, но похоже, что вы сосредоточены на скоростях шины 3Gig против 6Gig, когда это мало повлияет на указанные вами числа входов / выходов. Если бы я был на твоем месте, я бы провел индивидуальный сравнительный анализ дисков, чтобы увидеть, есть ли у меня медленная езда.

Какие другие настройки применяются к вашей настройке RAID. Напишите политики, кэширование, размер полосы и т. Д. Были ли они согласованы между тестами?

Вам необходимо обновить прошивку H710, жестких дисков и объединительной платы, если таковая имеется. Если вы используете Linux, вам нужно только обновить прошивку.

Кроме того, перед этим вы можете установить Dell Server Admin (OMSA), например, 7.3.0.1, чтобы проверить, сообщит ли он о любых проблемах с несовместимостью.

Вам также необходимо использовать диски того же типа в том же массиве, если это SAS.

Таким образом, в основном, если у вас неправильная прошивка жесткого диска, старая прошивка SAS, различные диски SAS (даже если они являются SATA, они могут работать как SAS), вы никогда не получите постоянную производительность на всех дисках.

На самом деле, если у вас просто разные типы дисков, это может быть причиной.

Другие вопросы по тегам