PERC 6/i RAID на Dell R710: медленный диск... RAID10 на одном контроллере?
Здесь есть несколько вопросов, но все начинается с этого: у нас Dell PowerEdge R710 с RAID-контроллером (или контроллерами) PERC 6/i в конфигурации RAID10.
Система работает под управлением Ubuntu Server 10.04 LTS с MySQL, выполняющим нагрузку с интенсивным чтением.
Я увеличил чтение с помощью blockdev --setra ### /dev/sda увеличить чтение (чтение, по крайней мере в теории, последовательное чтение). Это, похоже, не оказало существенного влияния. Я не менял дисковый лифт (я видел noop а также deadline рекомендуемые).
Нагрузка на систему взлетает до небес, и это, кажется, связано с дисковым вводом / выводом, ждет. Система может ожидать до 50% времени дискового ввода-вывода - в то время как CPU % составляет около 7-10%. Сопоставимая система с RAID5 и интенсивной записью установки MySQL полностью курит эту систему.
Система RAID10, по-видимому, имеет два контроллера PERC 6/i с учетом того, что сообщает Dell OpenManage; однако, только у Контроллера 0 есть корпус, и только у Контроллера 0 есть RAID. RAID состоит из четырех дисков (я думаю, слоты 0-3) с двумя свободными слотами.
Система также работает в профиле PowerSaving, который позволяет операционной системе управлять скоростью процессора.
Система также страдает от ошибки fsync(), обнаруженной в некоторых ядрах Linux.
Наконец, PERC 6/i сообщает, что прошивка устарела: у нее 6.2.0-0013 и требуется 6.3.0-0001.
Теперь вопросы:
- Можно ли переместить одну часть массива RAID10 на второй контроллер?
- Есть ли на самом деле два контроллера, которые можно использовать на одной объединительной панели, или я что-то упустил?
- Исправит ли обновление прошивки проблему скорости диска?
- Будет ли уровень RAID иметь какое-либо отношение к ожиданию ввода-вывода большого диска?
- Какой эффект будет иметь режим энергосбережения? (Некоторые сообщения говорят, что это замедляет работу ядра.)
Я сильно подозреваю, что есть какая-то конфигурация, которая превратит диски в пугающе высокие скорости, но, похоже, я не могу их закрепить.
Обновление: четыре диска, используемые здесь, это модель Hitachi HDS721010CLA332, которая указана как имеющая SATA "Bus Protocol", но также имеющая "SAS Address"? Являются ли эти диски теми SAS-олицетворяющими дисками, о которых я слышал, которые должны быть довольно медленными? В любом случае, это диски 7200 об / мин.
Система сравнения содержит диски SAS: Seagate ST31000640SS - также 7200 об / мин. Эта система сравнения также использует как RAID-контроллеры, так и связанные с ними записи "объединительной платы".
4 ответа
PERC 6/i - это двухпортовый контроллер; каждый порт имеет 4 полосы SAS. На шасси R710 8x2,5 дюйма это сопоставление дисков передней панели с линиями SAS "один к одному". На 3,5-дюймовом шасси порты 6 и 7 не используются. С помощью четырехдискового массива вы можете переместить 2 диска в слоты 4 и 5, чтобы разделить рабочую нагрузку между каналами, хотя на плате PERC все еще есть один процессор и память.
Обновление прошивки, как правило, хорошая идея, и это довольно безболезненный процесс (хотя она требует перезагрузки).
RAID 10 с 4 дисками обеспечивает производительность 2 дисков для записи и 4 дисков для чтения (абсолютно лучший вариант). Жесткие диски со скоростью 7200 об / мин должны давать 75-100 IOps. Какое представление вы видите? Ты читаешь %util близко к 100 в iostat?
Если основная нагрузка генерируется базой данных, что заставляет вас думать, что она будет в основном последовательной? Базы данных являются стереотипным случаем произвольного доступа. Ты можешь использовать iostat чтобы увидеть средний размер запроса. collectl дополнительно предоставит вам информацию о слияниях ввода / вывода, выполненных в ядре. Согласен ли он с вашими ожиданиями в основном последовательных чтений?
Какую ошибку в ядре fsync() вы имеете в виду?
Какую файловую систему вы используете? Какие варианты монтирования? noatime Опция может значительно увеличить скорость работы с ext[34], потому что изменение времени доступа может означать дополнительную запись для каждого чтения файла (наихудший случай, метки времени с высоким разрешением).
Ответ раздел;)
Обновление прошивки может помочь, но не ожидайте чудес. Вы можете получить пару процентов, а не
RAID 10 - лучший уровень производительности (если вы хотите сохранить избыточность), поэтому он не должен вызывать проблем сам по себе. Однако у вас могут быть разделы и / или LV, не выровненные по размеру полосы. Это может потенциально удвоить количество операций ввода-вывода, необходимых для небольших случайных операций чтения (в худшем случае), и приведет к накладным расходам при любом типе операций ввода-вывода.
Режим энергосбережения не должен стоить вам дорого. Из того, что вы нам рассказали, диски слишком заняты, чтобы их раскручивать, и процессор все равно ожидает ввода-вывода.
Будьте осторожны, используя инструменты, которые показывают среднюю загрузку процессора. Это число, безусловно, является хорошей отправной точкой для того, чтобы увидеть нагрузку при парковке мячей, но если вы видите 50% -ую нагрузку в системе с 24 процессорами, откуда вы знаете, что 12 процессоров не используются на 100%, а остальные 12 простаивают? Я видел случаи, когда нагрузка составляла<10%, но 1 процессор был забит при 100% прерываниях обработки. -отметка
Один из наших серверов имел этот RAID-контроллер и версию прошивки; по-видимому, в новейшей версии прошивки исправлена ошибка, при которой батарея кеша записи не заряжалась должным образом. Из-за того, что батарея не заряжается, контроллер переключается в режим сквозной записи, чтобы защитить ваши данные, что существенно влияет на производительность.
Обновите прошивку и подождите несколько часов, пока батарея зарядится. Тогда вы будете работать нормально.