Практический способ сделать Healthcheck для нового сервера?
В настоящее время я пытаюсь выполнить проверку работоспособности нового сервера в центре обработки данных в качестве первого QA, прежде чем использовать какую-либо сторону приложения.
"Каков практический способ и инструменты для проверки правильности использования сервера?"
Об инструментах я смотрю на memtest86 для тестирования памяти и эталонного теста файловой системы IOzone. Но я надеюсь, что должно быть больше других тестов, которые я должен сделать, и лучшие инструменты, чем эти два.
1 ответ
Раньше я делал много проблем с оборудованием в больших центрах обработки данных, я бы порекомендовал найти загрузочный дистрибутив Linux, подойдет любой. Обязательно найдите один с 64-битным изображением, если у вас 64-битный процессор. Stresslinux содержит целый набор инструментов для защиты ваших серверов и выявления любых аппаратных сбоев.
Я лично отношусь к инструменту "стресс" - он может забивать жесткий диск (и), память и процессор (ы).
стресс
Краткое примечание о memtest86+
Это не часть набора стресса, но, очевидно, вы знаете, что он существует. Обязательно убедитесь, что вы используете memtest86+ (акцент на +) - он обрабатывает 64-битные системы и большой объем памяти гораздо лучше, чем оригинальный memtest86.
Тестирование памяти
Это будет порождать n процессов, вращающихся в malloc() по 256 МБ каждый.
stress -m n &
Таким образом, вы хотели бы разделить объем вашей памяти на 256 МБ (примерно), чтобы поразить все это. Это устранит любые очевидные ошибки, вы, скорее всего, увидите EDAC или MCE (в зависимости от вашего процессора / материнской платы), или панику ядра / сильный сбой. В идеале вы можете дать ему поработать несколько часов, чтобы он нагрелся под нагрузкой. Вы можете проверить системный журнал на наличие этих ошибок.
Тестирование процессора
Это породит n процессов, вращающихся на sqrt().
stress -c n &
Вы хотите, чтобы n было числом ядер в вашей системе. Та же самая концепция здесь применима, если позволить ей работать некоторое время.
Тестирование дисковой подсистемы
Для этого необходимо каким-то образом отформатировать жесткие диски, если вы используете RAID, вы получите лучшие результаты, если вы уже настроили его до того, как смонтировать диски и выделить их.
Измените каталог на раздел / область диска, который вы хотели бы подчеркнуть. Чем больше свободного места, тем лучше.
cd /hard/disk/partition
Это будет порождать n процессов, вращающихся на write() по 1 ГБ каждый
stress -d 32 n &
Мониторинг дискового ввода-вывода с помощью:
iostat -x 5
Убийственный стресс
Чтобы убить все стрессовые процессы, да, вы можете одновременно запускать проверки памяти, процессора и жесткого диска, но это делает изоляцию компонентов более сложной:
pkill -9 -f stress
Проверка ваших тестов
Очевидно, что вы запускаете все эти вещи, и вам нужно увидеть какой-то результат или подтверждение.
Память / Процессор
Вы просто захотите проверить системный журнал на наличие таких вещей, как исключение проверки компьютера (MCE), обнаружение и исправление ошибок (EDAC), нехватка памяти (OOM) и т. Д.
zgrep -i -P ".*(error|warn|fail|panic|edac|mce|exception|oom-killer|oops).*" /var/log/kern.log* /var/log/dmesg /var/log/daemon.log*
Дисковая Подсистема
Это, вероятно, легче всего обнаружить больше, чем любой другой компонент, smartctl обычно устанавливается в большинстве операционных систем *NIX, он является частью пакета smartmontools. Следующая команда требует root-доступа:
Аспект /dev/sda может потребоваться изменить, если у вас несколько дисков или контроллер RAID.
sudo smartctl -a /dev/sda
Ниже приведен пример вывода полной команды. Я укажу, что вы действительно должны искать дальше вниз по странице.
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x000b 099 099 016 Pre-fail Always - 65537
2 Throughput_Performance 0x0005 136 136 054 Pre-fail Offline - 95
3 Spin_Up_Time 0x0007 121 121 024 Pre-fail Always - 320 (Average 304)
4 Start_Stop_Count 0x0012 100 100 000 Old_age Always - 18
5 Reallocated_Sector_Ct 0x0033 100 100 005 Pre-fail Always - 0
7 Seek_Error_Rate 0x000b 100 100 067 Pre-fail Always - 0
8 Seek_Time_Performance 0x0005 144 144 020 Pre-fail Offline - 28
9 Power_On_Hours 0x0012 098 098 000 Old_age Always - 15407
10 Spin_Retry_Count 0x0013 100 100 060 Pre-fail Always - 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 18
192 Power-Off_Retract_Count 0x0032 100 100 000 Old_age Always - 37
193 Load_Cycle_Count 0x0012 100 100 000 Old_age Always - 37
194 Temperature_Celsius 0x0002 253 253 000 Old_age Always - 22 (Min/Max 15/31)
196 Reallocated_Event_Count 0x0032 100 100 000 Old_age Always - 0
197 Current_Pending_Sector 0x0022 100 100 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0008 100 100 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x000a 200 200 000 Old_age Always - 0
Основные атрибуты, о которых вы хотите знать:
Reallocated_Sector_Ct
Это должно быть меньше 1000 в целом.
Это секторы, которые нужно было перераспределить на другую часть жесткого диска, потому что предыдущий сектор не был исправен.
Temperature_Celsius
Это должно быть меньше 55, сама команда будет иметь мин / макс в некоторых случаях - но суб 55 - то, где мы видели исправную работу диска.
Current_Pending_Sector
Должно быть 0.
Offline_Uncorrectable
Должно быть 0.
UDMA_CRC_Error_Count
Должно быть 0, некоторые в порядке (меньше 100).
Также обратите внимание, что это может свидетельствовать о неисправности кабеля SATA/SAS.
Есть много способов подчеркнуть и оценить ваши серверы, это просто способ, с которым я доволен и добился отличных результатов.
Надеюсь, это поможет!