Конфигурация диска Hadoop JBOD на контроллере диска HP Smart Array 410/i

Question

Конфигурация диска Hadoop JBOD на контроллере диска HP Smart Array 410/i

Я нахожусь в стадии оценки некоторого hw, который мог бы использоваться для настройки кластера hadoop. Это оборудование обновлено (серверы HP G6 с контроллером Smart Array 410/i), и, вероятно, мы должны / должны его использовать... у нас его пока нет. Я читал, что контроллер 410 / i не позволяет конфигурацию JBOD, как того требует hadoop, есть ли кто-нибудь, кто мог бы подтвердить это утверждение? Или нет? Кажется, что обходным путем может быть настройка raid0 на каждом отдельном диске, опять кто-нибудь подтверждает это или есть другие способы настройки? Спасибо, Роб

9

storage hp hp-proliant hp-smart-array hadoop

Источник

nysalsa 09 май '11 в 14:12

4 ответа

Другие вопросы по тегам storage hp hp-proliant hp-smart-array hadoop

Erik 09 май '11 в 19:11 2011-05-09 19:11 · Answer 1 · 2011-05-09 19:11

Контроллер Smart Array 410/i позволяет создавать только 2 рейд-устройства без добавления дополнительной карты памяти. Так что, если ваше оборудование имеет только 2 диска, то все будет в порядке; Вы можете просто сделать это 2 raid0's. Если у вас более двух накопителей, вам, вероятно, придется купить Part #462974-001 - 256 МБ кэш-памяти BBWC с резервным питанием от батареи. Если вы не уверены, попробуйте в утилите конфигурирования, он будет жаловаться, что существует ограничение на количество сконфигурированных raid-устройств, если вам необходимо приобрести аддон памяти.

Недавно я настроил ZFS-сервер, используя один из них и 12 дисков в режиме RAID0 для каждого, и он работает нормально. Поскольку вы можете отключить практически все функции фактического raid-контроллера, он практически такой же, как и режим JBOD.

ewwhite 09 май '11 в 14:35 2011-05-09 14:35 · Answer 2 · 2011-05-09 14:35

Эта ситуация аналогична той, с которой я сталкиваюсь при проектировании оборудования для решений хранения ZFS. ZFS представляет собой программный RAID и использует ресурсы сервера для управления дисками. Аппаратный RAID не рекомендуется, и JBOD на самом деле невозможен с контроллерами Smart Array. Поэтому при использовании систем ProLiant для ZFS я заменяю контроллер Smart Array чем-то, что имеет режим JBOD или базовый SAS/SATA HBA.

Как правило, это будет LSI SAS HBA (без функций RAID). Я предпочитаю LSI 9211-8i или 9205e.

См. Рекомендации по адресу: Рекомендации по контроллеру ZFS SAS/SATA.

Chopper3 09 май '11 в 14:23 2011-05-09 14:23 · Answer 3 · 2011-05-09 14:23

Хотя диапазон Pxxx не разрешает прямую настройку JBOD, если вы просто создаете один массив из всех ваших дисков, а затем создаете несколько массивов RAID0 эквивалентных размеров, вы в значительной степени с точки зрения функционального сходства. Тем не менее, я также немного сомневаюсь в требованиях Hadoop, во-первых, нет никакого способа, которым он мог бы на самом деле сказать, какова реальная конфигурация диска, поскольку она скрыта BIOS, а во-вторых, потому что она кажется чрезмерно предписывающей, учитывая, насколько хорошо продуманы контроллеры HP, что проблема с массивом, управляющим его дисками?

sl0n 04 июл '14 в 15:35 2014-07-04 15:35 · Answer 4 · 2014-07-04 15:35

Вы можете настроить RAID0 для каждого доступного физического диска.

Допустим, если у вас 8 дисков, то в итоге вы получите что-то подобное (CentOS 6):

# hpacucli ctrl all show config | grep RAID
      logicaldrive 1 (558.9 GB, RAID 0, OK)
      logicaldrive 2 (558.9 GB, RAID 0, OK)
      logicaldrive 3 (558.9 GB, RAID 0, OK)
      logicaldrive 4 (558.9 GB, RAID 0, OK)
      logicaldrive 5 (558.9 GB, RAID 0, OK)
      logicaldrive 6 (558.9 GB, RAID 0, OK)
      logicaldrive 7 (558.9 GB, RAID 0, OK)
      logicaldrive 8 (558.9 GB, RAID 0, OK)