Модернизация / проектирование системы SAN
Привет, я давний скрытник, первый раз. Для краткости позвольте мне задать свой вопрос заранее, а затем дать более длинную предысторию, чтобы вы могли выбрать, сколько вы хотите прочитать.
Укороченная версия...
Нам нужно обновление SAN, определенно дополнительная емкость и, возможно, лучшая производительность. Наши основные рабочие нагрузки будут составлять около 20 различных виртуальных машин и несколько баз данных SQL. В дополнение к нескольким контроллерам домена, обмену и различным стандартным корпоративным службам основной рабочей нагрузкой является размещение приложения на Citrix, к которому будут обращаться около 300 пользователей каждый день. В настоящее время у нас есть SAN-контроллер HP MSA1500cs с двумя корпусами MSA30, почти полностью заполненный примерно 3,7 ТБ свободного дискового пространства. Чистая емкость не так важна, как производительность и надежность. Я не вижу, чтобы в обозримом будущем наша емкость превышала 10 ТБ. Вопрос в том, должны ли мы просто добавить корпус или 2 в наш существующий контроллер? Должны ли мы перейти на продукты MSA текущего поколения, серию MSA2000? Должны ли мы перейти к семье EVA4400? Должны ли мы смотреть на недавно приобретенные решения для левой руки SAN? Если мы в конечном итоге делаем что-то, кроме добавления пространства к нашему текущему контроллеру, должны ли мы придерживаться fibrechannel или смотреть на iSCSI? Бюджет на самом деле не установлен, так как это часть более крупного проекта с большим бюджетным зонтиком, но я бы сказал, что мы хотим быть ниже 50 тысяч долларов, а дешевле всегда лучше.
Длинная версия...
Мы собираемся расширить спектр услуг, предоставляемых нашей фермой серверов. Если вам нужны подробности, мы являемся корпорацией домов престарелых с около 45 домами престарелых. Мы будем использовать полностью электронные графики, что означает, что наше использование специально баз данных и Citrix значительно возрастет. Сейчас в каждом учреждении, вероятно, около 2 медсестер, которые фактически взаимодействуют с нашим программным обеспечением для медицинских карт каждый день. Вероятно, это будет около 6 медсестер в каждом учреждении, использующих программное обеспечение гораздо чаще, чем текущее использование.
В дополнение к системе медицинских карт мы предоставляем активный каталог и обмен информацией для около 600 пользователей, а также систему начисления заработной платы и обычный ассортимент различных услуг. Текущая база данных (MS SQL 2005) для системы медицинских карт составляет около 30 ГБ, и она будет расти с новой моделью использования, но в основном частота доступа увеличится больше, чем необработанный размер.
Прежде, чем я буду более конкретен с аппаратными средствами, позвольте мне сказать, что мы - компания HP, и мой начальник, директор IS, довольно трудолюбив, чтобы идти с любым другим поставщиком. Вы и я, возможно, не согласны с выбором HP, но он довольно каменный.
Мы модернизируем нашу серверную ферму из 16 блейд-серверов HP BL20p с более старыми процессорами Xeon (с двумя сокетами, но большинство из них имеют только один процессор в настоящее время) и не очень много памяти по современным стандартам (поддерживается до 8 ГБ, большинство имеют гораздо меньше, чем это), вероятно, современные автономные серверы, такие как HP DL580 G5 с 4 разъемами каждый с 4/6 ядрами современного Xeon или Opteron и 128 ГБ памяти каждый. В настоящее время мы используем VMWare ESX 3 и планируем перейти на текущую версию VMWare. Я также был бы признателен за комментарии на серверах, но мой главный вопрос о нашей сети хранения данных, продолжайте читать.
Мне было поручено изучить возможность обновления нашего текущего решения SAN. В настоящее время у нас есть контроллер HP MSA1500cs и 2 полностью заполненных дисковых отсека, с около 3,7 ТБ свободного дискового пространства. Эти пользовательские диски SCSI Ultra320 и корпуса взаимодействуют с контроллером с помощью соединений u320, а контроллер подключается к ферме серверов с помощью 4-гигабитного 32-портового оптоволоконного коммутатора SAN. Нам нужно будет добавить немного места для реализации изменений, но в основном меня интересуют производительность и надежность. Я не вижу, чтобы наше общее хранилище когда-либо выходило за рамки 10 ТБ.
Я довольно новичок в мире SAN, и на данный момент это немного ошеломляет. На мой взгляд, у нас есть 3 основных варианта. Мы можем добавить больше корпусов в нашу текущую систему. Он поддерживает до 8 корпусов, и у нас сейчас только 2, так что это будет очень простой путь обновления. Мы также могли бы перейти на текущее поколение семейства HP MSA, серии MSA2000. Нашим третьим вариантом, как я вижу, будет обновление до следующего класса SAN, серии HP EVA. HP говорит, что рассматривается семейство MSA и SAN начального уровня, что заставляет меня думать, что нам может понадобиться что-то более существенное, но я понимаю, что это говорит отдел маркетинга.
Если мы просто добавим несколько корпусов к нашему текущему контроллеру, у нас будет достаточно портов Fibrechannel для подключения новых серверов, тем более, что мы удалим несколько старых серверов. Если мы осуществляем обновление до новой системы SAN, это поднимает вопрос о том, продолжать ли использовать fibrechannel или использовать более новую (и, как правило, более дешевую) технологию, такую как iSCSI или FCoE.
Я ценю любые комментарии или ответы, и если что-то требует уточнения, просто спросите, и я постараюсь дать вам как можно больше информации. Заранее спасибо!
4 ответа
HP MSA1500CS - довольно слабое устройство. У меня есть один, и я ненавижу это. Я несколько удивлен, что он не отставал от ваших заявленных нагрузок. Вероятно, неудивительно, что я рекомендую перейти на MSA2000. Он имеет гораздо лучшую архитектуру хранения, чем 1500CS, и может масштабироваться лучше.
Без дополнительных данных я не могу рекомендовать переход на EVA4400 (корпоративный массив начального уровня HP) по сравнению с MSA2000. 4400 унесет вас намного дальше, чем MSA2000, с точки зрения масштабирования, но я не знаю, какого роста вы ожидаете.
RE: LeftHand против MSA2000
Пока у вас есть сеть Ethernet для него, устройство LeftHand должно значительно увеличить MSA2000. Контроллер распределенного хранения, который он использует, облегчает подобные вещи. Вы будете платить больше за полку хранения, но вы можете масштабировать ее до глупых сумм. Как только вы начнете устанавливать потолки ввода-вывода на MSA2000 (что будет зависеть от используемой вами технологии накопителя, а также от любых активных / активных конфигураций, которые вы можете использовать), вы почти готовы. Для продуктов LeftHand этот потолок намного мягче.
Подход LeftHand действительно спасает вас с RAID-контролем четности. Выполнение восстановлений после сбоя - это самая интенсивная загрузка процессора, и мой MSA1500cs не справляется со своей задачей. На моем 1500cs восстановление массива RAID6 на 6,5 ТБ диска заняло около недели, и в это время он был очень нетерпим к крупномасштабным операциям записи ввода-вывода в любой массив. Поскольку LeftHand имеет контроллер в каждом шкафу, перераспределение LUN на одной полке не повлияет на производительность LUN на других полках. Это очень мило!
В общем, если у вас есть на это бюджет, устройства LeftHand должны служить вам гораздо дольше, чем MSA2000.
У меня нет особого опыта работы с продуктами HP для хранения данных, так что это всего лишь общий совет. Вы должны сделать шаг назад и провести тщательный анализ требований к производительности систем, которые хотят \ хотят использовать ваше хранилище SAN. Емкость - это одна метрика, но что более важно, вам необходимо разобраться с шаблонами ввода-вывода - средними и пиковыми нагрузками ввода-вывода в секунду на сервер / сервис со временем. Разбейте их по разделам, посмотрите, что можно разделить, чтобы увидеть, какой профиль производительности и емкости требуют эти тома. Затем посмотрите, какие комбинации дисков (емкость, ввод-вывод на диск, типы RAID) могут удовлетворить ваши потребности.
В качестве (очень грубого) практического правила для ваших начальных оценок емкости: диски SAS - поддерживаемый случайный IOPS составляет примерно 70-90 для дисков 7200 об / мин, 100-120 для дисков 10k и 150-170 для дисков 15k. Некоторые диски будут лучше, некоторые рабочие нагрузки позволят повысить IOPS, но использовать их для наихудшего базового уровня.
Количество операций ввода-вывода в произвольном порядке будет близко к N * IOPS на диск для массива дисков N любого нормального типа RAID (10,5,6,50). Производительность произвольной записи влечет за собой штраф (50% для RAID 10, 75% для RAID 5\50, >75% для RAID6\60). Производительность последовательного чтения-ввода-вывода составляет RAID 10>50>60>5, но различия невелики. последовательные записи похожи, но различия более значительны. RAID 6 и 60 обладают высокой устойчивостью, но время восстановления очень велико, а производительность снижается во всем пакете, пока они происходят.
Не игнорируйте массовую последовательную производительность - вам потребуется много последовательной производительности для резервного копирования.
Если вы хотите использовать аппаратные моментальные снимки \ репликацию, учитывайте как емкость, так и издержки производительности, связанные с ними. Хорошая технология моментальных снимков сама по себе добавляет небольшие издержки ввода-вывода, но если вы начнете монтировать снимки на нескольких системах, дополнительная нагрузка ввода-вывода будет увеличиваться. С точки зрения емкости Снимки могут использовать что угодно, от всего лишь 10% от размера базового тома до>100%.
Имейте в виду, что базовые числа IOPS, которые я упомянул выше, являются расширенными сценариями наихудшего случая, когда кэш записи контроллера массива хранения перегружен, в идеале вы бы хотели этого избежать, но вам нужно знать, могут ли базовые диски справиться с нагрузкой.
Помните, что вам нужно подумать о том, как различные нагрузки, связанные с вашими томами хранения, будут выделяться из комбинаций дисков, и вы захотите убедиться, что тяжелые нагрузки ввода-вывода разделены и размещены на группах дисков с достаточным количеством шпинделей и RAID типа 10 или 50, который обеспечивает (относительно) высокую производительность. Объемное хранилище с низкой производительностью следует размещать на более дешевых (более медленных) дисках и настраивать для RAID 5.
Как только вы получите представление о том, как выглядят комбинации, посмотрите, могут ли доступные для вас решения для хранения предоставить эти характеристики и как выглядят конфигурации. Тогда иди искать цены.
Заметьте, что я полностью проигнорировал эту часть сети - вам тоже нужно посмотреть на это, но по большей части 2G\4G FC \ пара портов iSCSI GigE позволят вам насыщать произвольный ввод-вывод в любой сети SAN начального уровня. Один интерфейс GigE должен обрабатывать, например,>10000 малых (<4K) случайных операций ввода-вывода в секунду. Если ваши нагрузки в значительной степени ориентированы на последовательный ввод-вывод, вам нужно иметь много толстых каналов - всего 2 диска 10 КБ могут передавать данные быстрее, чем одно сетевое соединение GigE (>125 Мегабит / сек) и массив RAID 10 с 8 дисками (>500 Мегагерца). / сек) даст 4G FC тяжелое время.
Предполагая, что вам нужно придерживаться HP (и в этом нет ничего страшного), взгляните на недавно приобретенные решения HP LeftHand SAN, они о самой современной вещи, которую HP или кто-либо другой продает, когда речь идет о хранилище SAN. Они продают в комплекте версию под названием "HP LeftHand P4300 4,8 ТБ Starter SAN Solution", которая вполне подходила бы для общих деталей, которые вы указали выше.
Тем не менее, если вы довольны существующей производительностью и возможностями MSA1500cs, на самом деле нет особой причины разрывать и заменять ее, если срок ее гарантии не истечет, а расширенный контракт на поддержку не будет стоить слишком дорого.
Интересный вопрос - спасибо. Я тоже парень из HP и знаю все продукты, которые вы хорошо упомянули.
Очевидно, мы могли бы потратить на это целую вечность, но я бы посоветовал вам перейти к следующему, если есть бюджет;
Блейд-серверы HP BL490c G6 в шасси C7000, каждый может использовать двухъядерный Xeon (я бы выбрал E5540 как хорошую производительность на ватт), у них есть 18 слотов памяти, поэтому занимает 72 ГБ с "сладким местом" Модули памяти 4 ГБ и имеют один 64 ГБ SSD для загрузки. Если у вас есть бюджет, я бы выбрал пару межсоединений "Flex-10 Virtual Connect", чтобы связать ваши коммутаторы, и пару межсоединений "4Gbps FC Virtual Connect", чтобы соединиться с вашим хранилищем.
Затем я бы выбрал EVA 4400 со встроенным 20-портовым коммутатором FC 4 Гбит / с - это устройство с двумя контроллерами, довольно мощное за деньги и ОЧЕНЬ простое в настройке и управлении. Он также может быть расширен до довольно значительного уровня (96 дисков iirc). Я хотел бы получить одну дисковую полку с дисками SAS 12 x 450 ГБ 15krpm для начала, а затем добавить дополнительные полки.
Затем вы можете запустить ESX 3.5 или 4 на этих машинах, он будет работать чертовски хорошо по всем направлениям, и если вы захотите, вы можете добавить еще один корпус в комбинацию, разделив серверы между корпусами, чтобы обеспечить дополнительный уровень устойчивости.
Причина, по которой я рекомендую эти продукты, заключается в том, что мы широко используем это сочетание - у нас буквально сотни сконфигурированных корпусов и тысячи серверов (хотя вы можете рассмотреть BL460c G6, который имеет только 12 слотов памяти (48 ГБ), но занимает 2 x магнитные диски, если вы хотите устойчивость по сравнению с одним SSD). Мы также используем много EVA (в основном 8100 и 8400, но в наших тестовых наборах - 4400), и все они отлично работают на ESX 3.5. Я хорошо сплю ночью с этим комбо, и если оно вписывается в ваш бюджет, то я думаю, что вы тоже.