Рекомендации по оборудованию для системы хранения DIY на основе ZFS

Для ZFS существует ряд факторов, которые влияют на общую стоимость, производительность и удовлетворенность созданной вами системой.

ПОДДЕРЖКА Если вам нужна возможность звонить кому-то, когда у вас есть проблемы, не делайте самоделки, купите устройство Sun 7000 Unified Storage. Они немного дорогие, но вы получаете то, за что платите. Высококачественное оборудование, с последним кодом OpenSolaris в форме устройства... о, и аналитика, чтобы умереть. Это единственный способ купить поддержку OpenSolaris у Oracle, и у вас есть достаточно глубокие разговоры с представителем Oracle, это может стоить того. (это было для меня на работе)

ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ Поскольку Solaris 10 не имеет крутых передовых функций ZFS (дедупликация, неотражаемый ZIL, цель COMSTAR iSCSI/FibreChannel и т. Д.), Вы захотите запустить что-нибудь на основе битов OpenSolaris. Поскольку сам OpenSolaris мертв и пока нет полного распространения вокруг Illumos, рассмотрим Nexenta. В основном это OpenSolaris Kernel + Debian userland (apt). Nexenta Core Platform бесплатна для неограниченного использования, но если вы готовы платить за поддержку, рассмотрите NexentaStor, хотя я не фанат $$ за ТБ (бессрочные лицензии начинаются от 800 + 75 $ / ТБ).

MIRRORED vs RAIDZ1 / RAIDZ2 В основном это борьба между IOPS и емкостью при одинаковом количестве дисков. С большими дисками (1-2 ТБ), если вы решите, что зеркалирование слишком дорого, определенно используйте двойной контроль четности (RAIDZ2), поскольку время восстановления с использованием массивов Multi-TB может легко превышать день. (Подробнее: ZFS: Зеркало против RAID-Z). Не забывайте избыточность!= Резервные копии.

ПРИВОДЫ Я рекомендую подумать о том, чтобы вырвать хранилище из серверного корпуса. SuperMicro делает несколько приятных случаев, но неизбежно вам понадобится больше места для хранения, чем умещается в вашем случае, почему бы не начать с приличного корпуса SAS и купить другой при расширении. Я бы купил диски SATA 7200 об / мин для дисков SAS 10–15 тыс., Или больше или зеркальные шпиндели превзойдут быстрые дорогие диски с ZFS за те же $$.

Память покупай много барана. Минимум 12-16GB, двойной / тройной, если вы хотите рассмотреть дедупликацию.

Твердотельные накопители Если вы используете iSCSI или NFS для хранения виртуальных машин, обязательно приобретите высокопроизводительное устройство для ZIL для ускорения синхронных записей (см. Мой ответ на предыдущий вопрос). Купите один / несколько приличных SSD MLC для L2ARC, чтобы выступать в качестве вторичного кэша чтения; если вы делаете дедупликацию, вы захотите, чтобы твердотельные накопители для L2ARC были достаточно большими, чтобы соответствовать вашим таблицам дедупликации.

ОБЕСПЕЧЕНИЕ ZFS делает тонкую подготовку файловой системы такой же простой, как создание каталога в большинстве сред. zfs create -V 40g pool/fsname затем zfs set shareiscsi=on pool/fsname и вы сделали. Клонирование существующей системы так же просто, как и с помощью моментального снимка 'zfs snapshot pool/fsname@snapname; zfs clone pool/fsname@ пул имен /newfsname'. Эти операции выполняются быстро (0 - 5 секунд).

Обновите 7/10/2010, чтобы отразить рекомендации по использованию вашего оборудования:

Так как Perc6 не поддерживает передачу дисков напрямую, как просто набор дисков ( обсуждение), вам придется создать 8 массивов RAID 0 с одним диском. Используйте два в качестве зеркальной пары и установите там корневой том. Используйте оставшиеся шесть как полосатый набор из 3 зеркальных пар (например, RAID10) после первой загрузки, выполнив zpool create poolName mirror c0t0d0 c0t1d0 mirror c0t2d0 c0t3d0 mirror c0t4d0 c0t5d0 (замените ваш diskid, посмотрев на вывод команды 'format'). Примечание. Поскольку PERC может изменить нумерацию, если неисправный диск (и, следовательно, связанный с ним набор RAID0) отсутствует после перезагрузки, следует отметить серийные номера дисков /cXtXdX/slots и документ / метку соответственно. Надеюсь, вам это никогда не понадобится, но наличие этой информации делает ее менее болезненной, если вам когда-либо придется перенести диски или запретить восстановление.

До приобретения Oracle я бы определенно порекомендовал OpenSolaris вместо Nexenta Core Platform, но теперь я бы определенно склонялся к Nexenta CP. По сути, это единственные люди, которые продолжают регулярные обновления с тех пор, как OpenSolaris b134 был выпущен в марте 2010 года. Перенос вашего пула ZFS между возможен, но зависит только от ZFS на версии диска, которую вы можете указать во время создания пула ( обсуждение, см. 3-е сообщение), Я никогда не использовал FreeNAS или EON, поэтому не могу их комментировать.

Что касается NFS и COMSTAR iSCSI, вы должны протестировать как гигабитные, так и большие кадры. AFAIK, OpenSolaris/Nexenta не поддерживают аппаратные ОО для сетевых карт, но если у вас есть сетевые карты с поддержкой ОО на стороне VMWare, они уменьшат нагрузку на ЦП для iSCSI. Вы можете протестировать с прямыми кабельными кроссоверами, но для мультихоста вам понадобится гигабитный коммутатор, который поддерживает гигантские кадры (оптимально оптимизированная для iSCSI VLAN на коммутаторе уровня 3). Если у вас есть карта Fibre Card, вы тоже можете использовать COMSTAR Fibre Channel.

Чтобы использовать возможности гибридного хранилища ZFS (HDD + SSD), я смоделирую ваше использование без выделенного устройства ZIL и посмотрю, достаточно ли высока производительность (может быть достаточно 15-полосных дисков SAS с чередованием или зеркальным копированием). Если нет, при настройке одной / нескольких виртуальных машин NON PRODUCTION временно отключите ZIL и снова измерьте производительность. Если ваша производительность намного лучше, тогда ZIL является узким местом для вашей установки, и выделенное устройство ZIL будет стоить этих денег. DDRDrive X1 ($ 2000, $ 1500.edu), разработанный для ZIL, использует только слот PCI-E x1 вместо отсека для дисков. В качестве альтернативы вы можете рассмотреть возможность замены ваших зеркальных загрузочных дисков на два 2,5-дюймовых SATA SSD без резервирования. Суперконденсаторный твердотельный накопитель, предназначенный для использования в ZIL ( Vertex2Pro, 32 ГБ, 435 долларов США) и приличный MLC SSD (например, Intel X25-M, 80 ГБ, 230 долларов США), разделенный одним маленьким разделом для корневого, а остальные - для L2ARC. ZFS ARC хорошо использует больше оперативной памяти, но для запуска должно хватить 12 ГБ.

Я оставлю предложения по инструментам для бенчмаркинга другому вопросу (в значительной степени зависящему от вашего хранилища->vm-пути, гостевых ОС и рабочей нагрузки), но зонды DTrace могут дать много полезных данных, несмотря на кривую обучения (именно здесь аналитика Sun 7000 Series светит). Два последних замечания: обновите прошивку PERC6 и BIOS перед запуском, и если у вас есть SSD для L2ARC, может потребоваться несколько часов, чтобы нагреться, поэтому не стоит просто стоять на месте.

Попробуйте этот рецепт от SUN... ааа.. Oracle:

http://developers.sun.com/openstorage/articles/opensolaris_storage_server.html

Нет необходимости в оборудовании RAID... рейд имеет важное значение;)
У Supermicro была хорошая 8-портовая SATA-карта (без рейдов), которая была хорошо поддержана Solaris.

Про DIY, посмотрите здесь:
http://www.greenm3.com/2009/10/opensolaris-green-home-server-low-power-and-small.html

Ожидание появления дедупликации в ZFS FreeNAS... Требования к ОЗУ могут стать более разумными, когда это произойдет.

В дополнение к другим ответам о FreeNAS, FreeBSD и последних версиях ZFS (сейчас я не могу комментировать в теме).

FreeBSD 9 (бета-версия 1) будет поддерживать ZFS v28 http://hub.opensolaris.org/bin/view/Community+Group+zfs/28.