Лучший способ прикрепить 96 ТБ к рабочей станции
Я использую рабочую станцию с двумя процессорами xeon 5690 (12 физических /24 логических ядра), 192 ГБ оперативной памяти (т. Е. С максимальной скоростью), Windows 7 64-битной, 5 слотов для адаптеров и 1 ТБ внутренней памяти, с 5 доступно больше внутренних отсеков.
У меня есть приложение, которое создает файлы данных на общую сумму около 88 TBS. Они пишутся раз в 14 месяцев, а в остальное время приложение должно только читать их; и> 95% операций чтения - это последовательные операции чтения огромных блоков данных. У меня есть некоторый контроль над размером отдельных файлов, но в идеале они должны быть от 5 до 8 столов.
Приложение будет считывать только с одного диска за раз, и характер данных таков, что если (когда) диск умирает, я могу восстановить данные на новый диск с ленты.
Хотя было бы неплохо иметь возможность использовать самые быстрые из доступных приводов / контроллеров, на данный момент размер важнее, чем скорость.
После долгих чтений я склоняюсь к покупке нескольких дешевых дисков емкостью 2 ТБ и помещаю их в кучу дешевых корпусов. Все эти вещи идут в мой домашний офис, поэтому мне нужно избегать фальшпола / охлаждения.
Мои вопросы:
Является ли дешевое решение для привода / корпуса лучшим в этой ситуации?
Имеет ли смысл RAID с учетом характера приложения и способа использования данных? Если да, то какой?
Для огромных последовательных чтений, будут ли Usb 3.0 и eSata эффективны для стирки?
Могу ли я подключить корпус, в котором можно разместить несколько дисков, для каждого слота, доступного на рабочей станции? Или это один контроллер на диск?
Если у меня может быть несколько дисков на одном контроллере, я делю полосу пропускания (пропускную способность)? Например, если у меня корпус с 12 отсеками, пропускная способность контроллера уменьшается в 12 раз?
Существуют ли ограничения по объему / диску / емкости Windows 7, о которых мне следует знать?
3 ответа
Я постараюсь ответить как можно лучше, но некоторые вещи, которые вы спрашиваете, касаются больше личных предпочтений и возможностей вашего программного обеспечения, чем серьезных технических фактов.
Дешевые диски... хм... дешевые. Лишь несколько ситуаций, когда дешевые диски "лучше", чем диски корпоративного класса. С дешевыми / потребительскими дисками вы не получите производительность, надежность или поддержку, которую вы получили бы с корпоративным диском, опять же, если ваше приложение может выдержать пару дисков, выходящих из строя в год, и у вас есть несколько запасных в шкафу, который вы можете просто придерживайтесь того, что и когда они терпят неудачу, дешевые диски могут быть лучшими в этой ситуации. Большинство пользовательских накопителей не рассчитаны на работу в режиме 24/7, хотя большинство из них вполне могут это сделать. Если производительность является фактором, вы можете прийти к компромиссу между производительностью, надежностью и стоимостью, взгляните на некоторые серверные диски более низкого уровня.
Это сложный вопрос, поскольку вы говорите, что вам не нужна надежность, что-то вроде RAID5/6/10 может не иметь смысла. Если вы хотите адресовать весь массив как один диск в Windows, вам понадобится RAID0 (Полосатый), однако это связано с его собственными проблемами, в первую очередь из-за того, что в случае сбоя одного диска в вашем массиве весь массив будет бесполезен *. Учитывая ваши требования, я мог бы предложить RAID5. Это снизит производительность записи, которая может быть проблемой для таких больших файлов данных, однако производительность чтения будет достаточно хорошей. Кроме того, в зависимости от вашего приложения может быть возможно смонтировать каждый диск по отдельности и независимо (чтобы они отображались как отдельные в проводнике Windows), ваше приложение должно быть достаточно умным, чтобы записать правильные данные на правильный диск, но если один сбой диска вы потеряете только один диск данных. Это также означает, что вам нужно будет только иметь
roof(total space needed/drive capacity)диски (при условии, что вы решили не иметь запасных дисков для резервирования)Это в большей степени связано с максимальными скоростями протоколов, я не могу вспомнить их на макушке, но их должно быть достаточно легко найти. Однако вы, скорее всего, будете ограничены скоростью диска, а не скоростью кабеля.
Это очень похожие вопросы, но, возможно, стоит исследовать модуль Backblaze Storage Pod (и связанные с ним проблемы), однако их установка цепочек SATA-карт может быть тем, что вы ищете, но я не знаю, как внутренние компоненты Windows ответить на эту настройку
См выше
Насколько я знаю, лимит для Windows 7 составляет около 250 ТБ, поэтому вы не должны сталкиваться с какими-либо проблемами, но вы должны проверить это дважды.
Как связанный вопрос, почему вы используете Windows 7? Такая нагрузка была бы намного лучше подходит для Windows Server
* Можно восстановить правильные данные на один диск, если у вас достаточно хороших резервных копий, но не "вставьте новый диск, и RAID это исправит"
Является ли дешевое решение для привода / корпуса лучшим в этой ситуации?
Определить дешево. Если вы имеете в виду менее $300 за коробку с 5+ отсеками, то да, это будет работать нормально.
Имеет ли смысл RAID с учетом характера приложения и способа использования данных? Если да, то какой?
(А) Да. (Б) Это зависит. Определенные установки RAID будут быстрее для чтения, но ужасно сосут при записи; у каждого есть отличительные компромиссы.
Для огромных последовательных чтений, будут ли Usb 3.0 и eSata эффективны для стирки?
Не беспокойтесь о USB 3, придерживайтесь eSATA. USB выглядит дешево, звучит дешево, и когда вы его купите и соберете в таком масштабе, он будет работать дешево. Конкуренция по USB убьет все ваши выгоды, особенно если вы решите разделить данные RAID-массивами, потому что фактически есть 1 шина и N шпинделей для переключения по этой единственной шине. eSATA, по крайней мере, ограничит количество шпинделей, перемещаемых через одно соединение; Расширители портов SATA, которые дают 4:1, не являются редкостью, что означает гораздо меньше конфликтов.
Могу ли я подключить корпус, в котором можно разместить несколько дисков, для каждого слота, доступного на рабочей станции? Или это один контроллер на диск?
(А) Да. (Б) Нет, вы не хотите этого, но это доступно.
Получите карту, которая имеет 4+ разъема eSATA и поддерживает расширители SATA на каждом порту. Вставьте карту в каждый слот, всего 4 порта на карту * 5 слотов * 4 порта расширения на порт карты = 80 портов eSATA. Это должно помочь вам, если вы используете диски емкостью 1,5 ТБ ( 80 * 1,5 = 120 ТБ) или 2 ТБ (80 * 2 = 160 ТБ).
Конечно, это расположение будет иметь 4 * 5 = 20 отсеков для дисков. Если вы можете найти более плотное решение, это будет в вашу пользу...
Если у меня может быть несколько дисков на одном контроллере, я делю полосу пропускания (пропускную способность)? Например, если у меня корпус с 12 отсеками, пропускная способность контроллера уменьшается в 12 раз?
Для eSATA один ленточный кабель = одна шина, поэтому он учитывается только в том случае, если все диски отключают один и тот же кабель одновременно. Если только один из них использует его одновременно, нет никаких разногласий, поэтому не о чем беспокоиться. При настройке RAID, когда все диски заполняют шину, вы запали. Используя маршрут с несколькими картами / корпусами / расширителями, вы минимизируете конкуренцию, поскольку каждый физический кабель имеет не более 4 дисков, с которыми приходится бороться.
Существуют ли ограничения по объему / диску / емкости Windows 7, о которых мне следует знать?
Не знаю, хотя, похоже, кто-то уже ответил на это. (Ответ, кажется, 250Tb).
-1) Лучшее решение для этой ситуации - дешевый привод / корпус?
Если это все, что вы можете себе позволить, то это все, что вам нужно, лично нет, я бы не стал доверять этому, поскольку они могут и терпят неудачу чаще, чем вы бы хотели.
0) Имеет ли смысл RAID с учетом характера приложения и способа использования данных? Если да, то какой?
Да. Я думаю, что вы реально смотрите на рейд 5+1 или рейд 6. Учитывая скорость, с которой приводы 2 ТБ выходят из строя, вы все равно захотите больше, чем рейд 5. Имейте в виду, что время восстановления будет измеряться в дни, когда диск будет работать, и производительность будет ужасной в течение этого времени.
1) Для огромных последовательных чтений, будут ли Usb 3.0 и eSata эффективны для стирки?
Возможно, сложно сказать. USB 3.0 довольно быстрый, но я не пробовал его в настройках рейда. USB 2.0 с 7 USB-корпусами был довольно слабым, но я не знаю, была ли это природа USB 2.0 или природа зависания всего этого от USB.
3) Если у меня может быть несколько дисков на одном контроллере, я делю полосу пропускания (пропускную способность)? Например, если у меня корпус с 12 отсеками, пропускная способность контроллера уменьшается в 12 раз?
Если я вас правильно понимаю (и вы все еще имеете в виду usb), тогда да, USB-концентратор разделяет свою пропускную способность на каждый порт, и если у вас есть несколько дисков с каждого порта, вы получите меньшую скорость на диск, хотя только если usb3.0/ количество дисков меньше максимальной скорости одного привода.