Как организовать хранение медиа контента, такого как видео и музыка?
В настоящее время у нас есть один сервер, на котором размещается весь контент: музыка, видео и программное обеспечение. Этот контент скачивается пользователями через HTTP. Сейчас свободное пространство подходит к концу, и мы изучаем различные способы расширения наших хранилищ. Мы хотим сделать это дешево, просто и надежно (защищено от сбоев диска / сервера). В настоящее время мы видим два пути:
Добавьте пару дешевых серверов с 4 дисками (RAID1?), Запустите сверху какую-нибудь распределенную файловую систему, например GlusterFS. Плюсы: надеюсь, мы увидим все наши диски в виде единой плоской файловой системы, просто поместите в нее содержимое и все готово. Минусы: может быть сложно в настройке и обработке ошибок.
Добавьте пару дешевых серверов, все работают HTTP-серверы. Каждый фрагмент контента (будь то музыкальный файл или видео) размещается на случайно выбранных двух серверах. Плюсы: не нужно иметь дело с RAID, так как контент дублируется; сбой одного сервера не приводит к удалению какой-либо части контента; удвоенная емкость распространения (поскольку любой файл signle может быть загружен с любого из двух серверов, на которых он размещен). Минусы: требует некоторых сценариев для части распространения контента, добавления / удаления серверов.
Мы пропускаем какие-либо другие способы? Какой из вышеперечисленных вариантов кажется лучшим?
2 ответа
ОБА варианты не очень дешевые, если вы идете в накладные расходы. Я бы выбрал (1), но не систему с 4 дисками - я бы выбрал корпус SuperMicro с 24 дисками (!) В двух стойках. питание от хорошего контроллера RAID, который может обрабатывать больше случаев. Затем я бы сделал группы RAID 5 из 8 дисков в каждой, сохранив первые 8 наборов для ОС (2 диска, зеркало), кэширования SSD (хорошо, с помощью контроллеров ADaptec Raid) (2 диска) и горячих резервов (4 диска).
В зависимости от ваших потребностей вы обнаружите, что масштабировать LOT дешевле, чем серверы нижнего уровня, где вам нужен еще один сервер на каждые 4 диска, что я считаю смехотворно неэффективным в финансовом отношении.
То есть, если вы не ожидаете, что ваши 4 диска будут длиться вечно.
Никогда не думал о opensolaris и ZFS? Вы можете экспортировать его через nfs/iscsi/smb, довольно дешево собрать машину для opensolaris, а хранилище легко расширяется. Плюс легкий способ поддержать это. Попробуй