Общие советы по архивному решению. ~15тб и растет.
Мне нужна лучшая система хранения и архивирования для файлов моего малого бизнеса. В частности, файлы завершены видео проектов. Помимо ограничений по времени и стоимости, меня сдерживает то, что я не верю ни в одно из решений, которые я обдумывал. Поэтому я выкладываю проблему и свои мысли. Буду признателен за любые мнения.
Бюджет: я верю в расходы, что нужно. Это, как говорится, мы малый бизнес. Я надеюсь, что смогу выйти из этого за <5k и больше около 1-3k. Это может быть несбыточной мечтой. Просто скажи мне так.
Эта проблема:
- Необработанные видеофайлы имеют огромный размер. На сегодняшний день мы накопили, вероятно, 10+ ТБ, и это быстро растет.
- Для редактирования видео требуется быстрый доступ для чтения / записи к файлам, поэтому центральный или облачный файловый сервер не будет достаточно быстрым. Поэтому нам, вероятно, необходимо найти удачное решение для старых проектов, а текущие проекты должны остаться локальными.
- Мы хотим какое-то резервирование и стороннее решение.
Что мы сейчас делаем:
- Мы используем большие высококачественные внешние жесткие диски.
- Мы всегда покупаем в парах и вручную дублируем контент. Другими словами, мы работаем от одного и дублируем файлы на другой, который служит резервной копией / резервной версией.
- Эти HD достаточно быстрые с FireWire800 или USB3, чтобы работать напрямую.
- После заполнения мы откладываем пару.
Что не так с текущим решением:
- Несмотря на то, что данные дублируются на двух дисках, эти диски не резервируются и не хранятся вне сайта.
- Организовать эти внешние HD очень сложно. Какой проект на каком диске? и т.п.
- В конце концов у нас будет смешное количество жестких дисков.
- Дублирование не RAID.
Опции:
Локальный сервер
- Купите сервер для монтажа в стойку и корпус жесткого диска, смонтированный в стойке, как у Norco, (SAS) (20 отсеков).
- Все видео файлы будут храниться на этом сервере. Мы могли бы установить и оплатить облачный сервис для резервного копирования этого компьютера / сервера. CrashPlan работает в Linux и не имеет ограничений по объему данных. Харддрайвами будут физические диски, подключенные к серверу, поэтому мы обходим правила "без NAS", которые есть у таких компаний, как CrashPlan. Это не персональный компьютер, поэтому синхронизация может выполняться 24/7/365. Это решило бы проблему вне офиса.
- Вместо использования онлайн-сервиса резервного копирования, такого как CrashPlan, мы могли бы написать скрипт для синхронизации этих файлов с учетной записью Amazon Glacier.
- Политика, при которой видео просматривает работу с внешних жестких дисков для текущих проектов, но должна поместить проект на этот новый компьютер после завершения. Другими словами, продолжайте использовать внешние жесткие диски для текущих проектов и храните архивированные проекты на этом сервере.
Облачные сервисы резервного копирования (CrashPlan.com, BackBlaze.com, Carbonite.com)
- Обычно позволяет создавать резервные копии только внешнего жесткого диска, который физически подключен к компьютеру. (нет NAS или сетевых дисков).
- Обычно они ожидают, что резервный внешний диск останется подключенным к вашему компьютеру, а все данные останутся на диске. Если вы месяцами не подключаете внешний жесткий диск, что происходит с резервными копиями? Если вы очистите пространство, удалив старые проекты, они также будут удалены из онлайн-сервиса.
- Требует от наших пользователей оставлять внешние жесткие диски подключенными к своему компьютеру, пока все данные не будут в облаке. Это может занять несколько недель для большого проекта.
- Восстановление проекта будет очень медленным из-за скорости интернет-передачи.
- Эти учетные записи резервного копирования в облаке обычно относятся к одному пользователю / одному компьютеру. Так что, если жесткий диск поддерживается одним пользователем. Затем над проектом работает второй пользователь, что это значит?
Большой NAS
- NAS - это "Сетевое хранилище". Вы вставляете столько жестких дисков, сколько он будет держать. Это будет совершать набег на них. Вы можете получить доступ к этому через сетевое соединение или, возможно, USB3/Firewire.
- В большинстве из них есть операционная система. Таким образом, вы не можете запускать другие программы, такие как облачные сервисы резервного копирования. Вы также не можете выполнять какие-либо настройки или запускать собственное программное обеспечение. Вы получаете то, что покупаете.
- Большие NAS довольно дороги и не такие уж большие. Вы не найдете много с более чем 4 отсеками. В настоящее время большой HD составляет 3 ТБ. Таким образом, 4 bays могут быть где-то около 12 ТБ памяти. Не супер удобно на будущее.
Другие идеи:
- Резервное копирование на ленту.
- Просто заархивируйте старые проекты прямо в Amazon Glacier, пропустите создание локального сервера для их хранения.
Спасибо за любой совет!!! Джед
3 ответа
Tape. Просто так. У Quantum есть система SuperSTore, которая может справиться с гораздо большими затратами, и я видел их менее чем за 5000 цен - новинка. Хорошая вещь заключается в том, что вы можете извлекать ленты для хранения, так что масштабирование будет довольно экономичным, и ленты сохранятся.
Во-первых, я бы посоветовал избегать ледника. Это звучит хорошо, пока вы не сократите затраты на восстановление большого объема данных. Это неофициальный калькулятор, который вы можете использовать, чтобы рассчитать стоимость хранения и поиска Glacier, и судить сами. Восстановление терабайт данных из Glacier - довольно непривлекательная перспектива.
Во-вторых, я бы советовал, что для простых целей резервного копирования вы можете обойтись без одного NAS-сервера с большим количеством дисков. Для меня это звучит так, будто вы рассматривали только варианты NAS для дома и небольшого офиса, и вам следует подумать о правильном предложении NAS. Предпочитая Dell, я бы выделил серверы Dell PowerVault NAS, но HP, IBM, SuperMicro и почти все остальные имеют аналогичные предложения. У меня дома установлен старый Dell PowerVault NX, который служит моей медиатекой, и в нем двенадцать дисков SAS емкостью 2 ТБ. Нынешние накопители SAS емкостью 4 ТБ также доступны в эти дни, поэтому вы всегда можете заполнить их нужным NAS-сервером. (Или купите пару серверов NAS.)
Вы можете легко использовать один из них в своей локальной сети, установить программное обеспечение для резервного копирования по вашему выбору ( например, Bacula, если вам нравится бесплатное, или любое из десятка коммерческих предложений, если вам нужна поддержка поставщика) и использовать большой том RAID в качестве вашего резервная цель. Затем вы можете использовать службу облачного резервного копирования для резервного копирования этого NAS-сервера и пользоваться преимуществами локального и удаленного резервного копирования. Опять же, это то, что я делаю дома. Правильный NAS-сервер, терабайты резервных копий данных в облачный сервис.
И, конечно, вы также можете использовать магнитную ленту... купите ленточный накопитель LTO или библиотеку - лично я сделаю все возможное, чтобы избежать использования ленточных или оптических дисков, но они являются законным вариантом и могут быть дешевле, чем диск -дисковое решение.
Наконец, я хотел бы предложить вам рассмотреть главный недостаток облачных сервисов резервного копирования - размер вашего интернет-канала. Загрузка терабайта данных через интернет может занимать недели или месяцы и / или взиматься дополнительная плата от вашего интернет-провайдера. Поэтому, несмотря на то, что они являются жизнеспособным вариантом для резервного копирования данных, даже корпоративных данных, большинство людей не рассматривают это ограничение до тех пор, пока не достигнут его.
Я думаю, это зависит от вашего бюджета. Если вы можете потратить всего $6k, вам, вероятно, потребуется создать собственный NAS. Я бы посмотрел на nas4free и какой сервер вам стоит. Если вы можете потратить $20 тыс., Вы, вероятно, можете заполнить сервер кучей дисков и приличной картой RAID или программным RAID под Linux или любым другим.
Приблизительно за $40 тыс. Вы можете получить высокопроизводительный 1U (IBM x3550 M4, 2-портовый Emulex 10 ГБ, 4 Гбит NIC, 128 ГБ ОЗУ, 2 локальных диска SAS 10 КБ) с 10 Гбит iSCSI на блок Infortrend SAN с 24 дисками SAS 4 ТБ, которые вы можете ломтик и кости, как вы хотите. RAID6 - разумный конфиг.
Лента тоже хорошая идея, но я не знаю, насколько она дешевая. Это зависит от того, какую большую библиотеку вы получите. Если библиотека ленточных носителей 48 подойдет, вы можете снова сделать это с 1U и внешней картой SAS, может быть, за 30 тысяч долларов и 2 накопителя LTO6... Но тогда вам нужны лицензии на программное обеспечение для управления резервными копиями на магнитной ленте или чем-то еще. Я использовал только NetBackup, который, вероятно, вам здесь не подходит. Только не забывайте, что вы, вероятно, захотите использовать ленточную библиотеку в программном обеспечении. Но как только вы выйдете из библиотеки, не забудьте найти ленту и загрузить ее, а также подготовительную зону для доступа...