Если LTO-3 для полного резервного копирования требуется более одной ленты. Каков мой следующий шаг в аппаратной части?

ХОРОШО. некоторые дают в фактор

Я использую Backup Exec 12.x/13.x, Имею сервер 2003/2008, включая Exchange.

У меня происходит резервное копирование на диск (Full/Diff), которое не зависит от резервного копирования на LTO (Full/Diff). По нескольким причинам я предпочел бы не просто выполнять резервное копирование с диска на ленту. Я бы хотел, чтобы резервное копирование осуществлялось напрямую в LTO.

В настоящее время у меня есть один диск LTO-3 без какого-либо загрузчика / робота / библиотеки. В коробке, обслуживающей накопитель LTO, находится SCSI-карта Adaptec 39160 Ultra160. В настоящее время я использую одну ленту для Full (одну в неделю) и одну ленту для Diff (четыре дня в неделю до того, как лента будет удалена). Полная резервная копия сталкивается с барьером в 372,5 ГБ, а когда резервное копирование не завершается в субботу, оно все еще ждет ленту в понедельник утром.

Уорд упомянул, что в понедельник днем ​​/ вечером после второго рабочего дня будет вставлена ​​вторая полная лента LTO3. Проблема с этим сравнивается ниже:

Нормальный поток

• Пятница вставка ленты 1 LTO3 для полного резервного копирования на неделю 1
• Понедельник вставка ленты LTO3 для дифференциала
• Вторник, среда, четверг дифференциалы используют ленту, которая была вставлена ​​в понедельник
• повторить на 2 неделе

2 ленты LTO3 для полного резервного копирования

• Пятница вставка ленты 1 LTO3 для полного резервного копирования на неделю 1
• Понедельник вставка ленты 2 LTO3 для полного резервного копирования на неделю 1
• Понедельник вставка ленты 1 LTO3 для полного резервного копирования на неделю 1 (для проверки процесса)
• Понедельник вставка ленты 2 LTO3 для полного резервного копирования на неделю 1 (для проверки процесса)
• Вторник вставьте ленту LTO 3 для дифференциала
• Среда, четверг дифференциалы используют ленту, которая была вставлена ​​во вторник
• повторить на 2 неделе

Дополнительные смены ленты потребляют 6+ часов в понедельник (начиная со времени, когда я вставил вторую ленту). Если бы я сделал это в 5 вечера, я бы был здесь почти до полуночи, меняя ленты. Это не считая времени простоя в субботу / воскресенье / понедельник в ожидании ленты.

Теперь я могу отключить процесс проверки и сохранить два обмена лентами и сократить процесс "резервного копирования" на несколько часов, но я не могу просто вставить ленту 2 и уйти в конце дня, если я не выключу проверку, Перетекание резервной копии на вторую ленту удлиняет процесс резервного копирования, но также

• Увеличивает количество лент в ротации (стоимость)
• Увеличивает количество лент в транспорте (размер / вес портфеля, предназначенного для хранения за пределами площадки)
• Увеличивает сложность процесса резервного копирования, заставляя меня оставаться на сайте в нерабочее время для процесса проверки
• Увеличивает сложность управления резервным копированием / восстановлением из моего офиса, который находится не рядом с серверной комнатой. Это четыре раза для решения таких вопросов из дома.

И да, я не пойду в субботу сидеть там более 6 часов и присматривать за магнитофоном. Я хотел бы жить вне работы. 12 часов дня MF достаточно плохи, когда они случаются. Я не собираюсь навсегда привязывать себя к 6-дневной рабочей неделе.

Ленточный накопитель Dell PowerVault 110T LTO3. Сервер резервного копирования находится в сети Gigabit Ethernet с использованием только одного сетевого адаптера и может заполнить полную ленту за 12 часов.

Я могу изменить процесс резервного копирования, чтобы разделить один из более интенсивных серверов на полное резервное копирование на своем собственном LTO, чтобы временно отложить это решение, но вскоре я думаю, что мне нужно будет выбрать один из следующих вариантов:

1. Купите накопитель LTO-3 и получите доступ ко второй физической ленте. Это менее желательный вариант и имеет смысл, только если диски LTO-3 значительно дешевле, чем диски LTO-4, а это не так.

2. Купите накопитель LTO-4 и используйте ленты LTO-4 для полного резервного копирования и используйте ленты LTO-3 для дифференциалов до тех пор, пока ленты LTO-3 не будут развернуты и новые ленты LTO4 не будут соответствовать цене лент LTO3. Это, вероятно, поможет мне выполнить резервное копирование на выходные на долгие годы без необходимости менять кассеты. Это также частично относится к чистоте обуви, поскольку у LTO4 минимальная скорость ниже, чем у LTO3.

3. Купите что-нибудь, что может автоматически подавать ленты. Я предполагаю, что я ничего не могу добавить к PowerVault 110T, и это будет означать покупку нового устройства, в котором лента и загрузчик находятся в одном устройстве. Это, вероятно, не экономически выгодно по сравнению с получением диска и ручной загрузкой лент, но автоматическая загрузка LTO4 была бы чрезвычайно удобна. Я позволю боссу над мной выбирать между одним стримером и автозагрузчиком.

Эван Андерсон упомянул в другом решении, что вы можете купить диски в этом ценовом диапазоне.

 LTO-4 (internal drive, 1 tape / day) - $2,766.00  
 LTO-4 (autoloader, 1 tape / day) - $4,566.00

но я не знаю подробностей о том, что он или вы бы порекомендовали для фактического привода и при необходимости контроллера. Покажите мне новый URL-адрес (или Dell, или HP, или кем бы вы ни были вашим любимым поставщиком) для вашего решения, если вы не против его найти или просто даете мне бренд и номер модели, и я буду рад сделать это. нога работает сама.

Я собираюсь совершить необходимую покупку через некоторое время, прежде чем эта резервная ротация станет слишком громоздкой. У меня наверное несколько месяцев.

Ксенни упоминает возраст серверов и скорость резервного копирования. Серверу Exchange 6 лет (хотя жесткие диски намного новее). Есть пара серверов 4-х лет в сочетании с SATA-накопителями потребительского уровня (WD6400AAKS). Серверам, которые я считаю "новыми", уже 2 года.

Резервное копирование на диск со старого сервера Exchange выполнялось со скоростью 2184 МБ / мин, но в общем случае резервное копирование на диск в этой настройке происходит так же медленно, как и на ленту. На самом деле резервное копирование на диск иногда выполняется медленнее, чем на ленточный накопитель LTO-3. У меня также были проблемы со сбоями дисков и отсутствием отсеков для добавления дисков. В общем случае резервное копирование на диск является еще более серьезной проблемой, чем переход LTO3/4, но это относится к другому вопросу о сбое сервера, если я хотел получить информацию по этому вопросу.

Я просто выберу некоторые цифры из недавней резервной копии, чтобы дать вам представление о скорости. Это не полный список, но дает представление о различных скоростях. Я планирую обновить это в ближайшее время в формате старой скорости MB/ мин, новостной скорости MB/ мин, где oldspeed - это старый SCSI 320 LTO3, а newspeed - это SAS LTO4.

DC C: ~ 850 МБ / мин
Состояние системы постоянного тока ~700 МБ / мин
Exchange Server C: и состояние системы ~500 МБ / мин ~600 МБ / мин
Сервер Exchange D: ~ 1400 МБ / мин ~1200 МБ / мин
Первая группа хранения Exchange Server ~1100 МБ / мин ~700 МБ / мин
Веб-сервер C: ~600 МБ / мин ~950 МБ / мин
Веб-сервер E: ~ 1700 МБ / мин ~1950 МБ / мин
Файловый сервер C: ~500 МБ / мин
Файловый сервер E: ~ 1500 МБ / мин ~2200 МБ / мин
Файловый сервер G: ~1800 МБ / мин ~2400 МБ / мин
Состояние системы файлового сервера ~650 МБ / мин
факс-сервер C: ~400 МБ / мин ~550 МБ / мин
Бухгалтерский сервер C: ~ 1300 МБ / мин ~1775 МБ / мин
Бухгалтерский сервер D: ~ 1500 МБ / мин ~2250 МБ / мин
Бухгалтерский экземпляр SQL ~1600 МБ / мин
Сервер приложений C: и состояние системы ~700 МБ / мин ~900 МБ / мин
резервный сервер C: 700 МБ / мин ~1800 МБ / мин
резервный сервер E: 1350 МБ / мин ~2900 МБ / мин

Мониторинг файлового сервера Я видел цифры, которые заставляют меня думать, что контроллер рейда сдерживает скорость передачи. Контроллер SATA 1.5, но диски поддерживают 3.0. Я заметил, что после изменения томов с RAID 1 на RAID 10 и увеличения скорости резервного копирования не происходит. К сожалению, удвоение постоянной скорости чтения не повлияло на резервное копирование на ленточный накопитель LTO3.

В целом, резервное копирование прямо в LTO дает мне достойную оценку того, где мои серверы имеют ограниченный ввод / вывод. Серверы с резервной копией ниже 1500 МБ / мин, как правило, работают медленнее на дисках, а серверы между ними и 2400 МБ / мин по-прежнему не приносят больших результатов. Например, серверу Exchange 2003 не хватает дискового пространства, и он продолжает расширять базу данных для первой группы хранения до более медленных частей дисков. Этот сервер будет заменен сервером Exchange 2010 с более быстрыми процессорами и большим количеством дисков. Другие серверы получат обновления дисков и / или SSD.

http://en.wikipedia.org/wiki/Tape_drive упоминает: "Когда происходит чистка обуви, это существенно влияет на достижимую скорость передачи данных, а также срок службы накопителя и ленты". но это не упоминает обувную чистку, уменьшающую эффективную емкость ленты. После просмотра архивных лент из банка я могу подтвердить, что на лентах LTO3 было потрачено около 2-15% пространства. Недостаточно близко, чтобы я не смог перейти на LTO4 или автозагрузчик, но это может быть важно. Для тех из вас, кто работает с Backup Exec, вы можете рассчитать количество отходов обуви:

• Создание задания резервного копирования, которое будет выполнять резервное копирование около 100% собственной емкости лент без сжатия. Отключите сжатие на диске и программном обеспечении при запуске теста.
• Посмотрите на вкладку носителя Backup Exec и сравните столбец "используемая емкость" с столбцом "Данные". Если сжатие выключено, а числа совпадают, вы совсем не обуваете.

В моем случае у меня была архивная лента LTO3 с 272,4 ГБ "использованных", но только 233,67 ГБ "данных" и еще одна с 400,6 ГБ против 395,19 ГБ. Я также попытался выполнить резервное копирование на LTO4 без сжатия и получил 833 ГБ "использованных" с 786,77 ГБ "данными". Очевидно, что чистка обуви будет варьироваться от моей среды к вашей, но до этого я не думал проверять это. Надеюсь, это поможет вам понять, сколько у вас потрачено впустую ленты в вашей среде резервного копирования.

изменить: новая информация на http://www.fujifilmusa.com/shared/bin/LTO_Overview.pdf показывающая минимальную скорость ленты для LTO3 и LTO4. Похоже, что IBM LTO4 на самом деле имеет меньшую минимальную скорость, чем IBM LTO3. В любом случае, мой средний сервер слишком медленный, чтобы подавать LTO3/4 без всяких усилий. Я обеспокоен тем, что даже мое резервное копирование на локальные тома на диске будет слишком медленным для быстрой загрузки диска, но мне придется это проверить.

Вытащив информацию о полном приводе IBM из PDF выше, я получаю

LTO4 : 30-120MB/s 800GB native (45-240MB/s compressed)
LTO3 : 40- 80MB/s 400GB native (60-160MB/s compressed)
LTO2 : 18- 35MB/s 200GB native (27- 70MB/s compressed)
LTO1 : 15- 15MB/s 100GB native (30- 30MB/s compressed)  

Обновление: сервер, который я использовал для резервного копирования, начал выдавать мне ошибки остановки, поэтому я переместил стример на другой сервер. Старый контроллер SCSI был Adaptec 160, "новый" контроллер - это LSI 320 (по крайней мере, я предполагаю, что внешний разъем - 320, так как 4 жестких диска внутри сервера упоминают 320 SCSI в управлении сервером).

В новой ситуации с сервером я временно не сохраняю резервные копии на диск, пока не получу внешний корпус для хранилища с прямым подключением. В целом, это обсуждение LTO указало мне на покупку большего количества жестких дисков для моих серверов. У меня будет работа по переконфигурированию RAID-массивов, чтобы увеличить скорость резервного копирования и, надеюсь, повысить надежность всей установки.

Обновление 2: Сравнение ниже использует старый файловый сервер, чей контроллер рейда ограничивает все передачи на скорости ~40 МБ / с, поэтому идеальным будет около 2400 МБ / мин. Речь идет о скорости, необходимой для проверки края обуви. Предположительно, поток данных не будет идеально регулярным и будет вызывать совпадение скорости почти на всем протяжении теста.

Я больше не знаю размера буфера и количества буферов, которые я использовал при тестировании скорости старого диска LTO3, но это не сильно его меняет. Я получил, возможно, усиление в 100 МБ / мин при настройке буферов. Тестовые данные составляют около 20 ГБ отсканированных TIFS и JPEG. Я сделал эти тесты в пятницу днем, и я не повторял тесты достаточно раз, чтобы усреднить данные или иным образом отсеять неверные данные. Тестирование в нерабочее время, выбор других данных и других переменных может заметно повлиять на эти тесты.

Одни и те же серверы используются во всех тестах. Старый диск находится на контроллере 320 SCSI LVD, который является PCIx. Новый диск находится на контроллере PCIe LSI 3801E SAS. Возможно, что контроллер диска и / или стример LTO3 являются узкими местами. Я не буду тестировать отдельные компоненты, только старое соединение против нового. Сервер с Backup Exec имеет 4 ГБ оперативной памяти, 32-разрядный стандарт Server 2008, двухъядерный процессор Pentium D 3,2 ГГц.

Подключение к сети осуществляется через коммутатор 1 Гбит, и оба сервера находятся на одном коммутаторе. У меня открыто подключение к удаленному рабочему столу, но при резервном копировании + это подключение используется менее чем на 50% в худшем случае и в среднем более на 25%.

Так что, несмотря на грубость методов тестирования, я чувствую себя достаточно уверенным, что узкие места не находятся в переменной, которую я игнорирую.

Краткие результаты теста:
~ 1500 МБ / мин при использовании привода Dell LTO3 и сжатия ленты LTO3, размер блока 64 КБ (проверено большое количество буферов, лучший результат приведен здесь)

~1800 МБ / мин при использовании накопителя Quantum Superloader3 LTO 4 с включенной компрессией ленты LTO3 (та же лента, что и выше), размер блока 64 КБ, размер буфера 64 КБ, количество буферов 10, счетчик Highwater 0, режим записи одиночного блока включен, запись SCSI через режим ON

~ 2150 МБ / мин с использованием накопителя Quantum Superloader3 LTO 4 с включенной компрессией ленты LTO3 (та же лента, что и выше), размер блока 256 КБ, размер буфера 256 КБ, количество буферов 10, счетчик highwater 0, режим записи одиночного блока включен, запись SCSI через режим ON
~2200 МБ / мин с использованием накопителя Quantum Superloader3 LTO 4 с записью ленты LTO3 (та же лента, что и выше), сжатие ВЫКЛ, размер блока 256 КБ, размер буфера 256 КБ, количество буферов 10, счетчик высокой воды 0, режим записи одиночного блока включен, запись SCSI через режим ON

~2050 МБ / мин с использованием накопителя Quantum Superloader3 LTO 4 с включенным сжатием ленты LTO4, размером блока 256 КБ, размером буфера 256 КБ, числом буферов 10, счетчиком верхнего уровня 0, режимом записи одиночного блока, режимом записи SCSI
~2250 МБ / мин с использованием накопителя Quantum Superloader3 LTO 4 с выключенным сжатием ленты LTO4, размером блока 256 КБ, размером буфера 256 КБ, количеством буферов 10, счетчиком высокой воды 0, режимом записи одиночного блока, режимом записи SCSI

~2050 МБ / мин при использовании накопителя Quantum Superloader3 LTO 4 с включенным сжатием ленты LTO4, размером блока 256 КБ, размером буфера 1 МБ, числом буферов 10, счетчиком верхнего уровня 0, режимом записи одиночного блока, режимом записи SCSI
~2300 МБ / мин при использовании накопителя Quantum Superloader3 LTO 4 с выключенным сжатием ленты LTO4, размером блока 256 КБ, размером буфера 1 МБ, количеством буферов 10, счетчиком высокой воды 0, режимом записи одиночного блока включен, режимом записи сквозного режима SCSI включен

~2200 МБ / мин с использованием накопителя Quantum Superloader3 LTO 4 с включенным сжатием ленты LTO4, размером блока 256 КБ, размером буфера 1 МБ, количеством буферов 20, счетчиком верхнего уровня 0, режимом записи одиночного блока, режимом записи SCSI
~2300 МБ / мин с использованием накопителя Quantum Superloader3 LTO 4 с выключенным сжатием ленты LTO4, размером блока 256 КБ, размером буфера 1 МБ, количеством буферов 20, счетчиком высокой воды 0, режимом записи одиночного блока, режимом записи SCSI

Понятно, что размер блока настройки важнее размера буфера. Независимо от того, какой размер блока или буфера вы используете, вы получите лучшую производительность, отключив сжатие, если ваши исходные данные не будут соответствовать минимальной скорости сопоставления данных на ленточных накопителях. К сожалению, это настройка для каждого диска, а не для задания или формата ленты, поэтому вы не можете просто ограничить сжатие полными резервными копиями или только LTO3. Вам также нужно будет проверить, насколько серьезна проблема с вашей комбинацией аппаратного и программного обеспечения. Конечно, снижение производительности незначительно, и более важными тестами будет оптимизация полной резервной копии от 600 до 800 ГБ вместо 20 ГБ. Я попытаюсь обновить снова, как только у меня будет несколько недель или месяцев, сделанных резервных копий.