Переместить и разделить, 5 ТБ данных

Вот сценарий: у меня есть 5 ТБ (да, это T) файлов на сервере Windows, которые мне нужно перенести на новый сервер в максимально короткие и эффективные сроки. (Подумайте: Robocopy, Rsync и т. Д., Поскольку я планирую использовать дифференциалы, чтобы делать это с течением времени). Файлы находятся в ~41 000 каталогов в одном родительском каталоге (d:\files\folder1, d:\files\folder2 и т. Д.).

Поскольку они переносятся на новый сервер, я хочу разделить их так, чтобы они не все находились в одном и том же "файловом" каталоге, а вместо этого были как можно более логически разделены между несколькими дисками (пытаясь сохранить размер диска около 2 ТБ для резервное копирование и репликация).

У Robocopy нет опции регулярных выражений. Rsync потребует Linux-сервер, который не является невозможным, но добавляет накладных расходов: это переход с Windows на Windows. Я нашел способ перебрать 41 000 каталогов с помощью powershell и запустить Robocopy для каждого каталога по отдельности, что позволило мне указать пункт назначения... но это кажется неэффективным.

Еще один вариант, который я рассмотрел, - это перенести все сразу, а затем при необходимости записать копию на другие диски. Это означало бы копирование 2/3 файлов дважды.

Я что-то упустил очевидное?

Источник

3 ответа

Прежде всего, я не вижу логики в распределении их по разным дискам, если они не являются разными массивами разных дисков и не наблюдается улучшения производительности. Если они являются частью одного и того же диска / массива, вы просто все усложните.

У моего файлового сервера было чуть более 2 ТБ, но это были 4 миллиона файлов и более 250 000 папок.

Я сделал первоначальную копию, используя файловый менеджер (Multi-Commander), другую обновленную синхронизацию таким же образом, прямо перед переключением сервера. Практически, первоначальная копия заняла 4 часа, а обновление - всего несколько минут, так как большинство файлов уже были переданы. Переключатель был сделан с минимальным временем простоя.

Synkron - также хороший инструмент для Windows, но я не проверял его на очень большие объемы данных.

Источник

Вы можете смонтировать ваши диски с RAID 01 на вашем новом сервере, это позволит вам:

  • Используйте все данные, как на одном диске
  • Распределение данных на нескольких дисках управляется самой файловой системой (RAID 0)
  • Имея резервную копию, управляемую самой файловой системой, все данные реплицируются и восстанавливаются в случае обнаружения ошибки (RAID 1)
  • Высокая производительность, в то время как RAID управляется самой операционной системой или материнской платой, если она встроена в нее (многие материнские платы обладают этой функцией)
  • Ваша файловая система может быть легко расширена, в то время как расширение раздела на новых дисках с помощью RAID легко
  • Перенос данных будет легким, потому что RSync будет действовать так, как будто это простой привод для синхронизации дисков
Источник

Пару лет назад я сделал rsync для windows 2 с использованием фреймворка CygWin. Rsync + sshd определенно выполнимо.

Я также нашел это, и похоже, что это может упростить восстановление Windows как никогда: http://www.aboutmyip.com/AboutMyXApp/DeltaCopy.jsp

Обычно мы клонируем данные на физические диски, чтобы сначала выполнить "первую синхронизацию" как можно быстрее, а затем используем rsync, чтобы перемещать только разницы / различия по сети.

Источник
Другие вопросы по тегам