Синхронизировать большие общие файлы
Каков наилучший способ синхронизации больших наборов файлов между географически разделенными местоположениями, чтобы оба местоположения имели один и тот же файл?
У нас есть постоянно меняющийся общий ресурс в 500 гигабайт в Location1 со средней скоростью изменения (+/- 5 гигов в час, состоящей из добавлений, модификаций, удалений).
Скоро появится Location2, и у них тоже есть местное хранилище. Я хотел бы, чтобы они оба работали в своих локальных ресурсах, соответствующих их местоположениям, но чтобы все синхронизировалось / копировалось в обоих местоположениях.
Несколько быстрых замечаний: - у обеих сторон есть NetAPP-файлеры - пользователи подключаются к общим ресурсам CIFS напрямую к файлам Netapp - мы не можем использовать зеркало синхронизации netapp (1. нет лицензии, 2. это однонаправленная передача только для чтения) - Location1 имеет частное волоконно-оптическое соединение 500 Мбит - Location2 имеет частное оптоволоконное подключение Ethernet 100 Мбит - Поскольку LUNS не сопоставлены с сервером (FC,iscsi), мы не можем использовать DFSR или GlobeSCAPE для репликации на уровне битов
Я ищу стабильное решение, которое будет подключаться через CIFS и синхронизировать оба местоположения.
Спасибо за ваш вклад.
- L30
3 ответа
Расширить мой комментарий к ответу Макандре:
- в каждом месте, получите быструю рабочую станцию и смонтируйте локальный сервер.
- запустить rsync (или лучше Unison) между этими рабочими станциями.
поскольку копирование занимает некоторое время, а во время копирования все меняется, у вас есть два разных варианта:
- если сервер поддерживает это, используйте снимки и копируйте между ними. семантика сбивает с толку (можете ли вы записать снимок? если да, следует ли распространять это на "живой" том?), поэтому я не думаю, что это будет лучшим вариантом
сделать это постепенно:
- запустить полную копию. это займет часы, и будут ошибки.
- запустите его снова, он исправит эти ошибки и займет намного меньше времени, поэтому могут появиться новые ошибки, но их должно быть гораздо меньше.
- запустите это снова. Теперь это займет всего несколько минут.
- приостановите любое другое действие, запустите его в последний раз и отмените все.
из-за разностного копирования, каждый раз, когда вы запускаете его, он становится быстрее, до предела. когда вы достигаете этого предела, не так сложно приостановить другие действия на короткое время. если вы не можете получить это время, то вам нужно прикусить пулю и получить серверную систему, которая изначально поддерживает реальную синхронизацию.
Вы будете вынуждены найти решение, которое будет иметь дело с любыми конфликтами, которые могут возникнуть. Какие изменения происходят (относительно изменений файла... это много маленьких файлов?).
Это может быть что-то, где вы можете создать небольшое приложение вместе, используя Microsoft Sync Framework, который поддерживает синхронизацию двух каталогов. Это предложит вам пользовательский интерфейс для разрешения конфликтов (если вы написали один в).