Самый быстрый способ скопировать большой каталог файлов через медленный интернет
Мне нужно скопировать каталог с одного из наших серверов за несколько сотен миль. Оба сайта, где я нахожусь и где файлы, имеют бизнес-кабель. Кабель составляет 5 Мбит / с (вниз) / 768 Кбит / с (вверх). Это создает небольшую проблему, учитывая, что мне нужно скопировать около 85 ГБ данных.
Я использовал калькулятор передачи файлов, и он сказал, что это займет 11 дней и некоторые изменения.
Мне было интересно, есть ли способ использовать что-то вроде DeDup для ускорения передачи.
Сервер, с которого я буду копировать, - это Windows 2003 R2, мой компьютер - Windows 7 Pro x64.
Я собирался передать данные моей цели iSCSI, которая работает под управлением Ubuntu Linux, с ZFS и SCST. Поможет ли дедупликация, выполняемая ZFS, в передаче, поэтому нужно ли отправлять данные на отправляющую сторону?
3 ответа
Купить внешний жесткий диск. Скопируйте данные на сайт A. Отправьте их по почте на сайт B. Скопируйте на компьютер на сайте B.
Не стоит недооценивать силу почтовой службы.
Есть ли дубликаты данных?
Если нет, то дедупликация не поможет вовсе; если он есть, он будет дедуплицирован только по проводам, если вы передадите его с zfs send -D - поскольку ваш пункт назначения - Windows, то это, вероятно, нет.
Не забывайте старое доброе сжатие.
Для каталога с большим количеством избыточных данных вы можете попробовать DZO Compressor. Дедупликация имеет смысл. DZO выполняет дедупликацию и сжатие без потерь. Продукт все еще находится в бета-фазе. Что касается первоначальных результатов для данных с дубликатами, он работает в 2-3 раза лучше, чем winzip, winrar и другие. Смотрите их сайт http://essensolabs.com/ для получения подробной информации или загрузите бета-версию по ссылке ниже. http://essensolabs.com/invitation-trial.html
Если данные не содержат дубликатов, то они дают такое же сжатие, как 7zip, так как они используют lzma для сжатия без потерь.
Выше может помочь только в уменьшении размера и, следовательно, меньше времени для передачи, но это все еще может быть в днях!!!