Быстрый (неблокирующий) способ перенести множество файлов на другой сервер
Возможный дубликат:
Какой самый быстрый и надежный способ передачи большого количества файлов?
В настоящее время я пытаюсь перенести более одного миллиона файлов с одного сервера на другой. Использование wget кажется очень медленным, возможно потому, что он запускает новую передачу после завершения предыдущей.
Вопрос: существует ли более быстрый неблокирующий (асинхронный) способ передачи? У меня недостаточно места на первом сервере для сжатия файлов в tar.gz и их передачи. Спасибо!
2 ответа
Решение
- Запускайте 1 процесс rsync на каталог, пока вы не насытите свою сетевую ссылку. Сценарий так, что новый процесс rsync запускается, когда предыдущий завершается.
- или, запустите 1 процесс rsync для каждого уникального символа в начале имени файла, используя include.
- или, запустите 1 процесс rsync для каждой уникальной комбинации 1-го + 2-го символа имени файла, используя include.
В основном rsync - делает все возможное, чтобы вызвать достаточно для насыщения вашего сетевого соединения.
Поместите файлы на жесткий диск и отправьте их через FedEx, UPS, DHL и т. Д.