Как я могу контролировать постепенную загрузку файлов с помощью cron или подобного?
У меня есть несколько терабайт данных для резервного копирования на S3/Glacier по медленной ссылке. Я хочу загрузить, скажем, с 9 вечера до 9 утра и продолжить с того места, где он остановился. Есть ли бесплатное программное обеспечение, которое сделало бы это легко? Я мог бы использовать s3cmd / s3sync для загрузки, но есть ли простой способ управлять им с помощью cron? Я в порядке с задержкой в несколько дней, так как у меня есть статические данные, и я просто добавляю еще один уровень избыточности.
Будет ли лучше просто запустить процесс и убить его, а затем перезапустить синхронизацию? Я в основном ищу стандартную систему, но я мог бы просто написать несколько сценариев оболочки. Я использую Ubuntu и хочу использовать стандартные инструменты Linux.
1 ответ
Конечно, любая загрузка в диапазоне террабайтов займет некоторое время, насколько медленна ваша "медленная" восходящая линия?
Загрузка 1 террабайта по восходящей линии связи 10 Мбит займет 1024*1024 = 1048576 секунд = 290 часов = 12 полных дней.
Я бы посмотрел на массовую загрузку Amazon, отправив устройство NAS
Взгляните на http://aws.amazon.com/importexport/