Как лучше всего rsync из aws s3 в gcloud?
Я должен выполнить rsync (не только копировать или переместить) из всех моих корзин из s3 в облако Google. Мне нужно создать ту же инфраструктуру s3 для Google. У меня как 2Tera в s3, и все дни я получаю новые файлы..
Мое решение сегодня
gsutil rsync -r -m s3:// ведро gs:// ведро
Но это решение медленнее.
У тебя есть идея быстрее?
Благодарю.
2 ответа
Если вы синхронизируете большой объем данных между облаками, вы можете настроить учетную запись Google Compute Engine и запустить там gsutil. Поскольку передача данных gsutil между поставщиками проходит через компьютер, на котором работает gsutil, это может значительно ускорить передачу данных по сравнению с gsutil на локальной рабочей станции.
Ссылка: https://cloud.google.com/storage/docs/gsutil/commands/rsync
Актуальным ответом на этот вопрос является использование Google Transfer Service:
Что такое служба передачи хранилища?
Storage Transfer Service передает данные из онлайн-источника данных в приемник данных. Источником данных может быть корзина Amazon Simple Storage Service (Amazon S3), местоположение HTTP/HTTPS или корзина Cloud Storage. Ваш приемник данных (место назначения) всегда является хранилищем облачного хранилища.