Передача с FTP на GCS

Мне интересно, существует ли эффективный способ резервного копирования файлов с (S)FTP-сервера (Exavault) в Google Cloud Storage (GCS). Мы используем Exavault управляемую службу FTP и хотим регулярно создавать резервные копии файлов в GCS, а затем удалять файлы старше 30 дней из Exavault.

Текущая реализация (Bloody Slow):

  1. Подключите FTP к файловой системе в Google Compute Instance, используя curlftpfs
  2. Бежать gsutil rsync синхронизировать файлы из подключенного хранилища в GCS Bucket
  3. Удалить файлы на основе mtime +30

Этот метод работает очень медленно, и я не думаю, что это будет разумным решением на данный момент.

Есть ли какие-нибудь решения, которые могут сделать что-то вроде этого, с ~ 500 ГБ данных, более эффективно?

Источник

2 ответа

Несколько клиентов ftp, монтируя каждый каталог верхнего уровня в системе как отдельный curlftpfs. Отправить на несколько облачных серверов, если максимальная пропускная способность.

Импорт оффлайн-медиа. Предполагая, что вы можете привлечь всех к работе с физическими носителями.

Источник

Рассматривали ли вы использование коммерческого программного обеспечения для ускорения резервного копирования GCS? FileCatalyst Server имеет возможность монтировать GCS в качестве файловой системы. Затем вы можете использовать любое клиентское приложение FileCatalyst (HotFolder, CLI, веб-интерфейс) для передачи файлов на сервер FileCatalyst с GCS, смонтированным как виртуальная папка.

Вот ссылка на продукт: https://filecatalyst.com/solutions/filecatalyst-direct/

Да, я работаю на FileCatalyst.

Источник
Другие вопросы по тегам