Насколько бэкэнд S3 подходит для операций rsync?

У меня есть большой сервер с открытым исходным кодом (https://ftp.halifax.rwth-aachen.de), который в настоящее время обслуживает более 30 ТБ данных с мультигигабитной пропускной способностью. Данные синхронизируются и обновляются с помощью rsync, т.е. синхронизации данных с некоторого основного сервера rsync с моей локальной копией.

В настоящее время серверная часть хранилища представляет собой диск с файловой системой (ZFS). Есть идеи перенести этот проект в виртуализированную среду, где основная часть хранилища будет предоставляться через S3 (Ceph, размещенный в локальном центре обработки данных).

Основываясь на моем опыте работы с rsync, я считаю, что синхронизация большого количества данных через S3 — не очень хорошая идея, но у меня нет реального опыта работы с S3.

Насколько плохо? Подходит ли S3 (протокол) для такого рода операций? Помимо обслуживания большого количества запросов на чтение (в среднем 200 в секунду), сможет ли сервер S3 сообщить rsync все, что rsync необходимо знать для синхронизации данных?

Бонусный вопрос: подойдет ли S3 для передачи данных через rsync, т. е. будет ли работать rsync://ftp.halifax.rwth-aachen.de/?

Текущая статистика текущей системы (на базе ZFS/диска):https://ftp.halifax.rwth-aachen.de/~cotto/

0 ответов

Другие вопросы по тегам