Насколько бэкэнд S3 подходит для операций rsync?
У меня есть большой сервер с открытым исходным кодом (https://ftp.halifax.rwth-aachen.de), который в настоящее время обслуживает более 30 ТБ данных с мультигигабитной пропускной способностью. Данные синхронизируются и обновляются с помощью rsync, т.е. синхронизации данных с некоторого основного сервера rsync с моей локальной копией.
В настоящее время серверная часть хранилища представляет собой диск с файловой системой (ZFS). Есть идеи перенести этот проект в виртуализированную среду, где основная часть хранилища будет предоставляться через S3 (Ceph, размещенный в локальном центре обработки данных).
Основываясь на моем опыте работы с rsync, я считаю, что синхронизация большого количества данных через S3 — не очень хорошая идея, но у меня нет реального опыта работы с S3.
Насколько плохо? Подходит ли S3 (протокол) для такого рода операций? Помимо обслуживания большого количества запросов на чтение (в среднем 200 в секунду), сможет ли сервер S3 сообщить rsync все, что rsync необходимо знать для синхронизации данных?
Бонусный вопрос: подойдет ли S3 для передачи данных через rsync, т. е. будет ли работать rsync://ftp.halifax.rwth-aachen.de/?
Текущая статистика текущей системы (на базе ZFS/диска):https://ftp.halifax.rwth-aachen.de/~cotto/