Резервное копирование Duplicity (через Duply) на S3 - высокая нагрузка на сервер
Мы делали инкрементное резервное копирование, используя Duply на нашем главном сервере, в корзину S3. Однако мы обнаружили, что во время резервного копирования наблюдается высокая нагрузка на сервер (это сервер Amazon EC2).
Мы думаем, что это может быть связано с проверкой каждого файла на S3, чтобы увидеть, есть ли какие-либо изменения.
Какими способами мы могли бы уменьшить нагрузку на сервер?
Поскольку мы выполняем резервное копирование каждые четыре часа, возможно, мы могли бы выполнить резервное копирование только для файлов / папок, которые были созданы не ранее, чем через 4 часа.
1 ответ
Если вам нужна полная резервная копия системы, вы можете переключиться на снимки...
Если вам нужны отдельные файлы, рассматривали ли вы инструменты AWS CLI? Если это экземпляр Amazon Linux, они уже установлены. Если нет, см. Инструкции по установке здесь.
Вы можете установить запланированное задание с помощью команды что-то вроде этого:
aws s3 sync /your/path/to/backup s3://yourbucket/path --recursive
в операции синхронизации исходный файл будет выгружен, только если размер файла отличается от размера объекта s3, время последнего изменения локального файла новее, чем время последнего изменения объекта s3, или если локальный файл не существует.
Для дополнительной возможности восстановления включите управление версиями в корзине S3, и вы сможете восстановить более старые версии файлов, если что-то было случайно изменено.... тогда вы можете использовать политики жизненного цикла S3, чтобы минимизировать количество версий / возраст версий, которые вы поддерживать.