Использование rdiff-backup для инкрементного резервного копирования больших сжатых архивных файлов?
Я исследую стратегию удаленного резервного копирования вне сайта. Основным ограничением является то, что восходящий канал составляет всего ~50 кбит / с, поэтому с учетом этого возможности инкрементного резервного копирования с использованием различий в файлах rdiff-backup кажутся подходящим инструментом.
В тестовом случае:
Сначала rdiffbackup был запущен из локального каталога в другой локальный каталог. В каталоге находился 10 ГБ pax-архив каталога Maildir.
Pax-архив объемом 10 ГБ был заменен на 12-ГБ архив в формате pax в исходном каталоге (представляющий сумму дополнительных электронных писем за месяц). rdiff-backup был запущен снова. Я ожидал, что на этот раз rdiff-backup будет быстрее, поскольку разница в размере файла составляла всего 2 ГБ, однако не только была увеличена продолжительность выполнения, но и в целевом каталоге было 2 файла, исходный архив на 10 ГБ и временный файл на 12 ГБ.
Может ли rdiff-backup постепенно создавать резервные копии сжатых архивных файлов? Кажется, не может.
В настоящее время почтовый сервер записывает резервные копии pax Maildir на внешний диск. Но вместо того, чтобы использовать их в качестве источника rdiff-backup, было бы лучше разрешить rdiff-backup просто backup /home/%user%/Maildir (много-много маленьких файлов)?
Я полагаю, что если внешний диск выйдет из строя, было бы лучше не наносить вред второй резервной системе!
веселит,
kilolima
редактировать: не удалось добавить тег для "pax"?!
1 ответ
Вам лучше не сжимать данные.
rdiff-backup действительно анализирует файлы на наличие различий, но если они являются сжатыми архивами, он может не найти никаких различий и, следовательно, будет вынужден снова сохранить весь новый файл.
Также вы можете использовать ssh -C сжать соединение SSH и сохранить некоторую пропускную способность.
Наконец, если возможно, вы должны получить больше пропускной способности; это чуть лучше, чем dialup (или, может быть, это dialup?). Резервное копирование 12 ГБ данных займет недели по сравнению с коммутируемым доступом, и даже разница в 2 ГБ может занять несколько дней.