Synology NAS - rsync работает с версиями / дедупликацией
Правда ли, что стандартная реализация rsync в Synology DSM 4.3 не способна обрабатывать "огромные" объемы данных и может испортить управление версиями / дедупликацию? Может ли быть так, что любая из переменных (см. Подробную информацию ниже) может сделать это намного сложнее?
Изменить: я не ищу ничего, кроме ответа, если вышеуказанные утверждения не имеют смысла или могут быть правдой.
Подробная информация:
На работе у нас работает Synology NAS в офисе. Этот NAS используется несколькими дизайнерами, с которых они напрямую работают. У них есть проекты, которые состоят из фотографий в высоком разрешении, больших PSD, PDF и тому подобное. У нас есть папка, которая составляет ок. 430 ГБ в размере, который состоит только из текущих проектов. Предполагается, что эта папка будет резервироваться в центре обработки данных еженедельно через наше интернет-соединение.
Вся наша ИТ-служба обрабатывается третьей стороной, которая утверждает, что наша резервная копия начинает формировать определенный размер ("100 ГБ +"), где реализация по умолчанию DSM (4.3) rsync не в состоянии обрабатывать огромное количество данных для резервное копирование в онлайн-хранилище (на одной из их машин в центре обработки данных). Говорят, что резервная копия содержит около 10 ТБ данных, потому что у rsync есть проблемы с "управлением версиями / дедупликацией" (срок хранения 30 дней), и он становится бесполезным.
Поэтому они предлагают использовать "профессиональную онлайн-службу резервного копирования", которая значительно увеличивает наши затраты на ГБ для онлайн-резервного копирования.
1 ответ
Rsync сам по себе не подавляет файлы большого размера или "слишком много" файлов. В зависимости от вашей ситуации может быть (но маловероятно), что задание rsync каждую неделю занимает более 1 недели, в результате чего новое задание rsync запускается до завершения предыдущего задания rsync.
Среди ИТ-специалистов общеизвестно, что передача тонны маленьких файлов занимает гораздо больше времени, чем передача нескольких очень больших файлов при прочих равных условиях (одинаковая скорость интернета, тот же объем данных и т. Д.... Посмотрите на это (" Передача миллионов изображений") в качестве примера обсуждения переполнения стека, а также этого (" Что быстрее и почему: передача нескольких небольших файлов или нескольких больших файлов?") В качестве примера обсуждения здесь на Serverfault.
Таким образом, проблема может заключаться в том, что вы должны сжать файлы / папки перед запуском rsync, а затем скопировать сжатый файл в свой внешний центр обработки данных. В любом случае это позволит вам сэкономить на хранении данных за пределами площадки, хотя это может открыть еще одну банку с червями.
Конечно, вашим первым шагом будет выяснить, сколько времени занимает выполнение задания rsync. Затем выясните, нужно ли вам изменить методологию резервного копирования, предварительно сжав данные или перейдя к альтернативному решению резервного копирования.
Кстати, на момент публикации Synology DSM 5.1 является последней версией, а 5.2 находится в бета-версии. Вы должны обновить до DSM 5.1, если вы еще этого не сделали. Это, безусловно, не повредит вашей ситуации.