BackupPC Резервное копирование 250 ГБ занимает более 72 часов
Я использую BackupPC сделать резервную копию некоторых рабочих станций в офисе. В частности, на одной рабочей станции имеется значительный объем данных по сравнению с остальными, однако в целом он не такой большой (если говорить о 250-гигабайтных ГБ фактических данных).
BackupPC кажется, потребуется вечность, чтобы поддержать эту систему (несколько дней, т.е. более 72 часов +). Все рабочие станции резервируются через rsync за autofs локальное монтирование по сети.
В принципе, autofs монтирует administrative C share на рабочей станции, то BackupPC рассматривает это как локальный каталог, cdв automount directory, а также rsyncэто все данные.
В общем, он медленный, и я обычно приписываю его BackupPC Это медленное аппаратное обеспечение, но эта производительность более или менее приемлема на всех рабочих станциях, кроме этой с большим объемом данных.
rsync flags:
/usr/bin/rsync --numeric-ids --perms --owner --group -D --links --hard-links --times --block-size=2048 --recursive
Это аргументы по умолчанию, которые BackupPC настроен с.
Я прочитал некоторые вещи в Интернете, которые указали atime на креплениях может замедляться - так что я поменял autofs конфиг для монтирования каталогов с noatime флаг... без разницы.
Я прочитал некоторые вещи, которые указали rsync может быть виновником из-за того, как он проверяет файлы... и предложил переключиться на tar вместо. Так я и сделал... но без разницы.
tar flags:
tarPath="/bin/gtar"
env LC_ALL=C $tarPath -c -v -f - -C $shareName+ --totals
# where $shareName is the autofs mounted directory
Это аргументы по умолчанию, с которыми настроен BackupPC.
Без изменений.
Мониторинг BackupPC сетевая активность коробки с iftopПохоже, что на некоторое время он будет активно использоваться (иногда до 90 Мбит / с), но затем снизится до Кбит / с или даже иногда до Bps. Пока он в медленном режиме, top показывает активность с командой BackupPC_dump которая является резервной копией... так что она делает что-то и не застряла.
Текущее резервное копирование выполняется уже более 24 часов, но в соответствии с данными было передано только 75,9 ГБ. iftop,
2 ответа
Может быть быстрее запустить rsync непосредственно на сервере. У вас есть около миллиона файлов для доступа по сети. Есть несколько минимальных установок rsync что ты можешь бежать. Я настроил BackupPC на Windows таким образом. Вы можете запустить полную установку Cygwin или минимальную установку cygwin-rsycnd, доступную в проекте BackupPC.
Вы должны проверить все на обеих сторонах вашего конфига backuppc. во-первых, проверьте сервер и попытайтесь увеличить его производительность, но если у вас есть другие машины, которые работают лучше, давайте пропустим этот.
Далее проверь сеть! Скорость сети определяется рабочим столом, размер пакета, качество кабеля. сделать несколько тестов, выполнить тест rsync (rsync-rsyncd) для большого файла. Тест с другого рабочего стола и на другой рабочий стол. Вы должны увидеть, если у вас есть какие-то проблемы там или нет.
Наконец настольный компьютер. CIFS на машине может быть не в лучшей форме, и, как я сказал выше, rsync из сетевой файловой системы будет загружать каждый файл по сети снова и снова, так как rsync определяет, что файловая система является локальной, и проверяет md5 файла.... но файл должен быть выбран по сети, просто сделайте эту проверку. Так что, как указывает BillThor, один rsyncd на рабочем столе будет намного эффективнее. Кроме того, кэширование контрольной суммы поможет серверу backuppc не проверять файлы, что снижает его нагрузку. Дефрагментируйте рабочий стол и удаляйте (или исключайте) любые ненужные файлы (в Windows много бесполезных файлов).
Наконец, количество файлов... многие файлы делают любое резервное копирование по сети, так что играйте с ними... вместо одной большой резервной копии, разбейте ее на более мелкие части. некоторые файлы изменяются больше, чем другие, поэтому группируйте каталоги по вероятности изменения. Вместо одной большой резервной копии каждые x дней, есть 3 резервных копии, одна за X дней, другая за 2 x дня и менее обновленные файлы, скажем, 3 x дня. Таким образом, вы избегаете необходимости постоянно анализировать каждый файл. Если у вас есть "архивные" файлы, рассмотрите сжатие тогда. Даже если это не сжимаемое хранилище (используйте zip store), оно превратится в 10.000 всего за 1... большое сохранение во время резервного копирования.
Если вы не можете этого сделать, вы можете изменить метод резервного копирования. на огромной машине со многими файлами я использовал моментальный снимок диска, чтобы сделать изображение HD, а затем делать периодический инкрементальный снимок. Может показаться излишним, но эта программа быстро делает инкрементальное на уровне блоков и обходит проблему со многими файлами. Для меня это уменьшило резервное копирование файловой системы с 48 часов до 3-часового уровня резервного блока. Не так гибок, как backuppc, но работает. только не забывайте, что когда вы выполняете дефрагментацию, вы должны снова сделать полное резервное копирование, иначе инкремент будет таким же большим, как полное.:)
проверьте этот пост в блоге о том, как сделать резервную копию из windows (с бонусом за теневую копию). прочитайте все комментарии, поскольку я добавляю много важной информации и обновлений там.