Решение для резервного копирования для резервного копирования терабайт и большого количества статических файлов на сервере Linux?

Я перепробовал множество решений для резервного копирования, начал с rsync и rdiff-backup. Также чистые скрипты tar и bash. Но бачула побеждает их всех. Это основано на модульной конструкции, у меня есть около 8 ПК в сети резервного копирования и растет.

Кому я рекомендовал bacula, они были более чем счастливы, наконец, в своем доме.

Вы не говорите, что хотите поддержать; лента или диск? Если предположить первое, то я одобряю рекомендации для bacula. Я использую его на нескольких разных сайтах, на одном из которых он управляет 60-слотовым роботом LTO2 с двумя накопителями, с общим объемом хранения около 50 ТБ на ленте, распределенным по 120 лентам, и одним крупнейшим сервером, имеющим около 4 ТБ диска, Bacula очень, очень хороша, когда она правильно настроена.

Резервное копирование дисков я не могу комментировать с пользой, так как я сам твердо записан на магнитофон. Поскольку вы специально упоминаете хранение истории, я надеюсь, что вы были открыты для резервного копирования на съемные носители (например, на ленту).

Попробуйте BackupPC. Для меня это очень хорошо работает с парой терабайт данных и десятками миллионов файлов (около 100 000 - 500 000 из них меняются ежедневно). ОК, BackupPC использует rsync и основан на файлах, так что это может быть для вас показом.

Bacula - еще один популярный, и у него наверняка самый крутой лозунг из всех. И даже не использует rsync!:-)

В EMC Networker есть опция SnapImage, которая должна увеличить скорость резервного копирования для ваших данных.

Я только слышал об этом, но я никогда не пытался, извините...

rsnapshot

или, если вы хотите больше контроля; просто взломайте короткий bash-скрипт, чтобы сделать то же самое: один cp -al, немного mv а также rsync,

Я использую его на очень занятом сервере 30 ТБ с около 5 миллионов файлов, и работает прекрасно.

Попробуйте использовать миррордир. С соответствующим сценарием, кажется, идеальное решение для вас. Он только обновляет файлы, которые были изменены (модифицированы, созданы или удалены), но также имеет возможность сохранять старые файлы. Я не уверен, как эта функция работает, но это не должно быть сложно. Вот сценарий, который я использую: (Отредактировано для ясности. Надеюсь, у меня не было проблем с правками)

#! /bin/bash

logfile="/home/share/Backup-log.txt"

echo "" | unix2dos >> $logfile
echo `date`"   /bin/mirror_backup started" | unix2dos >> $logfile

echo ""
echo ""
echo "mirror_backup   Automatically archive a list of"
echo "                directories to a storage location"

# Mount mirror drive
mount -o remount,rw /mirror
xstatus=$?
if [ $xstatus -ne 0 ]
then
        mount -o remount,rw /mirror 2>&1 | unix2dos >> $logfile
        echo `date`"   Mount failed, aborting /bin/mirror_backup..." 1>&2
        echo `date`"   Mount failed, aborting /bin/mirror_backup..." | unix2dos >> $logfile
        mount -o remount,ro /mirror 2>> /dev/null
        exit $xstatus
fi

# Define Source Directories
sourcelist="/home /etc /root"
dest="/mirror"

for dir in $sourcelist
do
        if [ ! -d ${dest}${dir} ]
        then
                mkdir -p ${dest}${dir} 2>&1 | unix2dos >> $logfile
#               chown mirror:mirror ${dest}${dir}
        fi
done


# Mirror directories

for dir in $sourcelist
do
        # Delete old files
        echo ""
        echo "Deleting old files in "${dest}${dir}
        mirrordir --nice 0  --exclude-from /root/exclude-list --only-delete ${dir} ${dest}${dir} 2>> /dev/null

        # Run full mirror
        echo "Mirroring "${dir}" to "${dest}${dir}
        mirrordir --nice 0 --restore-access --access-times --exclude-from /root/exclude-list ${dir} ${dest}${dir} 2>&1 | unix2dos >> $logfile

done

# Perform miscellaneous tasks

report="/home/share/disk-report.txt"
echo "Report generated on "`date` | unix2dos > $report
echo "" | unix2dos >> $report
echo "RAID drive status:" | unix2dos >> $report
cat /proc/mdstat | unix2dos >> $report
echo "" | unix2dos >> $report
echo "Disk usage per slice:" | unix2dos >> $report
df -h | unix2dos >> $report
echo "" | unix2dos >> $report
echo "Disk Usage per User:" | unix2dos >> $report
du -h --max-depth 1 /home | unix2dos >> $report
echo "" | unix2dos >> $report
echo "Disk Usage on Share drive:" | unix2dos >> $report
du -h --max-depth 1 /home/share | unix2dos >> $report
echo "" | unix2dos >> $report
echo "Filesystem Usage Overview:" | unix2dos >> $report
du -h --max-depth 1 / | unix2dos >> $report
echo "" | unix2dos >> $report
echo "Report Complete" | unix2dos >> $report

echo ""
echo "mirror_backup complete."

# Unmount Mirror Drive
mount -o remount,ro /mirror 2>&1 | unix2dos 2>> $logfile
echo `date`"   /bin/mirror_backup completed successfully" | unix2dos >> $logfile

exit 0

Без изменений для фиксации (например, второй прогон) требуется около 5-7 минут для сканирования 1,5 ТБ файлов. Конечно, это намного медленнее при первом прогоне.

Кстати, этот сценарий был написан мной для домашнего использования на моем личном сервере. Хотя кто-то может свободно использовать или модифицировать его для себя, я не даю абсолютно никаких гарантий или гарантий. Это бесплатно, поэтому вы получаете то, за что платите. Надеюсь, это поможет, хотя!