Демон создания жестких ссылок на файловом сервере Linux, который находит идентичные файлы

Question

Демон создания жестких ссылок на файловом сервере Linux, который находит идентичные файлы

У меня есть сервер Linux, на котором я храню только новые файлы или переименовываю каталоги и никогда не редактирую файлы. Он содержит резервные копии с других серверов Linux.

Из-за определенных обстоятельств существует довольно много повторяющихся файлов, часто с разными именами.

Существует ли какой-либо бесплатный инструмент Linux, который периодически сканирует файловую систему и имеет базу данных с именами файлов, размерами и, возможно, sha1sums, а затем идентифицирует дубликаты и заменяет их жесткими ссылками?

0

linux backup files hardlink

Источник

Christian 23 апр '13 в 19:31

2 ответа

Другие вопросы по тегам linux backup files hardlink

simohe 19 сен '13 в 12:57 2013-09-19 12:57 · Answer 1 · 2013-09-19 12:57

Некоторые инструменты взяты из https://unix.stackexchange.com/questions/3037/is-there-an-easy-way-to-replace-duplicate-files-with-hardlinks

trimtrees.pl
fduples -L
findup -m (из fslint)
rdfind -makehardlinks

Вы можете запустить один из них в работе cron.

2

Источник

simohe 19 сен '13 в 12:57

Izzy 23 апр '13 в 19:42 2013-04-23 19:42 · Answer 2 · 2013-04-23 19:42

Вы можете использовать дедупликацию файловой системы. В Linux есть два основных варианта - btrfs и zfs.

Недостатком btrfs будет то, что он все еще не помечен как стабильный и не имеет fsck.

ZFS отсутствует в ядре Linux из-за проблем с лицензированием, но есть модуль ядра с поддержкой большинства дистрибутивов Linux. Кроме того, ZFS имеет своего рода онлайн-fsck с функцией очистки. Вы можете посмотреть поддерживаемые дистрибутивы на http://zfsonlinux.org/

Оба имеют функции сжатия, дедупликации и моментальных снимков без каких-либо дополнительных демонов пользовательского пространства, что делает их идеальными для решений резервного копирования.