Проверка целостности данных

Я только что установил сервер FreeNAS с терабайтным диском. Я хочу, чтобы на каждой машине был только один жесткий диск, поэтому я собирал как можно больше данных и отправлял их по локальной сети во FreeNAS. Я заметил, что по крайней мере один файл не копировался должным образом и теперь поврежден. (Я также замечаю некоторые странные проблемы с разрешениями, но это уже другой вопрос.) Теперь, когда большая часть данных на сервере FreeNAS закончена, существует ли автоматический способ проверки того, что больше ничего не повреждено?

Я не совсем уверен, как описать, как файл был поврежден. По сути, он представлял собой видеофайл размером 178 мегабайт, но при доступе к нему для воспроизведения или даже перемещения оконный компьютер, который обращался к нему, выдавал общее сообщение, не смог получить доступ к сообщению об ошибке. Я использовал веб-интерфейс FreeNAS для перемещения файла, после того, как он был перемещен, файл занимал 76 мегабайт и не мог воспроизводиться.

2 ответа

Решение

Всегда бегать:

cd /filesystem; \
find . -type f -exec md5sum {} \; >& /filesystem-md5.log

а потом

cd /filesystem-new; \
md5sum -c /filesystem-md5.log

до и после копирования большого количества данных.

Вы будете удивлены, насколько много случайного повреждения данных вы испытываете в реальном мире.

Когда вы найдете поврежденный файл, cmp -l badfile goodfile попытаться понять природу коррупции.

Вот почему я прошу о сквозной проверке целостности во всех случаях. К сожалению, производители файловых систем и ОС не воспринимают это всерьез.

Вы можете проверить помощника. Я думаю, что есть другие инструменты целостности там.

Он создает базу данных из правил регулярных выражений, которые он находит из файла конфигурации. После инициализации этой базы данных ее можно использовать для проверки целостности файлов. Он имеет несколько алгоритмов дайджеста сообщений (md5,sha1,rmd160,tiger,haval и т. Д.), Которые используются для проверки целостности файла. Дополнительные алгоритмы могут быть добавлены с относительной легкостью. Все обычные атрибуты файла также можно проверить на несоответствия. Он может читать базы данных из старых или более новых версий. Смотрите справочные страницы в дистрибутиве для получения дополнительной информации. Существует также начало руководства.

Другие вопросы по тегам