Обнаружение повреждения данных, поэтому мы не копируем поврежденные файлы
Я думал о целостности данных, в настоящее время я резервирую около 2 ТБ данных и всегда имею одну резервную копию данных год назад.
Меня беспокоит, если файл испортится на нашем рабочем файловом сервере, никто не заметит, потому что к некоторым файлам не обращаются в течение многих лет, и, если произойдет повреждение, я бы создал резервную копию поврежденного файла.
Я не уверен, как я должен справиться с этой проблемой, есть ли способ обнаружить повреждение данных? Или это единственное решение для хранения старых резервных копий на случай, если что-то испортится и не будет замечено?
2 ответа
По моему опыту, каждый тип файла нуждается в своих собственных проверках, чтобы определить, действительно ли что-то повреждено. Данные - это только точки и штрихи, а то, что определяет "повреждение", полностью зависит от файла. Вам нужно будет определить, какие типы файлов наиболее важны, а затем определить, возможно ли создать автоматизацию, которая проверяет согласованность типов файлов. Это будет непростой задачей, так как спецификации типов файлов со временем меняются, и когда вы сталкиваетесь с проприетарными форматами, у которых нет простого способа программно предотвратить повреждение.
Кроме того, повреждение данных - это только часть проблемы. Иногда файлы могут быть неправильными с точки зрения человека, но согласованными с точки зрения структуры данных. Если кто-то по ошибке редактирует файл - с точки зрения коррупции все в порядке.
В конечном счете, вам нужно сесть за лидерство в бизнесе и определить, какие наиболее важные активы данных для компании. Затем определите, как долго они должны быть сохранены и с каким уровнем отзыва. Они хотят точного восстановления на момент до четырех лет в прошлом? Может быть, только для определенных файлов, но не для других?
Учитывая, что у вас есть только 2 ТБ для резервного копирования, схема резервного копирования на магнитной ленте GFS с использованием картриджей LTO4 может позволить вам вернуться на многие годы назад с относительно небольшим количеством лент. Это, конечно, полностью зависит от оттока данных. Если у вас много занятых битов, у вас будет больше лент. Тем не менее, 2 ТБ - это относительное пятнышко, на которое потянет LTO4 или даже обычное дисковое хранилище, чтобы хранить данные за несколько лет.
Защитить цифровые активы непросто. Держите Тумс под рукой.
Это одна из причин, почему ZFS настолько хорош, что больше нет повреждения данных. Совместное использование файловых систем ZFS через CIFS довольно просто.