Стратегия резервного копирования для миллионов файлов в большом количестве каталогов

У нас есть миллионы файлов во многих каталогах, например:

\00\00\00\00.txt
\00\00\00\01.pdf
\00\00\00\02.html
... so on
\05\55\12\31.txt

их резервное копирование на ленту происходит медленно, поскольку резервное копирование данных в этом формате выполняется намного медленнее, чем резервное копирование одного большого файла.

Общее количество файлов на диске и относительный размер каждого файла влияют на производительность резервного копирования. Быстрое резервное копирование происходит, когда диск содержит меньше файлов большого размера. Самые медленные резервные копии происходят, когда диск содержит тысячи маленьких файлов. Руководство администратора Backup Exec.

Значительно ли увеличится производительность резервного копирования за счет создания виртуального жесткого диска, размещения данных на нем после подключения и резервного копирования виртуального жесткого диска?

Я не уверен, что основные данные в VHD повлияет на это.

Каковы недостатки этого метода?

Источник

2 ответа

Хранение большого количества маленьких файлов в файловой системе, которая сама хранится в виде файла, имеет некоторые потенциальные преимущества.

Если формат этого файла разреженный, резервные копии будут изначально быстрее. Однако с течением времени, когда файлы создаются и удаляются, разреженное изображение может не оставаться разреженным. В конечном итоге изображение может оказаться намного больше, чем файлы в нем, что, конечно, тратит место на диске и на ленте и замедляет резервное копирование по сравнению со скоростью, когда изображение было новым.

Еще один недостаток образа заключается в том, что если его резервное копирование выполняется во время выполнения любых операций записи в файловую систему внутри образа, вы можете получить резервную копию, в которой целостность не сохраняется.

Источник

Я решил проверить это сам.

Для теста я создал VHD 25 ГБ на сервере 2008R2 и подключил его.

Затем я заполнил его данными объемом 20 ГБ. 129000 файлов в 1318 каталогах.

Затем я запустил задание резервного копирования содержимого виртуального жесткого диска. Затем я отключил VHD и сделал резервную копию самого файла VHD.

Ниже приведены результаты.

Data           Elapsed  Byte Count   Job Rate
VHD            00:09:51 25.0 GB      14,222.00 MB/min
VHD Contents   00:07:38 20.2 GB      9,557.00 MB/min

Истекшее время больше для файла VHD, однако при увеличении до фактических размеров, с которыми я имею дело, я уверен, что увеличенная скорость выполнения задания вступит во владение.

Кроме того, скорость работы с содержанием VHD кажется выше, чем я ожидал. На него может повлиять кэш, возникший из-за недавнего создания файлов, или что-то еще, но я не могу подтвердить это сейчас, поскольку основная работа связана с другими данными резервного копирования.

У меня нет времени или необходимости исследовать это дальше в данный момент, хотя я могу вернуться к этому когда-нибудь в будущем.

Источник
Другие вопросы по тегам