Какова долгосрочная стабильность данных, хранящихся в NVMe или SSD?
Фон:
Нам необходим готовый доступ к 30 ТБ аудиоданных, хотя для воспроизведения требуется лишь небольшая их часть, поэтому воспроизведение должно быть выполнено немедленно даже для многолетних данных. Данные хранятся в SAN из нескольких массивов, и для новых данных выполняется ночное резервное копирование. Некоторые данные также удаляются каждую ночь. Поскольку оба являются событиями записи, назовите это 20 ГБ за ночь. Общая тенденция заключается в том, что записывается больше новых данных, чем удаляются старые.
Еженедельные патрульные чтения (PR) и проверка на непротиворечивость (CC) учитывают большую часть активности дисков в массивах, за исключением того, что они просто вращаются, пока не выйдут из строя.
Вопрос:
Я пытаюсь выяснить, следует ли заменить дисковую сеть SAN на сеть с использованием NVMe, какой уровень RAID следует учитывать и имеет ли смысл снизить частоту операций PR или CC для технологии VNAND?
Насколько я понимаю, записи, которые убивает VNAND, пишутся, и мы будем записывать намного меньше данных, чем ежедневный минимум, на большинстве накопителей, даже с учетом проверки согласованности.
Мне почти не удалось найти тестирование RAID 5/6 на NVMe или вообще на SSD. Я после прежде всего долгосрочной доступности.
Исследование:
Большинство других вопросов по этой теме предшествуют технологии NVMe и им 6-7 лет. Это исключение, но на самом деле этот сценарий тоже не рассматривается.
Понимание требований к памяти и оборудованию NVMe
Связанные с:
Долгосрочное хранение важных для бизнеса данных
Долгосрочная архивация видео и аудио файлов
Настройка One Year Raid 0
2 ответа
Используя SSD вместо HDD, вы получите некоторое преимущество в энергопотреблении и, скорее всего, выиграете в надежности (SSD корпоративного уровня гораздо надежнее корпоративных HDD). Нет никакой проблемы с выносливостью nand, особенно не на уровне действий, которые у вас есть, и даже на более высоких уровнях выносливость не является реальной проблемой. Скорее всего, вы также можете купить относительно более дешевые диски с оптимизированным чтением (с 0,3 DWDD) и не беспокоиться о выносливости диска.
Единственный вопрос в таком случае использования заключается в том, что стоимость дисков гарантирует преимущества в отношении мощности и надежности.
Что касается надежности / доступности, все SSD корпоративного уровня, которые я видел, рекламируют MTBF 2 миллиона часов, и те, с которыми я работал, превысили эту отметку. Противоположной стороной является то, что все жесткие диски корпоративного уровня требуют 1,2 млн. Часов безотказной работы, и ни один из них не продвинулся на полпути, так что вы увидите, как с этим движением вырастет большая надежность. Опять же, если это действительно стоит затрат или нет, это ваш расчет.
Моя квалификация здесь заключается в том, что я работал над корпоративными системами хранения данных, включающими жесткие диски и твердотельные накопители, занимался интеграцией аппаратного и программного обеспечения и был глубоко вовлечен в надежность комбинированных систем. Наборы данных, на которые я опирался, являются частными, поэтому нет открытых исследований, на которые я могу указать.
Исчезновение электрических зарядов также убивает NAND. Вероятно, очень медленно в хорошем твердом состоянии, но заметно по прошествии времени. Совсем отличается от магнитных шпинделей, которые хранят данные за 10 и более лет. Если они снова раскрутятся, то это так.
Посмотрите данные о надежности как функцию записанных байтов, количества вращающихся часов и других показателей. Спецификации поставщика, а также любые общедоступные наборы данных. Замените диски всякий раз, когда они показывают износ. Особенно ближе к концу их гарантии, может быть, 3 года.
Для резервного копирования используйте другой носитель, нежели онлайн-данные. Если основное хранилище находится в твердом состоянии, используйте защитную ленту или магнитные шпиндели.
Пересматривайте архивные СМИ как минимум каждые 10 лет. Перенесите старые резервные копии, которые вам нужны, на любой текущий носитель защиты.
Будучи хорошим архивариусом, не зависит от типа носителя или схемы резервирования, со временем хранилище развивается. Здесь нет единого ответа, даже для аналогичных требований к производительности, доступности и стоимости.
Флэш-накопители еще слишком новы, чтобы можно было полагаться на какие-либо масштабные исследования долгосрочной долговечности. Пока что индикаторы вспышки SLC и MLC выглядят хорошо и, кажется, дают вам такую же или лучшую долговечность, как вращающаяся ржавчина. TLC и особенно QLC flash слишком новы, чтобы делать какие-либо квалифицированные прогнозы, но можно разумно ожидать, что они обеспечат меньшую долговечность, чем SLC и MLC. Лично я бы не стал переходить от блесен к флеш-памяти из соображений долговечности, но, возможно, по другим причинам, например, производительности. Вместо этого я бы изучил функции целостности системы управления хранилищем и убедился, что она может правильно обрабатывать частично потерянные или поврежденные данные. ZFS, возможно, является лидером в этом отношении.