Рекомендации по файловой системе для хранилища файлов 5 ТБ
У меня есть локально подключенная система RAID6 5 ТБ (IBM DS3512). Он будет использоваться в качестве хранилища для больших файлов данных, которые записываются в последовательных записях, а затем считываются для обработки. В конце концов данные удаляются.
Обратный путь в каталогах не важен, так как у нас есть собственная служба индексации.
Поскольку это онлайн-система, важна доступность и устойчивость к коррупции, а также быстрое время восстановления.
Есть ли у XFS особые преимущества перед EXT4 в этом контексте?
Кроме того, как бы я пошел о настройке файловой системы?
Целевая система работает RHEL 6.3.
2 ответа
Я бы выбрал стандартное ext4, хотя бы потому, что на практике это показало, что он может сильно пострадать, а в случае проблем, вероятно, будет гораздо больше опыта под рукой.
Да, и прежде чем пожелать вам удачи, не верьте тому, что цветные квадраты с недостающими кусочками говорят вам на случайных интернет-сайтах. Они могут извергать чепуху, нет, они извергать чепуху, если они не знают о вашей проблеме и ее настройке. Проведите эксперимент с реалистичными данными и рабочей нагрузкой и измерьте. Посмотрите, действительно ли разница имеет значение, ищите другие входные данные. Проверьте, что рекомендует ваша операционная система vedor.
Ох и удачи! Пожалуйста, добавьте ответ (или комментарий) со своим анализом и выводами здесь или добавьте его в документацию вашего дистрибутива. Можно даже подумать о написании статьи для LWN...
Я думаю, что XFS может быть хорошо настроен для этой цели. Он активно кэширует, хорошо обрабатывает большие файлы, работает с большим количеством файлов и каталогов и обладает устойчивостью.
В системе RHEL 6.x вы захотите использовать инфраструктуру tuned-adm и сместить ее в соответствии с намеченными характеристиками производительности вашего приложения.
Исходя из вашего описания, имеет смысл рассмотреть пропускную способность tuned профиль.
Замечания:
Существует небольшая ошибка, связанная с нагрузкой, которая влияет на XFS в ноябре 2012 года и на более новые ядра EL6... Существует также уникальная функция оптимизации, которая теперь используется по умолчанию в версии XFS в ядре.
Будучи большим сторонником XFS в течение последнего десятилетия, я перенес множество установок на ZFS в Linux в качестве замены, особенно для больших файловых систем.