Лучшая удаленная файловая система на базе S3
Мне нужно знать, какое лучшее (читай: высокопроизводительное и отказоустойчивое) решение для файловой системы на основе Amazon S3. Я смотрел s3fs, но заметил, что он некоторое время не работал, и это заставило меня задуматься о стабильности и возможностях.
Какие еще решения для файловой системы вы использовали и каков ваш опыт работы с ним?
4 ответа
Вы не получите ничего "высокопроизводительного" (по крайней мере, по сравнению с современными дисковыми системами хранения) при работе с задержками, присущими использованию удаленного хранилища. Производительность дополнительно ограничивается тем фактом, что целевое "устройство" не является блочным устройством, что требует уровня абстракции, который еще больше снижает производительность. S3 лучше всего подходит для тех целей, для которых он предназначен, для хранения и извлечения отдельных файлов с использованием http(s).
Относительно отказоустойчивости: вот область, где S3 превосходит. Стандартные корзины S3 переживут сбой двух сервисов Amazon, что весьма неплохо для того, что вы платите. Если ваши потребности не такие строгие, они также недавно выпустили несколько менее избыточные (но на ~30% дешевле) корзины RRS, которые настроены на то, чтобы выдержать сбой одного из сервисов Amazon.
Возможно, S3QL будет вам интересен. Я не буду хвалить его здесь (потому что я разработчик), но есть сравнение S3QL с другими файловыми системами S3 на http://code.google.com/p/s3ql/wiki/other_s3_filesystems.
Nasuni - это стартап с относительно недорогим облачным устройством хранения данных. Стоит посмотреть, нужно ли вам просто защитить ТБ данных на S3.
PS Я не связан с компанией, просто фанат технологии.
Вы также можете попробовать Amazon EFS, ObjectiveFS или SoftNAS.