Грид-хранилище для больших файлов на нескольких внешних машинах
У меня есть несколько выделенных серверов с неиспользуемым пространством на них. 16GB+ RAM, некоторые имеют SSD, другие HDD. Все они имеют минимальное соединение 100 Мбит / с. ОС Debian 7 64bit. Между компьютерами нет локальной сети (только WAN).
Я хочу создать самореплицирующееся хранилище, потому что трудно вручную загружать выбранные файлы и помнить, где они находятся, когда вам нужны эти файлы. Что-то вроде ковшей S3 было бы идеально. Он должен быть бесплатным (как в пиве), относительно простым в установке и иметь аутентификацию между узлами (только WAN-соединение).
Файлы, которые мне нужно хранить, имеют размер до нескольких гигабайт (резервная копия 50 МБ - 15 ГБ *.tar.gz).
Является ли hadoop или HDFS хорошим выбором?
1 ответ
Hadoop на самом деле не предназначен для распределенного доступа FS по глобальной сети. Его использование ориентировано на быстрые локальные сети с минимальной задержкой.
Если вы просто синхронизируете данные с несколькими удаленными местоположениями, где это отношение данных "один ко многим" (т. Е. Данные создаются в одном месте, и вы просто хотите распределить их для избыточности), вам, вероятно, лучше использовать rsync.,