Большой, высокопроизводительный объект или хранилище ключей / значений для HTTP, обслуживающего Linux

У меня есть сервис, который обслуживает изображения для конечных пользователей с очень высокой скоростью, используя простой HTTP. Размер изображения варьируется от 4 до 64 Кбайт, и их общее количество составляет 1 300000000. Размер набора данных составляет около 30 ТБ, а изменения (новые объекты, обновления, удаления) составляют менее 1% запросов. Количество запросов пр. второй колеблется от 240 до 9000 и разбросан почти по всему, с немногими объектами, которые являются особенно "горячими".

На данный момент эти изображения представляют собой файлы в файловой системе ext3, распределенные только для чтения на большом количестве серверов среднего уровня. Это создает несколько проблем:

• Использование файловой системы очень неэффективно, так как размер метаданных большой, кэш inode/dentry изменчив в Linux, и некоторые демоны имеют тенденцию stat()/readdir() проходить через структуру каталогов, что в моем случае становится очень дорогим.
• Обновление набора данных занимает много времени и требует перемонтирования между наборами A и B.
• Единственная разумная обработка - это работа на блочном устройстве для резервного копирования, копирования и т. Д.

То, что я хотел бы, является deamon, который:

• говорит HTTP (получить, поставить, удалить и, возможно, обновить)
• хранит данные в эффективной структуре.
• Индекс должен оставаться в памяти, и, учитывая количество объектов, накладные расходы должны быть небольшими.
• Программное обеспечение должно быть в состоянии обрабатывать массивные соединения с медленным (если есть) временем, необходимым для наращивания.
• Индекс должен быть прочитан в памяти при запуске.
• Статистика была бы хорошей, но не обязательной.

Я немного поэкспериментировал с риаком, редисом, mongodb, киото и лаком с постоянным хранением, но у меня еще не было возможности покопаться очень глубоко.