Самодельные решения для автоматического многоуровневого хранения с Linux? (Память -> SSD -> HDD -> удаленное хранилище)
В связи с этим вопрос об использовании SSD для системы и HDD для данных, за исключением того, что я хотел бы, чтобы моя система делала это автоматически...
Возможно ли иметь несколько уровней хранения и автоматически помещать элементы между ними, используя предпочтительно бесплатное программное обеспечение с открытым исходным кодом?
Я знаю об очень дорогих решениях корпоративного класса, таких как автоматическое архивирование EMC SAN-> EMC Centera, но мне было интересно, возможно ли такое поэтапное хранение автоматически.
Было бы неплохо иметь несколько слоев в этом: Memory->SSD->HDD-> более медленный HDD или магнитная лента или какое-либо другое решение для архивирования.
Есть ли файловые системы, которые могут сделать это автоматически? (ZFS, Btrfs, HAMMER?)
Любые Unix- варианты хороши, так как меня интересует, как это работает и может ли оно быть переносимым на Linux или другие разновидности (BSD и т. Д.).
9 ответов
Ну, ZFS использует многоуровневую систему хранения, называемую Hybrid Storage Pool (HSP):
- Слой: память
- Уровень: основанные на SSD кэши чтения (L2ARC) и записи кэши (отдельный журнал намерений или слог).
- Слой: (дешевые) жесткие диски
С HSP легко автоматически воспользоваться преимуществами SSD по сравнению с решением только для жесткого диска. Система, использующая HSP, может быть быстрее и дешевле, чем последняя. Смотрите эту ссылку для некоторых хороших примеров и более подробной информации.
Я думаю, что есть планы относительно иерархического управления хранилищем (HSM) для ZFS (см., Например, проект OpenSolaris с автоматической миграцией данных (ADM)), но я не знаю его текущего статуса.
Кажется, TIER отвечает вашим потребностям. Это модуль ядра Linux, который может создать многоуровневое хранилище. Кажется, он сам изучает шаблон и оптимизирует размещение в хранилище.
Посмотрите решение LVM на основе lvmts (многоуровневое хранилище LVM), которое готовит этот парень:
https://bbs.archlinux.org/viewtopic.php?pid=1140640
Довольно круто.
SAM-QFS - это существующий продукт Sun, который был открыт в прошлом году. Это CDDL, так что вы можете напрямую подключить его только к *BSD.
RAID-контроллеры предлагают некоторые из этих функций.
"Использование SSD перед томами HDD для создания высокопроизводительных и высокопроизводительных пулов кэш-памяти контроллеров"
http://www.lsi.com/channel/products/storagesw/Pages/MegaRAIDCacheCadeSoftware2-0.aspx
Некоторые актуальные ссылки. YMMV.
http://code.google.com/p/fscops/ - "Диспетчер онлайн-иерархического хранения (OHSM)" - это первая попытка создания диспетчера хранения данных с открытым исходным кодом уровня предприятия, который автоматически перемещает данные между дорогостоящим и недорогим хранилищем средства массовой информации.".
http://www.tack.ch/unix/dmapi/ - XFS + DMAPI под Linux
http://jfs.sourceforge.net/ - JFS + DMAPI под Linux
Отвечая на мой вопрос с чем-то, что я только что нашел:
Я просто обновлял ядро и смотрел на новый материал, который был добавлен, и теперь есть опция 'CACHEFILES', которая позволяет кэшировать (обычно удаленные) файловые системы в локальную файловую систему. Я думаю, я мог бы использовать это, чтобы кэшировать более медленный механизм хранения (HDD) в более быстрый (SSD), по крайней мере, для одного уровня иерархии.
Вспоминаются снимки LVM2... но вы не можете сделать больше, чем один снимок.