Дополнительные параметры хранения для узлов Hadoop HDFS

У нас небольшой производственный кластер Cloudera Hadoop (14 узлов, но растущий). По мере того, как мы расширили использование этого кластера, мы обнаружили, что дисковое хранилище является нашим самым большим блокирующим устройством и требованием. Использование ОЗУ и ЦП минимально для наших рабочих нагрузок, и наши разработчики уже значительно сократили объем хранимых данных.

Используемое нами оборудование относительно низкое, и поэтому мы максимально увеличили количество дисков, которое можно установить в каждом узле. В настоящее время у нас нет свободного места, но у нас есть новый источник данных, который ускорит наш рост данных, и мы хотели бы просто добавить хранилище в систему.

Системы имеют только один слот для карт расширения, в котором в настоящее время наш SAS HBA работает с внутренними дисками. Я полагаю, что мы можем заменить это HBA, который имеет внутренние и внешние порты SAS, что позволяет нам поддерживать внутренние диски и подключаться к внешним. Я не могу найти оптимальную настройку для хранения внешних жестких дисков и предоставления каждому серверу прямого доступа к SAS 6 Гбит / с, поскольку я использую ограничения моего понимания и возможностей Google.

Hadoop HDFS предпочитает, чтобы между ним и жестким диском не было никакой другой технологии, и я бы хотел, чтобы это так и оставалось. Если бы я использовал SATA, я бы взял внешний корпус для монтажа в стойку, который напрямую соединяет внешние порты eSATA с внутренними дисками без расширителей дисков или контроллеров рейда. Я не могу найти эквивалент в оборудовании SAS.

Я пытаюсь найти предложения для DAS SAS, желательно с одним шасси, которое может обслуживать несколько серверов и не делает ничего более творческого. Если это не удастся, какие у меня будут варианты для предоставления эквивалентных хранилищ и скоростей для дисков SAS, которые мы используем сейчас?

Джаред