Потребительская плата для товарного кластера 4* в тетраэдрической топологии GB-lan

Я не очень уверен, какую потребительскую плату выбрать для такой конфигурации.

Я планирую построить один или несколько "Beowulf-like кластеров" (начиная с одного для тестирования), один такой кластер состоит из четырех блоков (товарный Socket-1156 + i7/875K + 2x2GB 1333) в тетраэдрической топологии Gbit-Lan (прямая обратная связь) -поддержка X-link соединений).

На изображении ниже каждый блок с именем A, B, C или D имеет четыре Gbit-NIC, один указывает на восходящий Gbit-коммутатор (тонкая линия), три для соединений с оставшимися блоками (каждый цвет обозначает одну подсеть между двумя NIC):


тетраэдрическая настройка Gbit

Это должен быть надежный 32-узловой вычислительный сервер стоимостью 2,5 тыс. Евро (возможно, дешевле), работающий под управлением 64-разрядной ОС Linux и OpenMPI. Сервер запускает числовое моделирование на узлах через OpenMPI, узлы будут связываться через их параллельные соединения.

Проблема: я протестировал подобную настройку уже на "тригональном" кластере (три узла, каждый из которых имеет два дополнительных PCIe-NIC и встроенный Gbit-NIC), успешно один один тип платы ( Gigabyte P55A-UD3R).

Другая протестированная мной плата ( Gigabyte P55A-UD4) не воспроизводилась через несколько минут при полной загрузке сети (но не в режиме одного узла).

Для описанной выше настройки я хотел бы использовать плату, способную нести основную нагрузку на четыре одновременных соединения Gbit. Из моей тригональной настройки я знаю, что каждый сетевой адаптер в любое время передает около 50-80 МБ / с (iftop).

  • Будет ли вообще возможна тетраэдрическая топология (как показано выше)?
  • Стоит ли выбирать платы сдвумя встроенными Gbit-NICS (дорого)?
  • Может ли PCIe на платах потребителя поддерживать 4 линии Gbit одновременно?
  • Можно ли использовать несколько дешевых (пассивных) PCIe-NIC?
  • Кто-нибудь делал что-то подобное и есть рекомендации?

С уважением

БВ

Источник

1 ответ

Решение

Качество ваших сетевых карт, вероятно, будет проблемой. Бортовая сеть для потребительских плат обычно представляет собой недорогие чипсеты Broadcom или Realtek, которые при реальных нагрузках довольно ужасны. У дешевых сетевых адаптеров потребительского уровня будут аналогичные проблемы.

Автономные сетевые адаптеры с лучшими чипсетами Intel довольно уважаемы.

PCIe на потребительских платах должен быть в состоянии справиться с такой пропускной способностью без проблем.

Для этого купите сетевые адаптеры корпоративного уровня - все, что вас беспокоит, будет связано как с быстродействием, так и с нагрузкой на процессор (более дешевая обработка сетевых карт для вашего процессора). Я хотел бы рассмотреть что-то вроде четырехъядерного адаптера Intel Gigabit ET2.

http://www.intel.com/Products/Server/Adapters/Gb-EF-Dual-Port/Gb-EF-Dual-Port-overview.htm

Это обойдется вам примерно в 400 долларов, что не дешево, но даст вам необходимую производительность.

Кроме того, будьте уверены, что вы случайно не пропускаете трафик через коммутатор. Это может вызвать проблемы при полной загрузке, если у вас нет дорогого коммутатора корпоративного уровня. Включите Jumbo Frames, если ваше оборудование поддерживает это.

Источник
Другие вопросы по тегам