Конфигурация VMware Infiniband
У меня есть сервер, который предназначен для хоста VMware. Этот сервер имеет две двухпортовые карты Infiniband Mellanox ConnectX-2. Что я хочу сделать, это сделать следующую настройку:
Первая карта должна работать как сетевой адаптер Ethernet 10G, взаимодействуя с коммутатором Ethernet 10G на другом конце.
Вторая карта должна работать как встроенный адаптер Infiniband 40G с включенным IPoIB, взаимодействуя с коммутатором Infiniband на другом конце.
Сейчас я устанавливаю VMware ESXi 6 со встроенными драйверами IB, но они поддерживают только режим Ethernet, поэтому у меня есть четыре порта Ethernet. Я скачал и установил драйверы Mellanox 1.9.10.0 (удаление встроенных драйверов), но они также являются драйверами только для Ethernet.
Затем я скачал драйвер Mellanox OFED 1.8.2.4 и установил их, удалив 1.9.10.0. Эти драйверы предназначены только для Infiniband- так что теперь у меня есть четыре порта IB без возможности переключения их на Ethernet. Что действительно интересно в этом драйвере, так это то, что его модуль "mlx4_core" имеет параметр "port_type_array", который должен переключать типы портов между IB и Eth. Проблема в том, что в пакет не входит драйвер "mlx4_en", который отвечает за Ethernet, поэтому, когда я меняю его, порты, которые должны быть Ethernet, просто исчезают из системы.
Итак, у меня есть два вопроса:
1) Можно ли отдельно установить драйвер mlx4_en и связать его со старым mlx4_core из пакета OFED?
2) Можно ли как-то заставить VMware использовать разные драйверы для каждой из моих карт?
1 ответ
ESXi не имеет реальной прямой конструкции для работы с IB, кроме случаев, когда он эмулирует что-то еще, например, Ethernet или FC/SCSI, у него просто есть эти коммутаторы Ethernet/DCB. Что бы я сделал, это оставил бы драйверы Ethernet на месте, а затем пользователя прямого ввода-вывода, чтобы передать контроль над 3-м и 4-м контроллерами на ваши виртуальные машины, чтобы операционные системы внутри виртуальных машин могли делать то, что им нравится, хотя это скорее ограничивает количество виртуальных машин, которые их используют. Я счастлив, что ошибаюсь в этом, поэтому я бы посоветовал вам поговорить с Mellanox, я недавно имел дело с ними по физической реализации, и они были очень полезны.