Не удается настроить Mellanox connectx-2 на скорости 40 г
У меня установлена сетевая карта Mellanox connectX-2 (MT26428), и я установил MLNX_OFED_LINUX-3.4-1.0.0.0-ubuntu16.04-x86_64
Драйвер из репозитория Mellanox, но мне интересно, чтобы это оборудование было максимально 20G, хотя я ожидал, что вместо него будет установлено 40G.
вот результат ibstatus
:
Infiniband device 'mlx4_0' port 1 status:
default gid: 0000:0000:0000:0000:0000:0000:0000:0000
base lid: 0x6
sm lid: 0x2f
state: 4: ACTIVE
phys state: 5: LinkUp
rate: 20 Gb/sec (4X DDR)
link_layer: InfiniBand
Infiniband device 'mlx4_0' port 2 status:
default gid: 0000:0000:0000:0000:0000:0000:0000:0000
base lid: 0x0
sm lid: 0x0
state: 4: ACTIVE
phys state: 5: LinkUp
rate: 10 Gb/sec (1X QDR)
link_layer: Ethernet
Infiniband device 'mlx4_1' port 1 status:
default gid: 0000:0000:0000:0000:0000:0000:0000:0000
base lid: 0x0
sm lid: 0x0
state: 1: DOWN
phys state: 2: Polling
rate: 10 Gb/sec (4X)
link_layer: InfiniBand
Infiniband device 'mlx4_1' port 2 status:
default gid: 0000:0000:0000:0000:0000:0000:0000:0000
base lid: 0x0
sm lid: 0x0
state: 4: ACTIVE
phys state: 5: LinkUp
rate: 10 Gb/sec (1X QDR)
link_layer: Ethernet
обратите внимание, что значение gid по умолчанию является разумным, и я изменяю его из соображений безопасности.
обратите внимание, что эти карты connectX-2 соединены коммутатором (модель) с 12-метровым медным кабелем QSFP. Я также проверил это с медным кабелем QSFP 10 м и 1 м в обратном направлении без включающего переключателя и, к сожалению, получил тот же результат.
1 ответ
Вероятно, это проблема несовместимости кабелей. Без публикации модели кабелей невозможно узнать, поддерживают ли используемые вами кабели QDR. Обратите внимание, что кабели DDR, QDR и FDR легко перепутать, поскольку все они могут выглядеть одинаково. Проверка модели - единственный способ узнать о возможностях кабеля.
Вы можете найти подробную информацию о кабеле, запустив ibdiagnet из Mellanox OFED. Обратите внимание, что плагин для идентификации кабеля недоступен в утилитах, предоставляемых дистрибутивом.
ibdiagnet --get_cable_info
Будет вывод файла, ibdiagnet2.cables. Посмотрите на вывод программы для точного пути. Для каждой системы / порта /LID вы найдете подробную информацию о подключенных кабелях.