Не удается настроить Mellanox connectx-2 на скорости 40 г

У меня установлена ​​сетевая карта Mellanox connectX-2 (MT26428), и я установил MLNX_OFED_LINUX-3.4-1.0.0.0-ubuntu16.04-x86_64 Драйвер из репозитория Mellanox, но мне интересно, чтобы это оборудование было максимально 20G, хотя я ожидал, что вместо него будет установлено 40G.

вот результат ibstatus:

Infiniband device 'mlx4_0' port 1 status:
  default gid:   0000:0000:0000:0000:0000:0000:0000:0000
  base lid:  0x6
  sm lid:        0x2f
  state:         4: ACTIVE
  phys state:    5: LinkUp
  rate:      20 Gb/sec (4X DDR)
  link_layer:    InfiniBand

Infiniband device 'mlx4_0' port 2 status:
  default gid:   0000:0000:0000:0000:0000:0000:0000:0000
  base lid:  0x0
  sm lid:        0x0
  state:         4: ACTIVE
  phys state:    5: LinkUp
  rate:      10 Gb/sec (1X QDR)
  link_layer:    Ethernet

Infiniband device 'mlx4_1' port 1 status:
  default gid:   0000:0000:0000:0000:0000:0000:0000:0000
  base lid:  0x0
  sm lid:        0x0
  state:         1: DOWN
  phys state:    2: Polling
  rate:      10 Gb/sec (4X)
  link_layer:    InfiniBand

Infiniband device 'mlx4_1' port 2 status:
  default gid:   0000:0000:0000:0000:0000:0000:0000:0000
  base lid:  0x0
  sm lid:        0x0
  state:         4: ACTIVE
  phys state:    5: LinkUp
  rate:      10 Gb/sec (1X QDR)
  link_layer:    Ethernet

обратите внимание, что значение gid по умолчанию является разумным, и я изменяю его из соображений безопасности.

обратите внимание, что эти карты connectX-2 соединены коммутатором (модель) с 12-метровым медным кабелем QSFP. Я также проверил это с медным кабелем QSFP 10 м и 1 м в обратном направлении без включающего переключателя и, к сожалению, получил тот же результат.

1 ответ

Вероятно, это проблема несовместимости кабелей. Без публикации модели кабелей невозможно узнать, поддерживают ли используемые вами кабели QDR. Обратите внимание, что кабели DDR, QDR и FDR легко перепутать, поскольку все они могут выглядеть одинаково. Проверка модели - единственный способ узнать о возможностях кабеля.

Вы можете найти подробную информацию о кабеле, запустив ibdiagnet из Mellanox OFED. Обратите внимание, что плагин для идентификации кабеля недоступен в утилитах, предоставляемых дистрибутивом.

ibdiagnet --get_cable_info

Будет вывод файла, ibdiagnet2.cables. Посмотрите на вывод программы для точного пути. Для каждой системы / порта /LID вы найдете подробную информацию о подключенных кабелях.

Другие вопросы по тегам