Какова правильная конфигурация Hyper-V R2 с сетевыми платами Teamed Broadcom BCM5709C (VMQ, TOE, LSO, CSO и т. Д.)?
У меня есть пара серверов Dell PowerEdge R710 (2x Xeon X5690s, 64 ГБ, 8x BCM5709C NIC) под управлением Windows Server 2008 R2 Datacenter. Они поддерживаются Dell PowerVault MD3200 с 3,6 ТБ в RAID 10 (эффективнее 1,8 ТБ) через HBA (не iSCSI!). Они были настроены в отказоустойчивом кластере Hyper-V.
Я перестраиваю свой кластер из-за некоторых проблем, которые произошли. В рамках перестройки я также обновил все микропрограммы на серверах (не то, чтобы это имело значение, но я их выкладываю).
Поскольку я настраиваю "свежий" кластер, на этот раз я бы хотел немного лучше настроить сетевые подключения. Я потратил бесчисленное количество дней на изучение передовых методов и подобного для своего оборудования, но у меня все еще остаются вопросы.
Прежде чем перейти к вопросу (ам), все сетевые адаптеры работают под управлением прошивки 7.4.8 и драйвера 7.4.14.0. Они разделены на три группы: публичные, частные и виртуальные машины. Команды относятся к типу Smart Load Balancing и Failover.
- Public Team (2x NIC - используются для доступа к сети хоста)
- Частная команда (2x NIcs - используется для отказоустойчивого кластера, динамической миграции и т. Д.)
- Команда виртуальных машин (3 сетевых интерфейса - используются для доступа к сети виртуальных машин)
Существует также один физический сетевой адаптер, который связан как отдельный vSwitch в Hyper-V, и он выделен нашему веб-серверу только потому, что он несет для него выделенное соединение.
Все порты распределены между двумя коммутаторами Dell PowerConnect 6224 для обеспечения избыточности. Во всяком случае, на вопрос (ы):
Во-первых, какие настройки мне нужно настроить в команде виртуальных машин для лучшей производительности сети виртуальных машин? Из того, что я прочитал, я должен отключить TOE (разгрузка TCP-соединения для Broadcom?), Wake-on-LAN, Jumbo Frames, управление потоком, RSS и QoS на всех сетевых картах, которые будут частью команды виртуальных машин. Единственное, что я должен был включить - это LSO и CSO. Это верно?
РЕДАКТИРОВАТЬ: Я также читал, что я должен предварительно установить скорость соединения, а не оставить его на автоматическом, если я знаю возможности моего оборудования, это тоже хорошая вещь?
Благодаря новой прошивке и драйверам у меня есть возможность включить VMQ, что после прочтения на них технического описания Dell, я думаю, что это хорошая вещь. Однако я также читаю кое-что о настройках реестра, и я в замешательстве. Я следовал руководству по публикации на форуме на сайте Broadcom, но я не уверен, что это хорошая идея, так как это для другой модели NIC. Как правильно настроить VMQ для работы на моем оборудовании?
Возвращаясь к отключению Jumbo Frames сверху, я включил их прямо сейчас для всех команд. Должен ли я просто отключить их полностью? Я прочитал (после того, как я их включил), что он используется только в настройках iSCSI, что я не так, поэтому я не уверен...
Нужно ли включать VMQ на выделенном соединении для веб-сервера, если он доступен только одному серверу?
Наконец, любые другие рекомендации для любого из соединений будут оценены. Спасибо за чтение и заранее спасибо за любую помощь!
1 ответ
В настоящее время мой магазин использует объединенные сетевые платы Broadcom в PE710 для кластера Hyper-V. Многие параметры зависят от того, что вы делаете с конкретной ссылкой. Во многих случаях включение или отключение определенной функции не влияет на производительность сетевого адаптера. Таким образом, большинство из них можно оставить в состоянии по умолчанию без каких-либо побочных эффектов. Поскольку вы используете хранилище с прямым подключением, я бы порекомендовал и почему (исходя из моего собственного опыта):
TOE (разгрузка TCP-соединения для Broadcom) - эта функция используется для разгрузки управления сеансом iSCSI в HBA. Поскольку не похоже, что вы используете iSCSI SAN, это можно отключить. Если оставить его включенным, ничего не произойдет, так как эта функция также должна быть настроена для ее работы.
Wake-on-LAN - может быть безопасно отключен. На самом деле не имеет никакого эффекта, если предположить, что ваши серверы всегда включены (лично я не вижу большого смысла переводить сервер в спящий режим). Существуют определенные последствия для безопасности, связанные с включением этой функции (например, мошеннические магические пакеты), но, опять же, если сервер всегда включен, это на самом деле не проблема.
Jumbo Frames - зависит от конфигурации вашей сети и предполагаемого использования. Jumbo Frames улучшают производительность, если большие пакеты данных отправляются по сети за счет уменьшения количества кадров (и связанных заголовков). ВСЕ сетевое оборудование вдоль маршрута передачи данных, в дополнение к вашим сетевым адаптерам, должно быть способно поддерживать Jumbo-кадры и иметь включенную функцию перед использованием. У нас это включено для наших сетей iSCSI и отключено для всего остального трафика, так как мы не контролируем инфраструктуру основного маршрутизатора. Если есть сомнения, оставьте это. Это может дать вам кошмары по поиску и устранению неисправностей сети, если она включена на сетевой карте, но не где-либо еще.
Управление потоком - опять же зависит от конфигурации сети. Установка этого в авто обычно в порядке. HBA автоматически обнаружит, поддерживается ли он. Мы отключаем эту функцию только в том случае, если поставщик специально рекомендует не использовать ее со своим оборудованием.
RSS - или масштабирование на стороне приема позволяет распределять нагрузку на сеть с сетевого адаптера между несколькими процессорами. RSS позволяет масштабировать обработку приема в соответствии с количеством доступных процессоров. Это позволяет подсистеме Windows Networking использовать преимущества многоядерных и многих процессорных архитектур. Я бы оставил это включенным, если только вы не уверены, что это ухудшает производительность. Дополнительная информация здесь.
QoS - или качество обслуживания. Эта функция помечает данные в зависимости от их типа и обеспечивает приоритетную обработку трафика. Полезно, только если ваша сеть это поддерживает. Если вы не знакомы с конфигурацией QoS, либо выключите ее, либо включите ее, прежде чем включать. Это гораздо больше, чем просто включить его в NIC.
LSO / CSO - большая разгрузка отправки и разгрузка контрольной суммы; оставьте их включенными, если у вас нет веских причин, чтобы отключить их. Принято считать, что лучше, чтобы HBA делал все возможное, чтобы использование ресурсов ЦП было минимальным.
Задавайте скорость соединения, а не оставляйте ее в автоматическом режиме - это было обычной практикой, но при использовании Ethernet-соединений 1 ГБ и 10 ГБ теперь рекомендуется оставить этот параметр автоматическим. Существуют случаи, когда установка скорости ссылки фактически приводит к тому, что ссылка отключается.
VMQ - у Microsoft есть руководство по включению VMQ здесь. Не все сетевые адаптеры Broadcom поддерживают VMQ, поэтому, если этот параметр недоступен в BACS, скорее всего, ваша модель его не поддерживает. Не нужно настраивать параметры реестра, чтобы включить эту функцию.
Ох, как последнее замечание. ОЧЕНЬ, ОЧЕНЬ важно, чтобы ваши объединенные сетевые карты были настроены одинаково. Не только между сетевыми картами на одном сервере, но и теми, которые будут использоваться вместе в кластере. В идеале аппаратное обеспечение должно быть идентичным, но если нет, то по крайней мере убедитесь, что включены только идентичные возможности.