Длинные времена ответа для чтения через FCoE

Мы получаем некоторую интригующую производительность в нашей новой среде FCoE, и я надеялся, что люди дадут мне знать, является ли то, что мы видим, ожидаемым поведением.

Наша коммутационная среда состоит из двух коммутаторов Cisco Nexus 5672, каждый из которых имеет свисающий с них Nexus 2348 UPQ FEX с одним корпусом. На FEX у нас есть наши хосты ESX (Dell R630) с Emulex CNA в них. Наш SAN - это EMC VNX 5300, в котором есть карта FCoE 10 г.

Независимо от того, подключена ли SAN к 2348 или 5672, производительность записи с виртуальных машин на хостах ESX остается постоянной. Однако производительность чтения резко меняется. Когда SAN подключен к 5672, наше среднее время отклика для чтения 4k составляет около 0,25 мс. Однако подключение SAN к 2348 вместо этого приводит к увеличению времени отклика чтения до ~2,5 мс. Глядя на статистику в ESXTOP, все дополнительное время отклика приходит от QAVG.

Я понимаю, что FEX не имеет локальной коммутации, поэтому требуется, чтобы все пакеты проходили через коммутаторы 5672, но эта дополнительная задержка в 2 мс кажется исключительно высокой (особенно учитывая, что я могу пропинговать между серверами в < 0,02 мс). Во всех эталонных архитектурах, которые я видел, коммутационная матрица SAN / SAN подключена напрямую к "основным" коммутаторам Nexus, но я не знаю, где я могу это понять. Я не против подключения SAN таким образом, я просто хочу понять, почему.

Короче говоря: нормальный ли разрыв в производительности?