Infiniband для Oracle 11g RAC частного межсоединения?
В настоящее время у нас есть двухузловый Oracle 11g RAC, использующий 1GigE в качестве частного межсоединения. В пиковое время обновления трафик между узлами достигает 35 МБ / с, поэтому мы все еще преуспеваем в плане пропускной способности. Мы рассматриваем возможность добавления третьего узла в кластер, чтобы поддержать наш рост объема транзакций. Мне интересно, видел ли кто-нибудь там, как добавление узлов в кластер повлияет на частный трафик межсоединений и что вызовет использование Infiniband. Из того, что я прочитал, Infiniband не только может увеличить пропускную способность, но также имеет гораздо меньшую задержку в сети. Кто-нибудь, кто использует Infiniband для частного межсетевого соединения RAC, может поделиться с нами вашим опытом? Заранее спасибо.
4 ответа
У меня есть 4-х узловая база данных oltp rac и 3-х узловая база данных dw rac, использующая IB в качестве межсоединений.
Мы используем коммутаторы cisco IB и карты cisco IB. Мы используем IP over IB в качестве протокола межсоединения. Пока что мы вполне довольны результатами. Никогда не было проблемы с трафиком соединения. Мы приблизились к насыщению нашего публичного интерфейса gigE, но не близко к пропускной способности IB. Все 7 узлов подключены к настройке двух бесконечных коммутаторов в конфигурации активного / пассивного переключения при отказе.
Я никогда не использовал Infiniband в производстве, но, насколько я могу судить, единственное время, когда имеет смысл перейти на Infiniband, - это если вы ошибаетесь в направлении 10GigE (если я помню, как ценовые точки достигают равновесия около 10GbE), Задержка, измеряемая в наносекундах, довольно крутая, но важна ли она для БД? На самом деле, нет.
Вероятно, вы можете объединить два соединения по 1 Гбит / с (конечно же, с соответствующим оборудованием) или выполнить любое количество других настроек (например, Jumbo Packets или настроить MTU), прежде чем понадобится что-то вроде Infiniband.
Тем не менее, Infiniband очень круто, если вы просто хотите похвастаться своим друзьям...
Если вас больше беспокоит стоимость (для вашего приложения) массовых передач данных для синхронизации между экземплярами, то ваша текущая скорость 35 Мбит / с в настоящее время достаточно низка, и вряд ли она окажет положительное влияние при переходе на другой кластер межсоединений.
Не забывайте, что вы можете очень легко соединить Ethernet-соединения 1 Гбит / с с 4 Гбит / с или 8 Гбит / с (в зависимости от количества физических портов, которые вы можете подключить к отдельным узлам кластера), не увеличивая задержку в сетевом стеке.
Как говорит Farseeker, IB (в коммерческой среде) здорово похвастаться перед друзьями. В научно-исследовательском сообществе IB почти стал товаром для кластерного взаимодействия.
Большая разница между IB и 10GbE должна быть латентной. IB использует модель типа DMA с задержкой в микросекундном диапазоне, в то время как 10GbE требует, чтобы ваше сообщение перемещалось вверх и вниз по стеку с обеих сторон. Предполагается, что IB также имеет более высокую необработанную пропускную способность, чем 10GbE, но 10GbE, вероятно, будет обратно совместимым, когда выйдет 40 и 100GbE.
На самом деле перед нами стояла задача построить 5-ти узловый кластер Oracle с межсоединениями IB и проверкой концепции коммутатора IB -> 10GbE, над которой мы работаем с Dell. Итак, моя информация в основном является исследованием, которое я проводил при подготовке к POC.