Вы пропускаете блок стойки между серверами?

Кажется, что существует множество разногласий по поводу установки стоечных серверов. Были темы, обсуждающие кабельные кронштейны и другие аксессуары для монтажа в стойку, но мне любопытно:

Оставляете ли вы пустой блок стойки между серверами при их установке? Почему или почему нет? Есть ли у вас эмпирические доказательства в поддержку ваших идей? Кто-нибудь знает об исследовании, которое убедительно доказывает, лучше или нет?

18 ответов

Решение

Если на ваших серверах используется сквозное охлаждение от передней к задней части, как это делают большинство серверов, монтируемых в стойку, оставленные промежутки могут повредить охлаждению. Вы не хотите, чтобы холодный воздух мог попасть в горячий проход, кроме как через сам сервер. Если вам необходимо оставить зазоры (из-за проблем с питанием, веса пола и т. Д.), Вы должны использовать заглушки, чтобы воздух не проходил между серверами.

Я никогда не пропускал стойки между стоечными устройствами в шкафу. Если бы производитель дал указание пропустить U между устройствами, я бы это сделал, но я никогда не видел такой рекомендации.

Я ожидаю, что любое устройство, предназначенное для монтажа в стойку, будет отводить тепло через переднюю или заднюю панель. Некоторое тепло будет проходить через рельсы, верх и низ шасси, но я ожидаю, что оно будет очень небольшим по сравнению с излучением спереди и сзади.

В нашем дата-центре мы не оставляем пробелов. У нас холодный воздух поднимается с пола, и из-за зазоров возникают проблемы с воздухом Если по какой-то причине у нас есть зазор, мы закрываем его пустой тарелкой. Добавление пустых тарелок немедленно сделало верхушки наших холодных проходов более холодными, а наши горячие проходы - более горячими.

Я не думаю, что у меня больше есть данные или графики, но разница стала очевидной, как только мы начали вносить изменения. Серверы на вершинах стоек перестали перегреваться. Мы перестали готовить источники питания (что мы делали со скоростью около 1/ неделю). Я знаю, что изменения начались после того, как наш менеджер центра обработки данных вернулся с выставки Sun Green Data Center, где он участвовал в нескольких семинарах по охлаждению и тому подобному. До этого мы использовали зазоры и частично заполненные стойки и перфорированные плитки в полу спереди и сзади стоек.

Даже при наличии управленческого оружия устранение пробелов сработало лучше. Все внутренние температуры нашего сервера повсюду в комнате находятся в пределах спецификации. Этого не было до того, как мы стандартизировали наше кабельное управление, устранили пробелы и исправили размещение плитки для пола. Мы хотели бы сделать больше, чтобы направить горячий воздух обратно в подразделения CRAC, но мы пока не можем получить финансирование.

Я не пропускаю Нас. Мы сдаем в аренду и нам стоим денег.

Нет причин для тепла в эти дни. Весь холодный воздух поступает впереди и сзади. Больше нет вентиляционных отверстий на верхушках.

Google не оставляет U между серверами, и я думаю, что они обеспокоены управлением теплом. Всегда интересно наблюдать, как крупные игроки выполняют свою работу. Вот видео одного из их центров обработки данных: http://www.youtube.com/watch?v=zRwPSFpLX8I&feature=player_embedded

Перейдите непосредственно к 4:21, чтобы увидеть их серверы.

У меня большие зазоры над моим ИБП (для установки второй батареи в будущем) и над моей ленточной библиотекой (если мне нужен еще один). Кроме этого у меня нет пробелов, и я использую панели, чтобы заполнить пустые места, чтобы сохранить поток воздуха.

У нас есть 3 1/2 стойки стоек узлов кластера и их хранилище в колокейшн-центре. Единственные места, где мы пропустили U, - это то место, где нам нужно проложить сетевые кабели к центральной стойке, где расположен коммутатор кластера ядра. Мы можем позволить себе делать это в пространстве, так как стойки уже перегружены в плане мощности, поэтому было бы невозможно втиснуть в них больше узлов:)

Эти машины работают 24/7 на 100% ЦП, и некоторые из них имеют до 16 ядер в корпусе 1U (4x четырехъядерных Xeon), и я пока не видел каких-либо негативных последствий не оставляя пробелов между большинством из них.

Пока ваше оборудование имеет хорошо спроектированный воздушный путь, я не понимаю, почему это будет иметь значение.

Не покидайте пространство, если у вас прохладный воздух, выходящий с пола, а также используйте заготовки в неиспользуемом помещении. Если у вас просто нетехнологичная система охлаждения с использованием стандартного кондиционера, лучше всего оставить зазоры, чтобы минимизировать горячие точки, когда у вас есть горячие серверы, сгруппированные вместе.

Я бы не оставлял промежутки между серверами, но я бы остановился на таких вещах, как сетевые коммутаторы - это позволяет мне размещать несколько полос управления кабелем 1U выше и ниже... но это определенно не сделано для охлаждения.

Каждый третий, но это связано с управлением руками и необходимостью обходить их, а не нагревать. Тот факт, что к каждому серверу подключено 6 кабелей Cat5, не помогает. Мы интенсивно используем панели-заглушки и воздушные перегородки на верхней части стоек, чтобы предотвратить рециркуляцию из прохода.

Кроме того, в нашем дата-центре есть недостаток - это пространство. Он был разработан для расширения, когда серверы 7-10U были стандартными. Теперь, когда мы перешли на кластеры ESX с плотной стойкой, это город-призрак.

Никаких пробелов, кроме случаев, когда мы взяли сервер или что-то еще и не удосужились переставить. Я думаю, что мы немного меньше, чем многие люди здесь, с 2 стойками, которые имеют всего около 15 серверов, плюс несколько стримеров, коммутаторов и ИБП.

У меня складывается впечатление (возможно, ошибочно), что это более популярная практика в некоторых телекоммуникационных средах, где горячие / холодные проходы не так широко используются.

Это не подходит для высокой плотности и хорошо управляемых центров обработки данных.

Никаких пробелов, кроме как при планировании расширения систем san или подобных вещей. Мы предпочитаем ставить новые шкафы рядом с реальными контроллерами.

Если у вас есть надлежащее охлаждение, оставлять пробелы не будет полезно, если сервер плохо построен.

В ситуации, когда у нас был наш собственный центр обработки данных, и пространство не было проблемой, я обычно пропускал U (с разделителем для блокировки воздушного потока) между логическими областями: у веб-серверов есть один раздел, база данных, контроллер домена, электронная почта, и у файлового сервера был другой, и у межсетевых экранов и маршрутизаторов был другой. Коммутаторы и коммутационные панели для удаленных рабочих столов находились в собственной стойке.

Я точно помню один случай, когда я пропустил U по причинам охлаждения. Это было решение A/V для кабельного телевидения в средней школе, где было три подразделения, каждое из которых отвечало за обслуживание системы кабельного телевидения в одной части здания. После того, как верхний блок был заменен в третий раз за два года из-за перегрева, я выполнил некоторую "операцию" на стойке, чтобы сделать монтажные отверстия, чтобы оставить 1/2U пространства между каждым из трех блоков (для всего 1 U общей площади).

Это действительно решило проблему. Излишне говорить, что это было тщательно задокументировано, и для очень хорошей меры я приклеил лист к верху одного из них в пробелах, объясняя, почему все было так, как они были.

Здесь есть два урока:

  1. Оставить зазор для охлаждения можно только в исключительных случаях.
  2. Используйте уважаемый случай или поставщика сервера. Будьте осторожны при покупке оборудования, которое пытается собрать 2U тепла в 1U пространства. Это будет заманчиво, потому что система 1U может показаться намного дешевле. И будьте осторожны при покупке чехла, который не учитывает расход воздуха.

Я обычно оставляю пустой RU после примерно 5RU серверов (то есть 5x1ru или 1x2ru + 1x3ru), и это будет зависеть от настройки охлаждения в центре обработки данных, в котором вы находитесь. Если у вас есть охлаждение перед стойкой (то есть решетка в передняя часть стойки) идея в том, что холодный воздух поднимается с пола, а ваши серверы всасывают прохладный воздух через них. в этом случае вы, как правило, получаете лучшее охлаждение, не оставляя пустых слотов (т. е. используйте пустую крышку RU. Но если вы, по моему опыту, выполняете охлаждение через панель пола в вашей стойке, вы получаете более эффективное охлаждение, разбивая серверы на кучу друг на друга для всей стойки

Они у меня в одной стойке. У меня никогда не было проблем с этим, поэтому у меня никогда не было причин их разносить. Я мог бы представить, что самая большая причина, по которой люди размещают их, это тепло.

Я оставил 1/3 RU между двумя коммутаторами раньше, в основном потому, что они были 1 1/3 RU каждый.

Если бы я сложил их вместе, то верхняя шестерня была бы не на своем месте на 1/3 от U.

Кроме того, я никогда не оставлял места исключительно для охлаждения, только для будущего роста.

Оставление промежутков между серверами может повлиять на охлаждение. Многие центры обработки данных работают в "горячих" и "холодных" коридорах.

Если вы оставите промежутки между серверами, вы можете повлиять на эффективный поток воздуха и охлаждение.

Эта статья может представлять интерес:

Чередование холодных и горячих проходов обеспечивает более надежное охлаждение для ферм серверов

Другие вопросы по тегам