高密度機房降溫技術解決方案

    高密度數(shù)據(jù)中心機房如何降溫？機房整體溫度不均甚至造成機房過度制冷，不僅浪費了電力資源還增加了額外的支出。所以說機房降溫固然重要，但是解決高密度問題也是一大重點。今天我們就從解決數(shù)據(jù)中心高密度的幾個關鍵技術入手選擇適合精密空調(diào)與制冷解決方案。

    解決數(shù)據(jù)中心高密度設計問題

    當前不計成本的高性能計算時代已經(jīng)一去不復返了，解決尖端問題的高端系統(tǒng)同樣也必須降低成本。為了避免由于服務器爆炸性增加而造成機房面積過快擴大以及隨之而劇增的各種運行維護費用，機構數(shù)據(jù)中心要求大幅度縮小服務器（以及存儲設備和網(wǎng)絡通信設備）的占地面積、提高計算密度、發(fā)展高密度計算。

    這一方面要求采用新的服務器設計和器件實現(xiàn)更高的計算密度，另一方面要求建設能夠支持高密度計算機系統(tǒng)安全穩(wěn)定運行的數(shù)據(jù)中心，即高密度計算數(shù)據(jù)中心。

    建設高密度數(shù)據(jù)中心注意點

    高密度數(shù)據(jù)中心雖然與大多數(shù)數(shù)據(jù)中心一樣也必須致力于提高能效，但它們在供電和散熱兩方面都對機房基礎設施的容量規(guī)劃和電源和制冷設施建設提出了更高的要求。從設計角度來分析，建設高密度數(shù)據(jù)中心必須從如下三方面著手：

    1.合理配置機架和空調(diào)設備，通過定量計算每個機架的功率密度和熱負荷，優(yōu)化服務器設備在機架中的布局以及機房內(nèi)機架和空調(diào)的布局，為高效供電和散熱創(chuàng)造條件；

    2.優(yōu)化供電設施，給每個機架供給足夠和適度的電力，滿足高密度計算的需要；

    3.優(yōu)化散熱制冷系統(tǒng)：把高密度計算元器件在每個機架內(nèi)部產(chǎn)生的高熱量帶出機架，避免由于局部高熱點而影響設備的穩(wěn)定運行，甚至損毀部件、造成災難性的后果；>>

    數(shù)據(jù)中心制度保障是關鍵

    合理規(guī)劃機房布局，機柜采用冷熱通道分離，冷通道完全封閉等措施，優(yōu)化氣流組織，從而大幅提高空調(diào)制冷效率；提高設備運行率：配電、制冷系統(tǒng)均有最大效率運行點，提高設備運行率發(fā)揮設備最大效率，有效減少能源的損耗；創(chuàng)新節(jié)能思路：合理采用新技術、新方案。妥善密封數(shù)據(jù)中心環(huán)境、優(yōu)化氣流組織、適當使用節(jié)能裝置、提高制冷系統(tǒng)效率、靠近散熱源制冷五點，這樣能將低30%至45%的制冷系統(tǒng)能源成本，節(jié)省大量經(jīng)常性開支。結合諸多新興技術，如高效處理器和基于芯片的新制冷技術，即使服務器密度和能源價格持續(xù)上升，上述措施依然能夠將能源成本保持在較低水平。

    如何更好有效措施保證機房安全，應對極端高溫、高濕、雷暴等天氣給機房帶來的不良影響呢？

    建立機房應急機制

    首先是建立監(jiān)控預警機制技術部門分析歷年氣象數(shù)據(jù)并結合氣象部門發(fā)布的近期天氣預報信息，及時發(fā)出預防性調(diào)整通報；例如：在極端天氣出現(xiàn)時如何調(diào)整設備設定狀態(tài)、備用發(fā)電系統(tǒng)測試檢查、后備燃料調(diào)配、防雷設施及接地系統(tǒng)檢查等。l設施監(jiān)控人員密切關注環(huán)境監(jiān)控數(shù)據(jù)（機房內(nèi)外溫濕度、空調(diào)系統(tǒng)、配電系統(tǒng)、消防系統(tǒng)運行狀態(tài)），如發(fā)現(xiàn)監(jiān)控數(shù)據(jù)有異常，監(jiān)控人員將按照相應程序進行匯報、提取數(shù)據(jù)、分析原因等，將可能發(fā)生的問題消滅在萌芽階段。

    其次是人員應急調(diào)度機制建立應急事件領導小組，在極端天氣發(fā)生時，做到“預警”、“分析”、“處理”三步，領導小組分析天氣狀況可能會對機房運行造成風險，對相關運行部門提出運行建議；極端天氣狀況發(fā)生后，分析監(jiān)控數(shù)據(jù)、借助人員巡檢信息，及時調(diào)整或變更運行方案；相關專業(yè)技術人員隨時待命，留守設備現(xiàn)場，以備設備故障后的排險、修善工作。

    最后是建立應急機制制定IDC安全運行應急機制，例如《火災應預案》、《電力系統(tǒng)故障應急預案》、《制冷系統(tǒng)故障應急預案》等；以電力故障-市電中斷為例：預案中制定了詳細的發(fā)電機啟動切換流程、后備燃料供給措施、人員調(diào)配措施、故障通報流程等。

    高密度機房供電系統(tǒng)

    高密度計算數(shù)據(jù)中心中的機架經(jīng)常是滿載的、功率很大，過去一個機架功耗為2-3kW，現(xiàn)在卻往往高達20-40kW.早期的機架配電方式已經(jīng)無法滿足高密度設備機架不斷增長的電力需求。因此，必須采用創(chuàng)新的機架配電技術來滿足為高密度機架供應充足的電力并確保持續(xù)穩(wěn)定運行的要求，包括：

    1.支持通過冗余電源實現(xiàn)設備的冗余操作：冗余電源系統(tǒng)需要兩個配電電路，分別用于兩個電源總線。如果一個總線出現(xiàn)故障，另一路總線仍可處理整個系統(tǒng)的負載。

    2.支持高電壓和三相電源：傳統(tǒng)數(shù)據(jù)中心利用單相電流工作，其功耗已經(jīng)不能滿足現(xiàn)代高密度計算的需要。因此要求改用三相電源，使用稱為高電壓交流電源的208伏、三相系統(tǒng)。三相電源通常比單相電源更加高效。此外，與單相電源相比，三相電源更為穩(wěn)定，更多時間都可處于峰值電壓，降低供電損失和發(fā)熱，不僅能夠為滿載刀片服務器的機架提供足夠功率，而且能夠更加穩(wěn)定持續(xù)供電，確保系統(tǒng)的安全穩(wěn)定運行，從而為支持高密度數(shù)據(jù)中心供電提供一種通用且經(jīng)濟的電源。

    3.使用分段配電技術，能夠降低由于過載或維護所引發(fā)的意外宕機機率，并減小管理員連續(xù)打開多個服務器組而產(chǎn)生的浪涌電流，提高供電的安全性。

    4.采用節(jié)電配電機柜：通過將數(shù)據(jù)中心的集中配電改為區(qū)域配電方式，將配電管理移到“區(qū)域”級，解決了從機箱到機架的集成電源管理問題，并提高供電效率。

    5.提供電路監(jiān)控功能：通過部署可持續(xù)監(jiān)控電流負載的組件，數(shù)據(jù)中心可以使用少量人力實現(xiàn)高效運行管理。各系統(tǒng)可輕松實現(xiàn)配電電路負載均衡，防止因過載或設備損壞而引發(fā)的意外宕機。為了簡化管理，用戶可以選用模塊化PDU管理模塊，利用它們來監(jiān)控數(shù)據(jù)中心的電源環(huán)境。當前市場上已有很多新型配電裝置（PDU）可供選擇，其中惠普公司新型的模塊化PDU在每個機架上集成了插座、電纜與斷路器，提供一系列領先的特性支持高密度機架穩(wěn)定安全穩(wěn)定運行和節(jié)電。>>

    高密度機房制冷轉變

    優(yōu)秀的數(shù)據(jù)中心制冷方案具有4個基本原則，特別是高密度負載數(shù)據(jù)中心：向設備通風口送入溫度適宜的足量空氣；最小化冷/熱空氣混合；控制到空調(diào)的回流氣體路徑；最大化到空調(diào)的回流氣體溫度。如果正確實施，遏制可以幫助實現(xiàn)這4個原則。

    究竟什么是遏制呢？

    冷/熱通道設計旨在減少冷/熱空氣混合的發(fā)生，遏制將這個目標提高到了一個新的水平，冷/熱通道朝前邁出了一大步，使得給高密度負載降溫成為可能，但隨著熱輸出量的增加，一些之前頻現(xiàn)的空氣混合問題又開始慢慢出現(xiàn)了，其主要原因很容易識別和解決。

    如果存在開放的空間，則熱空氣不能留在熱通道內(nèi)，冷空氣不能留在冷通道內(nèi)，因此，機柜中的所有開口必須堵住，防止熱空氣在計算機和非連續(xù)機架之間的空間重新循環(huán)，同時也防止寶貴的冷空氣從這些開口流失，在未使用的機架空間使用空白擋板的原則最容易被大家忽略，它會導致大量無效的數(shù)據(jù)中心制冷，浪費能源。

    但還有兩個因素需要考慮：熱量增加后，風扇將會帶走它們能帶走的熱空氣，隨著熱量密度的增加，熱空氣會溢出機架的頂部，再次返回到服務器，隨之設備需要更多的冷空氣，最顯著的解決方案的是在這些地方設置障礙，在通道的末尾設置墻體和門，將機柜頂部通道塞進天花板，這就是所謂的遏制。

    熱空氣現(xiàn)在完全被捕獲到熱通道，因此它不會泄露，冷空氣被控制在冷通道中，因此也不會被浪費掉，看起來很簡單，但真的是這樣嗎？我們進一步分析下。

    熱通道遏制

    熱通道遏制通常比冷通道遏制更容易讓人接受，在能源效率方面有一個小小的優(yōu)勢，其支持者提醒其它空間和冷通道擁有一樣舒適的環(huán)境，不需要做任何制冷，根據(jù)ASHRAE修訂的數(shù)據(jù)處理環(huán)境熱量指導原則，溫度應該在75°F（23.9°C）左右，另一個版本預計很快就將發(fā)布，它可能會為某些設備分類再次擴大溫度和濕度范圍。

    大部分空間的溫度都保持在合理范圍內(nèi)，因此設備風扇可以從任何地方吸入空氣，雖然我們應該盡力給硬件提供充足的空氣，但也不用像冷通道遏制那樣控制得那么嚴格。

    熱通道遏制主要的缺點是工作環(huán)境，溫度可能會達到95°F或更高，這可不是什么舒服的工作環(huán)境，但與流行的看法相反，它不會超出OSHA標準，為了降溫，一些設計在控制區(qū)域引入了適量的冷空氣，使溫度保持在可接受的范圍，但很明顯，這會抵消掉遏制解決方案獲得的效益。

    冷通道遏制

    數(shù)據(jù)中心制冷遏制方案是否靈丹妙藥？

    不同回流空氣溫度時典型的CRAH額定容量

    冷通道遏制一個最大的好處是可以使用地板下或數(shù)據(jù)中心頂部制冷模式，通道易于填充冷空氣，防止熱空氣混入，確保所有可用的冷空氣都可以輸送給設備，最大限度地減小機架頂部和底部之間的溫度差異，使用地板下空氣輸送時，冷通道遏制特別有用，因為冷空氣下沉，使地板下空氣供應完全違反了物理學定律。

    當冷空氣通過地板瓷磚開口向上推時，它只會上升到某個高度，除非有什么力量再推它一把。計算機內(nèi)的風扇通常會把熱空氣向上推，但它仍然會變得越來越熱，如果我們可以從地板到天花板完全遏制冷通道，它交付的空氣溫度將趨于穩(wěn)定。

    正如前面提到的，冷通道不需要低到55°F，新的ASHRAE將上限提高到了80.6°F（27°C），因此冷通道溫度在75°F時是非常安全的，這個溫度允許你加大機房空調(diào)單元的凝結點，這樣可以節(jié)省大量的空調(diào)能源。但反對者指出，其它空間現(xiàn)在基本上都成了一個熱通道，可能會達到95°F或更高，除了冷通道外，其它一切都變得不舒適。

    冷通道遏制真正的挑戰(zhàn)是空氣平衡和控制，計算機設備需要一定數(shù)量的空氣進行制冷，當空氣輸送給冷通道時，你需要確?？梢猿浞终{(diào)整開孔或地板開口，或天花板上方的鐵格子。>>

    高密度機房機架配置

    機架是數(shù)據(jù)中心機房內(nèi)安裝各種設備（服務器、存儲和網(wǎng)絡設備等）的重要組件，也是整個散熱基礎設施的重要組成部分。例如，各種服務器、存儲與網(wǎng)絡設備的機箱就是插入在機架中，通過各種線纜聯(lián)接成為高密度計算系統(tǒng)。因此，解決好機架的供電和內(nèi)部的散熱等問題是提高高密度計算系統(tǒng)散熱效率的關鍵。

    為此，首先要合理配置機架內(nèi)部設備。隨著服務器功耗的提高，傳統(tǒng)的數(shù)據(jù)中心往往不得不把機架大多數(shù)容量空置、來避免供電不足和過度發(fā)熱，這顯然不利于高密度數(shù)據(jù)中心的建設。反之，如果機架過滿又很可能會超出機房供電和散熱的能力。

    因此，必須從定量計算機架功率密度和熱負荷出發(fā)、合理配置機架內(nèi)部設備，從而充分利用機房供電和散熱的能力，奠定建設高密度數(shù)據(jù)中心的基礎。至于，如何計算在一個標準機架中可以容納多少臺這樣的服務器和估算一個機架內(nèi)服務器的功耗會更加困難。

    因為計算功耗需要參考多個變量（如每個機架內(nèi)的服務器數(shù)量、每臺服務器組件的類型和數(shù)量等）。對于機架而言，一個非常有用的標準是功率密度，即每機架單位的功耗（瓦/單位）。功率密度包含了機架密度所涉及的所有變量。實際上，計算機所消耗的電源幾乎全部都轉變成了熱量。計算機所產(chǎn)生的熱量一般以英國熱量單位BTU/小時來表示，1瓦等于3.413BTU/小時。

    因此，可以按照下式來計算出機架熱負荷：熱負荷=功率[瓦]x3.413BTU/小時/瓦。例如，一臺惠普公司制造的DL360G4服務器的熱負荷為：460瓦x3.413BTU/小時/瓦=1，570BTU/小時。一個42U機架容納DL360G4服務器的熱負荷將近65，939BTU/小時。數(shù)據(jù)中心的配置主要環(huán)繞功耗和熱負荷與機房供電和散熱能力的配合。

    IT設備廠商一般會在其產(chǎn)品規(guī)格中提供功率和熱負荷信息，在設計高密度數(shù)據(jù)中心時，必須根據(jù)廠商提供的數(shù)據(jù)估算每機架的功率和熱負荷，進行數(shù)據(jù)中心機房規(guī)劃。

    規(guī)劃中，需配置足夠的電源、并留有足夠的余量，既要避免因配置容量不足而影響設備正常運行，又要避免因留有余量過大而導致能效降低。在設計和建設高密度計算數(shù)據(jù)中心時必須評估各種設備的電源需求與熱負荷，進行合理的機架配置。

    比較好的方法是靜態(tài)智能散熱技術，通過使用流體動力學模型進行模擬、根據(jù)已明確的數(shù)據(jù)中心設備的熱負荷，來確定冷卻資源的最佳布局和供應量。它可以將每一個空調(diào)設備的散熱負荷與其額定功率進行比較，以判斷空調(diào)設備是否得到了高效的利用或過分“供應”。>>

    高密度的數(shù)據(jù)中心布線

    高密度的數(shù)據(jù)中心中，傳統(tǒng)的主干和水平鏈路配置（如常見的每個EDA機柜接入24根雙絞線或24芯光纖）已經(jīng)不能適應刀片式服務器及SAN存儲設備的需求，而由端口數(shù)量增加引起的機柜安裝單元的占用又與昂貴的數(shù)據(jù)中心單位面積成本形成極大的矛盾。

    面對挑戰(zhàn)，大量新的布線技術應運而生，如采用屏蔽銅纜系統(tǒng)提高線纜和連接硬件的安裝密度，采用刀片式跳線杜絕高密度環(huán)境跳接插拔誤操作的可能性，采用光纖預端接系統(tǒng)簡化線纜布放和端口連接，采用角型配線架減少水平理線架的數(shù)量，采用機柜間垂直空間安裝跳接端口等。

    但是6A系統(tǒng)因需考慮外來串擾的影響，線纜外徑和端口間距均較以前的布線類別有所增加，無法順應高密度數(shù)據(jù)中心的發(fā)展趨勢。而Z-MAX6A銅纜系統(tǒng)采用創(chuàng)新的推拉式RJ45設計，使跳線可以更快的移動、增加和變更，特別適合48端口的機架式交換機和插卡式交換模塊。配合另一個專利的LockITTM技術，還可以給每個BladePatch刀片式快接跳線的插頭端增加一個安全鎖，防止了未經(jīng)授權的端口訪問，提高了數(shù)據(jù)中心的安全性和可靠性。