技術 | 詳解微模塊數據中心布局及設計
微模塊機房以模塊化、標準化的架構和高效可靠的UPS、精密空調等靈活組合成功打造新一代模塊化數據中心基礎設施,以其快速部署、高效節省、智能管理等優點成為數據中心建設的關注焦點,微模塊機房的優勢具體表現在:
場景適應性強——最低只需2.6m的安裝層高要求,在普通辦公環境下即可進行部署;通過單雙排靈活組合,最大化利用空間。
快速完成部署——一體化集成UPS、精密空調、配電、機柜、智能管理等主要子系統,即插即用;工廠預測試、預驗證、預制,1到2周內完成現場部署,部署速度較傳統提升50%。
模塊化架構,滿足高能效低PUE——優化的配電和制冷系統設計,采用密閉冷/熱通道和行式空調近端制冷技術,實現PUE≤1.5,節省能耗30%以上;行級空調、高頻模塊化UPS、密閉通道、高集成配電柜的聯合應用使PUE降至1.5以下。
智能化管理系統,實時可監可控——智能管理系統,實現實時監控;通過能效管理、3D虛擬展示等功能,顯著提升數據中心的運維效率與體驗。
微模塊機房的設計原則
安全可靠性
高可靠性是數據中心運營成功的關鍵,也是數據中心的基本原則。因此決不能出現單點故障,要對數據中心的布局、結構設計、設備選型、日常維護等各個方面進行可靠性的設計和建設。在關鍵設備采用硬件備份、冗余等可靠性技術的基礎上,采用相關的軟件技術提供較強的管理機制、控制手段和事故監控與安全保密等技術措施提高機房的安全性。針對數據中心的網絡方案,其可靠性設計包括:鏈路冗余、關鍵設備冗余和重要業務模塊冗余。
可擴展性
數據中心方案設計中,每個層次的設計所采用的設備本身都應具有極高的端口密度,為數據中心的擴展奠定基礎。在Internet互聯層、核心層、分布層的設備都采用模塊化設計,可根據EDC網絡的發展進行靈活擴展。功能的可擴展性是數據中心隨著發展提供增值業務的基礎。實現負載均衡、動態內容復制、MPLSVPN、VLAN等功能,為數據中心增值業務的擴展提供基礎。
標準化
在中心機房系統結構設計時,基于國家頒布的有關標準,包括各種建筑、機房設計標準,電力電氣保障標準以及計算機局域網、廣域網標準,堅持統一規范的原則,從而為未來的業務發展、設備增容奠定基礎。
靈活性
模塊化設計,可根據數據中心不同需求進行取舍,特別是后臺管理平臺設計思想,使得數據中心可實現對于不同用戶的定制服務,如在后臺管理平臺中的用戶數據備份中心、數據中心客戶中心、數據中心維護中心,使得數據中心用戶可以方便地進行對其應用的控制與更新。
可管理性
在建設數據中心時,隨著業務的不斷發展,管理的任務必定會日益繁重。所以在數據中心的設計中,必須建立一套全面、完善的管理和監控系統。所選用的設備應具有智能化,可管理的功能,同時采用先進的管理監控系統,實現先進的集中管理監控,實時監控、監測整個中心機房的運行狀況,實時燈光、語音報警,實時事件記錄,這樣可以迅速確定故障,提高的運行性能、可靠性,簡化數據中心管理人員的維護工作,從而為數據中心安全、可靠的運行提供最有力的保障。
數據中心微模塊布局
龐大的數據中心內密布著一排又一排的機柜,機房層高很高,周邊是寬闊的運輸通道,頂部是橫豎交錯的母線排和消防照明等管路,服務器狀態燈藍光閃爍,總體非常簡潔清爽。
微模塊機房和傳統意義上的數據中心有明顯的不同,既沒有送風地板,也沒有空調吊頂風管或者空調間等,那么數據中心內部非常核心的散熱空調在哪里?又是如何散熱的呢?一排排機柜頂部的多個“煙囪”以及“煙囪”底下的厚厚空調盤管,這才是微模塊數據中心散熱的秘密武器。
1、數據中心微模塊原理
數據中心機柜是以連體三聯柜為最小的建設顆粒度,或者以6個機柜和置頂空調構成的的微模塊為最小顆粒度來建設的。機柜還沒就位時先用布簾子(或者白鐵皮)擋住防止熱氣流外泄。
連體三聯柜朝外側為冷通道,內側即空調下方為熱通道,這樣背靠背的兩側服務器機柜散發出來的熱空氣在機柜間的密閉熱通道內聚集并自然上升,被頂部的空調盤管制冷后,再經盤管頂部的6個高效率EC大風扇帶走,飄散到整個機房大環境中,然后冷空氣自然下沉重新回到機柜的冷通道側被服務器吸入,重新開始整個循環。整個過程中氣流組織非常短而高效,幾乎沒有多少冷量傳遞損失,且符合熱空氣上升冷空氣下沉的自然對流法則。熱通道完全封閉后,空調送回風溫差deltaT非常高,因此需要的空調風量較小,風機的轉速較低,損耗也可以很小,真正實現高效散熱的目的。
2、微模塊機房內機柜單元和制冷單元布局
機柜每三個一組,頂部的TOR放在三聯柜中間,每三個柜子依次排開。兩排機柜間根據實際機柜的功耗和設備類型,搭配不同數量的制冷模塊,比如高負荷的計算類機柜列比存儲型的機柜列制冷模塊要多。
如果出現部分區域的設備功耗密度較低,則可以多個三聯柜共享稍微少量的制冷模塊,這樣制冷模塊間的頂部空隙可以通過薄鐵皮來封閉熱通道,如果某個三聯柜需要搬遷或者維修,則可以通過底部滾輪靈活由一個運營人員就可推走,但推走后的機柜位需要制冷模塊正面的鐵皮封板封堵住熱通道,以免整個封閉熱通道的熱氣流泄露到機房冷環境中。
3、微模塊數據中心制冷基礎設施
上圖是包含了數據中心制冷基礎設施的更為詳細的剖面圖,從這個圖我們可以清楚看到冷站604提供的冷凍水通過地板下維護空間內(考慮地板下管路檢修維護需要,實際goolge某個項目的地板下高度高達122cm)的冷凍水管614和612,送到機柜上方的制冷模塊來帶走設備產生的熱量。
冷站604包括了冷卻塔622、板式換熱器626、冷機620和水泵624/616等,采用三通閥等設計,可以選擇直接冷卻或間接冷卻。實際建設的時候,冷站也可以是模塊化的工廠預制單元,運送到機房現場和對應的多排機柜列對接即可投入使用,真正達到了模塊化快速建設的目的。冷站模塊間的冗余,也可以通過將這些不同的冷站模塊互聯到公共接頭的主環網中,通過互聯互通的環網結構來實現冷站間的冗余,即便某個冷站故障也不會影響整個系統。
4、機房的溫度設置得高能達到節能
數據中心為了節能運行,會將機房的溫度設置得較高,整個機房作為冷通道,整體溫度場較為均勻,且較為適合運維人員操作。服務器的進風溫度往往高達27攝氏度甚至更高。熱通道內的溫度則高得多,甚至不適合于運維人員呆在里邊,因此服務器全部設計成冷通道前維護。
比如熱通道內的溫度會高達43度以上,經過頂部空調盤管降溫后的溫度約為25攝氏度,deltaT高達18度,這樣頂部空調的風量可大大減少,風扇也可低速運行功耗很低。同時整個機房采用高溫27攝氏度運行,冷凍水供水的溫度也可以設置在20攝氏度的高位溫度,回水溫度則約為40攝氏度,這樣高溫差運行也可大大節省水泵的功耗。如果冷凍水的供水溫度可以達到20攝氏度,這樣每年制冷主機真正需要開啟的時間就非常少,甚至在歐洲的幾個數據中心都實現了無冷機運行,而冷機能耗是機房內最大一塊,所以這些設計可以大大節約能耗。
5、微模塊機房整體布局建設
微模塊機房空間非常開闊,由于面積很大,采用的是更為經濟安全的水消防,頂部是照明和消防管網以及一排排的供電母線排,通過支路配線盒直接給機柜服務器供電。再往下就是直接架設在制冷模塊頂部的走線橋架,以及三聯柜微模塊了。
先建設好置頂空調及配電接口泊位,采用三聯柜的方式滾輪移動即插即用快速交付。機房還配備了梯子、叉車和移動工作臺、簡易維修工作臺、工具箱等,方便現場運維。
采用微模塊的方式建設數據中心,運維和搬遷等更為靈活和方便。通過整個機房的整個冷池作為緩沖,且考慮到了制冷模塊、外部冷機等的冗余,可靠性更高,運營體驗也更好。還可以根據不同設備類型和設備的不斷升級更新等,靈活配置制冷模塊來快速滿足業務不斷變化的需要。