如果把數(shù)據(jù)中心比作一個(gè)“人”，則服務(wù)器和存儲(chǔ)設(shè)備構(gòu)成了數(shù)據(jù)中心的“器官”，而網(wǎng)絡(luò)（交換機(jī)，路由器，防火墻）就是這個(gè)數(shù)據(jù)中心的“神經(jīng)脈絡(luò)”。本文就針對(duì)數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)和一般設(shè)計(jì)來說。

01

網(wǎng)絡(luò)分區(qū)與等保

    一般情況下，本著靈活、安全、易管理的設(shè)計(jì)原則，企業(yè)都會(huì)對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)的物理設(shè)備進(jìn)行分區(qū)。通常情況下，數(shù)據(jù)中心都會(huì)采用核心—匯聚—接入三層的網(wǎng)絡(luò)結(jié)構(gòu)，核心用于所有流量的快速轉(zhuǎn)發(fā)，而匯聚則是在每個(gè)網(wǎng)絡(luò)分區(qū)上，擔(dān)任網(wǎng)關(guān)的功能。
    一般來說，數(shù)據(jù)中心的網(wǎng)絡(luò)分區(qū)中，每一個(gè)區(qū)域會(huì)根據(jù)預(yù)期的流量和服務(wù)器的數(shù)量，分配不同的業(yè)務(wù)網(wǎng)段。同時(shí)，在一些等保要求較高的區(qū)域，還會(huì)設(shè)置防火墻這樣的安全設(shè)備，來控制進(jìn)出這個(gè)區(qū)域的流量，如下圖所示：

    “等保”是等級(jí)保護(hù)的簡(jiǎn)寫，在設(shè)置數(shù)據(jù)中心服務(wù)器區(qū)域的時(shí)候，不同業(yè)務(wù)的服務(wù)器的等級(jí)保護(hù)是不一樣的。比如后臺(tái)存儲(chǔ)，帶庫，數(shù)據(jù)庫這些服務(wù)器的等保和Web、前端、APP的等保就不一樣。而在數(shù)據(jù)中心網(wǎng)絡(luò)中，防火墻的功能，就是用來劃分“等保”，同時(shí)用來控制不同等保之間的互訪。
    那如何更好的來理解這個(gè)“等保”的概念呢？

    在目前的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)中，要考慮到不同等保之間的流量控制，又要考慮到在設(shè)計(jì)路由的時(shí)候的簡(jiǎn)便和快捷，目前數(shù)據(jù)中心的防火墻幾乎都會(huì)采用旁路的方式來部署，再配合匯聚交換機(jī)上的VRF來控制流量。

02

數(shù)據(jù)中心網(wǎng)絡(luò)分區(qū)的方式

    分區(qū)的劃分方式有以下三種，不同分區(qū)方式各有優(yōu)缺點(diǎn)，通常結(jié)合使用。

A.按照服務(wù)器類型分區(qū)

    比如x86服務(wù)器、小型機(jī)、刀片機(jī)、大型機(jī)、虛擬機(jī)進(jìn)行分類。完全按照服務(wù)器型號(hào)分類的話，在實(shí)際應(yīng)用中，可能某個(gè)企業(yè)小型機(jī)被大量使用，而大型機(jī)幾乎沒用，就會(huì)導(dǎo)致小型機(jī)的網(wǎng)絡(luò)區(qū)域流量巨大而大型機(jī)這個(gè)區(qū)域閑置了。所以，現(xiàn)在的數(shù)據(jù)中心，幾乎看不見如此分配區(qū)域的情形了。

B.按照應(yīng)用層次分區(qū)

    比如Web、APP是前端服務(wù)器，而數(shù)據(jù)庫、存儲(chǔ)、NFS這些是后端服務(wù)器，所以把前端服務(wù)器放在一個(gè)區(qū)域，后端服務(wù)器放在一個(gè)區(qū)域。在有些企業(yè)的數(shù)據(jù)中心，也確實(shí)是這么分區(qū)的。比如，所有的Web服務(wù)器放在“綜合業(yè)務(wù)區(qū)”，把數(shù)據(jù)庫就放在“生產(chǎn)管理區(qū)”（你也看出來，連區(qū)域名字都起得那么“模糊” ）。如此分區(qū)的好處是便于管理，因?yàn)榍岸朔?wù)區(qū)域和后端服務(wù)區(qū)域不在一個(gè)等保內(nèi)，前端服務(wù)區(qū)域直接面對(duì)辦公，后端區(qū)域則為前端區(qū)域服務(wù)，如下圖所示：

    這種區(qū)域的設(shè)置方式的好處是便于分開管理，但是壞處也是運(yùn)維起來屁事太多。比如，前端新上線了一個(gè)APP，后端需要相應(yīng)的數(shù)據(jù)庫支持，此時(shí)系統(tǒng)運(yùn)維人員就要找網(wǎng)絡(luò)運(yùn)維人員，請(qǐng)他們?cè)诤蠖藚^(qū)的防火墻上開通相應(yīng)的安全策略。考慮到前端和后端對(duì)接也有諸多非網(wǎng)絡(luò)的問題，加上前端和后端之間又有防火墻的“阻礙”，所以一旦前端和后端的通信出了問題，網(wǎng)絡(luò)運(yùn)維人員就很容易“被背鍋”了。

C.按照應(yīng)用類型劃分

    例如核心服務(wù)，公共服務(wù)，辦公區(qū)域，隔離區(qū)域，開發(fā)測(cè)試區(qū)域進(jìn)行劃分。這種分區(qū)的好處就是，一個(gè)“功能業(yè)務(wù)”的前端服務(wù)器和后端服務(wù)器都在一個(gè)等保內(nèi)了，在前端和后端對(duì)接的時(shí)候，網(wǎng)絡(luò)運(yùn)維人員不至于因?yàn)榉阑饓Σ呗缘脑蚨氨冲仭薄５沁@樣劃分又會(huì)顯得網(wǎng)絡(luò)規(guī)劃有點(diǎn)“混亂”。對(duì)于一些對(duì)前期IP地址規(guī)劃不太重視的管理員來說，可能會(huì)對(duì)前端服務(wù)器和后端服務(wù)器的IP地址規(guī)劃帶來些麻煩。比如，給核心服務(wù)器區(qū)的IP地址段是10.114.128.0/21，在這里有10.114.128.0/24---10.114.135.0/24，整整16個(gè)C段。但是對(duì)于不嚴(yán)謹(jǐn)?shù)墓芾韱T來說，可能會(huì)讓10.114.128.0/24做前端的IP地址，10.114.129.0/24做后端的IP地址，這樣的話，前端和后端的IP地址段就“交叉”了。
如果遇到一種極端的情況，在多級(jí)數(shù)據(jù)中心使用MPLS V.PN網(wǎng)絡(luò)對(duì)接，讓前端和后端的流量“分流”時(shí)，這種前端和后端IP地址段一“交叉”，分流就會(huì)顯得極其麻煩。
     綜上所述，每一種分區(qū)的方式，都有自己的優(yōu)點(diǎn)和缺點(diǎn)，所以也要按照實(shí)際情況進(jìn)行分區(qū)。

03

數(shù)據(jù)中心常用網(wǎng)絡(luò)架構(gòu)

A.扁平化組網(wǎng)

    對(duì)于功能單一，服務(wù)器數(shù)量小于300臺(tái)的小型數(shù)據(jù)中心來說，通常情況下都會(huì)采用兩層式的扁平化組網(wǎng)。也就是匯聚設(shè)備擔(dān)任網(wǎng)關(guān)，接入設(shè)備就是一個(gè)二層設(shè)備，打通二層通道的功能。對(duì)于扁平化的組網(wǎng)，也分為比較傳統(tǒng)的VRRP+MSTP，和“堆疊+鏈路捆綁”兩種方式進(jìn)行組網(wǎng)設(shè)計(jì)。
第一種就是VRRP+MSTP的結(jié)構(gòu)，如下圖所示：
圖片
相比起第一種非常傳統(tǒng)的MSTP+VRRP的架構(gòu)，第二種“胖樹”結(jié)構(gòu)，則是當(dāng)前數(shù)據(jù)中心扁平化組網(wǎng)的常用結(jié)構(gòu)。它的思路是：匯聚交換機(jī)必然堆疊，接入交換機(jī)按需堆疊，所有冗余鏈路必須捆綁，形成一個(gè)“胖樹”狀結(jié)構(gòu)。它的優(yōu)點(diǎn)就是，既保證了設(shè)備的冗余性，提升帶寬性能，也能從根本上防止二層環(huán)路。但是，要實(shí)現(xiàn)設(shè)備的堆疊，這個(gè)對(duì)硬件有要求，所以，這種“胖樹”狀結(jié)構(gòu)的組網(wǎng)，成本比起第一種來說要高不少。

圖片

B.三層組網(wǎng)架構(gòu)

    對(duì)于大型數(shù)據(jù)中心，功能多樣，且要進(jìn)行功能分區(qū)的場(chǎng)合，就會(huì)采用標(biāo)準(zhǔn)的三層架構(gòu)。
     在這種組網(wǎng)方式中，交換核心區(qū)是整個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)的樞紐，核心設(shè)備通常部署2-4臺(tái)大容量高端框式交換機(jī)，可以是獨(dú)立部署，也可以通過堆疊技術(shù)后成組部署（但是考慮到核心和匯聚之間都是三層連接，且堆疊有一定裂開風(fēng)險(xiǎn)，所以一般核心都會(huì)采用獨(dú)立部署的方式，即核心之間只和匯聚之間有互聯(lián)，核心之間無互聯(lián)）
     分區(qū)內(nèi)的匯聚層和接入層通過堆疊實(shí)現(xiàn)二層破環(huán)。
下圖為大家展示了一個(gè)當(dāng)前主流的數(shù)據(jù)中心三層組網(wǎng)架構(gòu)圖：

     剛才的拓?fù)鋱D中，各個(gè)大區(qū)域之間的防火墻采用了旁路的連接方式。防火墻采用旁路連接的目的，也是為了提升可擴(kuò)展性，并且可以兼容動(dòng)態(tài)路由。而這種結(jié)構(gòu)，要想實(shí)現(xiàn)核心—匯聚—接入之間的流量進(jìn)入防火墻，就需要使用VRF在匯聚交換機(jī)上隔離路由了。所以，VRF在這個(gè)地方，起到的作用是隔離路由，起到一個(gè)“化旁路為串聯(lián)”的作用。
     本文的難點(diǎn)，也正好是匯聚交換機(jī)上使用VRF時(shí)，這個(gè)業(yè)務(wù)流的邏輯圖如何畫出。實(shí)際上，我本人在剛接到這個(gè)項(xiàng)目的時(shí)候，也是花了一段時(shí)間來理解這個(gè)VRF和旁路防火墻之間的關(guān)系的。下面我可以簡(jiǎn)單為大家說一下劃業(yè)務(wù)流的方法。
所謂“單一等保”，實(shí)際上就是匯聚下方的所有業(yè)務(wù)網(wǎng)段可以直接訪問，流量無需經(jīng)過防火墻控制。在這種情況下，就只需要一個(gè)VRF，把匯聚—核心和匯聚—防火墻之間的流量隔離開即可。
物理連接圖如下：
 

    由于匯聚、接入，包括防火墻做了雙機(jī)或者堆疊，所以在此時(shí)可以將匯聚、接入先暫時(shí)畫成單個(gè)設(shè)備，這樣物理結(jié)構(gòu)就不會(huì)太復(fù)雜了。
 

    然后，去掉匯聚層設(shè)備的圖標(biāo)，用一個(gè)方框來代替。在方框內(nèi)部添加兩個(gè)小方框，代表兩個(gè)擁有獨(dú)立三層路由的虛擬設(shè)備，與核心連接的是全局路由，與接入連接的是VRF路由。然后，防火墻上“畫出”兩條線，分別與“全局路由”小框和“VRF”小框互聯(lián)。防火墻與匯聚連接的兩條線，可以是不同的物理接口，也可以是不同的子接口。如下圖所示：
 

     最后，去掉匯聚層設(shè)備位置的大方塊，將防火墻“塞”在“全局路由”小框和“VRF”小框之間，這樣，一個(gè)單一等保級(jí)別的，化旁路為串聯(lián)的流量圖就完成了。
 
     兩個(gè)等保級(jí)別，這就要求了兩個(gè)等保級(jí)別內(nèi)的業(yè)務(wù)在互訪時(shí)，流量需要經(jīng)過防火墻。這里你就要記住：一個(gè)等保一個(gè)VRF，不同等保級(jí)別的流量要放在不同的VRF內(nèi)。
     在畫雙等保邏輯流量的時(shí)候，采用的方式和單一等保邏輯流量的方式是一樣的。第一步，仍然是把雙機(jī)結(jié)構(gòu)改成單機(jī)結(jié)構(gòu)，所不同的是，防火墻和匯聚之間，需要畫三條線。總之，匯聚下面有N個(gè)等保，匯聚和防火墻之間就畫N+1條線。
 

    然后，去掉匯聚層設(shè)備的圖標(biāo)，用一個(gè)方框來代替。在方框內(nèi)部添加三個(gè)小方框，代表三個(gè)擁有獨(dú)立三層路由的虛擬設(shè)備，接入層交換機(jī)換成兩個(gè)，分別代表等保1的接入和等保2的接入。

      然后，去掉大方框，將防火墻“塞”在“全局路由”小方框和“VRF-1”、“VRF-2”小方塊之間，先形成如下圖所示的結(jié)構(gòu)：

    最后，將兩個(gè)等保“VRF”的小方塊，分別連接在防火墻的兩邊，這樣，一個(gè)雙等保的化旁路為串聯(lián)的業(yè)務(wù)流邏輯圖就畫好了，根據(jù)標(biāo)注的接口編號(hào)和規(guī)劃的IP地址，就可以寫配置腳本了。而且串聯(lián)的邏輯圖畫好以后，也立刻能夠知道靜態(tài)路由該如何規(guī)劃了。
記住一點(diǎn)：“全局”、“VRF-1”、“VRF-2”上標(biāo)注的接口，其實(shí)全是匯聚交換機(jī)的。

    記住這個(gè)方式，以后遇到旁路防火墻，下面有N多個(gè)等保的業(yè)務(wù)流，也可以按照這個(gè)方式去照葫蘆畫瓢了。

04

數(shù)據(jù)中心未來的發(fā)展
     隨著大數(shù)據(jù)時(shí)代的到來，企業(yè)數(shù)據(jù)中心承載的業(yè)務(wù)越來越多，新業(yè)務(wù)上線越來越快。為了滿足業(yè)務(wù)的需要，傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)將逐漸向具備彈性、簡(jiǎn)單和開放特征的新一代數(shù)據(jù)中心網(wǎng)絡(luò)演進(jìn)。
A.彈性
     彈性是指網(wǎng)絡(luò)能夠?qū)崿F(xiàn)靈活、平滑擴(kuò)展以適應(yīng)業(yè)務(wù)不斷發(fā)展的需要。彈性擴(kuò)展包括設(shè)備級(jí)、系統(tǒng)級(jí)和數(shù)據(jù)中心級(jí)的擴(kuò)展。
     設(shè)備級(jí)彈性擴(kuò)展：網(wǎng)絡(luò)設(shè)備需要具備持續(xù)的平滑擴(kuò)容能力。例如接入交換機(jī)可以提供25GE/40GE的接入能力，核心交換機(jī)能提供百T以上的交換容量，高密度的100GE/400GE接口等。
     系統(tǒng)級(jí)彈性擴(kuò)展：數(shù)據(jù)中心網(wǎng)絡(luò)需要支持更大規(guī)模的二層網(wǎng)絡(luò)。例如提供X萬臺(tái)10GE服務(wù)器接入的能力。
     數(shù)據(jù)中心級(jí)彈性擴(kuò)展：數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò)要能夠支持多個(gè)數(shù)據(jù)中心的資源整合，實(shí)現(xiàn)更大規(guī)模虛擬機(jī)跨數(shù)據(jù)中心遷移。
B.簡(jiǎn)單
     簡(jiǎn)單就在于要能夠讓網(wǎng)絡(luò)更好的為業(yè)務(wù)服務(wù)，能夠根據(jù)業(yè)務(wù)來調(diào)度網(wǎng)絡(luò)資源，例如要能夠?qū)崿F(xiàn)網(wǎng)絡(luò)資源和IT資源的統(tǒng)一呈現(xiàn)與管理，能夠?qū)崿F(xiàn)從業(yè)務(wù)到邏輯網(wǎng)絡(luò)再到物理網(wǎng)絡(luò)的平滑轉(zhuǎn)換等。
C.開放
     傳統(tǒng)網(wǎng)絡(luò)的管理維護(hù)是封閉的，獨(dú)立于計(jì)算、存儲(chǔ)等IT資源。網(wǎng)絡(luò)開放以后，可以打破原有的封閉環(huán)境，使網(wǎng)絡(luò)設(shè)備可以與更多的SDN控制器、第三方管理插件、虛擬化平臺(tái)等協(xié)同工作，從而打造更靈活的端到端數(shù)據(jù)中心解決方案。