數(shù)據(jù)中心，指用于安置計(jì)算機(jī)系統(tǒng)及相關(guān)部件的設(shè)施，例如電信和儲(chǔ)存系統(tǒng)。

為了滿足自身的業(yè)務(wù)需求，保證數(shù)據(jù)的穩(wěn)定和可靠。無論是互聯(lián)網(wǎng)還是傳統(tǒng)行業(yè)，都會(huì)有自己或大或小的數(shù)據(jù)中心，甚至如阿里云和亞馬遜這種專門以出租計(jì)算資源的云計(jì)算公司，更是在全世界各地建立了不等的數(shù)據(jù)中心。

盡管到到如今的云計(jì)算時(shí)代，將數(shù)據(jù)中心自身的資源虛擬化以達(dá)到更高的利用率，有一點(diǎn)肯定，物理資源決定了虛擬資源的天花板。

物理網(wǎng)絡(luò)的特性，例如帶寬，MTU，延時(shí)等，最終直接或者間接決定了虛擬虛擬網(wǎng)絡(luò)的特性。對網(wǎng)絡(luò)性能進(jìn)行優(yōu)化時(shí)，有些物理網(wǎng)絡(luò)特性可以通過升級(jí)設(shè)備或線路來提升，但是有些與網(wǎng)絡(luò)架構(gòu)有關(guān)。升級(jí)或者改動(dòng)網(wǎng)絡(luò)架構(gòu)帶來的風(fēng)險(xiǎn)和成本是巨大的，因此在架設(shè)數(shù)據(jù)中心初始，網(wǎng)絡(luò)架構(gòu)的選擇和設(shè)計(jì)尤其需要謹(jǐn)慎。

那么，從過去的傳統(tǒng)數(shù)據(jù)中心，到如今的云計(jì)算時(shí)代數(shù)據(jù)中心，中間經(jīng)歷了怎樣的變遷呢?

2.傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)

在傳統(tǒng)的大型數(shù)據(jù)中心，網(wǎng)絡(luò)通常是三層結(jié)構(gòu)。Cisco稱之為：分級(jí)的互連網(wǎng)絡(luò)模型(hierarchical inter-networking model)。

三層網(wǎng)絡(luò)結(jié)構(gòu)是采用層次化架構(gòu)的三層網(wǎng)絡(luò)，有三個(gè)層次：核心層(網(wǎng)絡(luò)的高速交換主干)、匯聚層(提供基于策略的連接)、接入層(將工作站接入網(wǎng)絡(luò))，這個(gè)模型如下：

接入層(Access Layer)：接入交換機(jī)通常位于機(jī)架頂部，所以它們也被稱為ToR(Top of Rack)交換機(jī)，它們物理連接服務(wù)器。

匯聚層(Aggregation Layer)：匯聚交換機(jī)連接Access交換機(jī)，同時(shí)提供其他的服務(wù)，例如防火墻，SSL offload，入侵檢測，網(wǎng)絡(luò)分析等。

核心層(Core Layer)：核心交換機(jī)為進(jìn)出數(shù)據(jù)中心的包提供高速的轉(zhuǎn)發(fā)，為多個(gè)匯聚層提供連接性，核心交換機(jī)為通常為整個(gè)網(wǎng)絡(luò)提供一個(gè)彈性的L3路由網(wǎng)絡(luò)。 一個(gè)三層網(wǎng)絡(luò)架構(gòu)示意圖如下所示：

通常情況下，匯聚交換機(jī)是L2和L3網(wǎng)絡(luò)的分界點(diǎn)，匯聚交換機(jī)以下的是L2網(wǎng)絡(luò)，以上是L3網(wǎng)絡(luò)。每組匯聚交換機(jī)管理一個(gè)POD(Point Of Delivery)，每個(gè)POD內(nèi)都是獨(dú)立的VLAN網(wǎng)絡(luò)。

服務(wù)器在POD內(nèi)遷移不必修改IP地址和默認(rèn)網(wǎng)關(guān)，因?yàn)橐粋€(gè)POD對應(yīng)一個(gè)L2廣播域。

匯聚交換機(jī)和接入交換機(jī)之間通常使用STP(Spanning Tree Protocol，生成樹協(xié)議)。STP使得對于一個(gè)VLAN網(wǎng)絡(luò)只有一個(gè)匯聚層交換機(jī)可用，其他的匯聚層交換機(jī)在出現(xiàn)故障時(shí)才被使用(上圖中的虛線)。

也就是說匯聚層是一個(gè)active-passive的HA模式。這樣在匯聚層，做不到水平擴(kuò)展，因?yàn)榫退慵尤攵鄠€(gè)匯聚層交換機(jī)，仍然只有一個(gè)在工作。

一些私有的協(xié)議，例如Cisco的vPC(Virtual Port Channel)可以提升匯聚層交換機(jī)的利用率，但是一方面，這是私有協(xié)議，另一方面，vPC也不能真正做到完全的水平擴(kuò)展。

下圖是一個(gè)匯聚層作為L2/L3分界線，且采用vPC的網(wǎng)絡(luò)架構(gòu)。

傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)，STP 是二層網(wǎng)絡(luò)中非常重要的一種協(xié)議。在二層有一個(gè)相當(dāng)矛盾的點(diǎn)，那就是可靠性和安全性的矛盾。

可靠性是指構(gòu)建二層網(wǎng)絡(luò)時(shí)，一般會(huì)采用會(huì)采用設(shè)備冗余和鏈路冗余的方式。

安全性是指二層交換機(jī)同處于一個(gè)廣播域，廣播報(bào)文在環(huán)路中會(huì)反復(fù)持續(xù)傳送，可能會(huì)形成廣播風(fēng)暴，所以必須防止形成環(huán)路。

要想兩種同時(shí)達(dá)到，可以采用STP(生成樹協(xié)議)自動(dòng)控制，即冗余設(shè)備和冗余鏈路成備份，在正常情況下被阻塞掉，當(dāng)出現(xiàn)鏈路故障時(shí)冗余的設(shè)備端口和鏈路才會(huì)被打開。

由于 STP 的收斂性能等原因， 一般情況下 STP 的網(wǎng)絡(luò)規(guī)模不會(huì)超過 100臺(tái)交換機(jī)。STP的這種機(jī)制導(dǎo)致了二層鏈路利用率不足，尤其是在網(wǎng)絡(luò)設(shè)備具有全連接拓?fù)潢P(guān)系時(shí)，這種缺陷尤為突出。

如上圖所示，當(dāng)采用全網(wǎng)STP二層設(shè)計(jì)時(shí)，STP將阻塞大多數(shù)鏈路，使接入到匯聚間帶寬降至1/4，匯聚至核心間帶寬降至1/8。這種缺陷造成越接近樹根的交換機(jī)，端口擁塞越嚴(yán)重，造成的帶寬資源浪費(fèi)就越可觀。

3.云計(jì)算的發(fā)展對數(shù)據(jù)中心的影響

隨著互聯(lián)網(wǎng)的發(fā)展帶來的數(shù)據(jù)大爆發(fā)以及虛擬化技術(shù)的發(fā)展，計(jì)算資源被池化，對數(shù)據(jù)中心也提出了新的挑戰(zhàn)：動(dòng)態(tài)遷移和高性能。

采用大二層網(wǎng)絡(luò)架構(gòu)，可以實(shí)現(xiàn)整個(gè)數(shù)據(jù)網(wǎng)絡(luò)都是L2廣播域，這樣即可實(shí)現(xiàn)動(dòng)態(tài)遷移。大二層網(wǎng)絡(luò)架構(gòu)，L2/L3分界在核心交換機(jī)，核心交換機(jī)以下，也就是整個(gè)數(shù)據(jù)中心，是L2網(wǎng)絡(luò)(當(dāng)然，可以包含多個(gè)VLAN，VLAN之間通過核心交換機(jī)做路由進(jìn)行連通)。大二層的網(wǎng)絡(luò)架構(gòu)如下圖所示：

相對于之前的基礎(chǔ)架構(gòu)而言，具有如下特點(diǎn)：

①資源池化——硬件服務(wù)器通過虛擬化技術(shù)進(jìn)行部分硬件資源的整合，構(gòu)造計(jì)算資源池化

②統(tǒng)一管理——在虛擬化平臺(tái)上建立虛擬機(jī)，在虛擬機(jī)里部署業(yè)務(wù)，實(shí)現(xiàn)平臺(tái)上虛擬機(jī)的統(tǒng)一維護(hù)和管理

③橫向擴(kuò)展——計(jì)算資源不夠，可以直接補(bǔ)充硬件服務(wù)器達(dá)到資源擴(kuò)展

然而，傳統(tǒng)大二層的缺點(diǎn)也和明顯，共享的L2廣播域帶來的BUM(二層數(shù)據(jù)鏈路層的報(bào)文)風(fēng)暴隨著網(wǎng)絡(luò)規(guī)模的增加而明顯增加，最終將影響正常的網(wǎng)絡(luò)流量。

同時(shí)，虛擬機(jī)可以遷移，但是如何達(dá)到遷移過程中用戶無感知，IP地址等不改變呢?即實(shí)現(xiàn)動(dòng)態(tài)遷移。

云計(jì)算技術(shù)的發(fā)展的不僅僅依托于虛擬化，還有一個(gè)非常重要虛擬化管理軟件平臺(tái)，典型的如openstack。

通過x86服務(wù)器和二層交換機(jī)的連接，將網(wǎng)絡(luò)功能、計(jì)算功能、存儲(chǔ)功能和安全功能全部虛擬化，以虛擬機(jī)的形式實(shí)現(xiàn)我們傳統(tǒng)數(shù)據(jù)中心硬件堆積所完成的一切功能，全部組件融合在一套虛擬化管理軟件平臺(tái)中，對外提供虛擬存儲(chǔ)、網(wǎng)絡(luò)、計(jì)算等資源，這就是所謂的”超融合”平臺(tái)。

4.數(shù)據(jù)中心流量豐富化帶來的挑戰(zhàn)

互聯(lián)網(wǎng)這幾年發(fā)展的特別快，然而，互聯(lián)網(wǎng)公司本質(zhì)上來講也是數(shù)據(jù)公司，數(shù)據(jù)承載著公司絕大部分的價(jià)值，于是數(shù)據(jù)安全性以及可靠性也變的越發(fā)重要。 在早期，小規(guī)模數(shù)據(jù)中心主要是南北流量，而互聯(lián)網(wǎng)爆發(fā)式的數(shù)據(jù)增長帶來的數(shù)據(jù)中心虛擬化也要求更高的東西流量，甚至跨數(shù)據(jù)中心流量。

南北向流量：數(shù)據(jù)中心之外的客戶端到數(shù)據(jù)中心服務(wù)器之間的流量，或者數(shù)據(jù)中心服務(wù)器訪問互聯(lián)網(wǎng)的流量。

東西向流量：數(shù)據(jù)中心內(nèi)的服務(wù)器之間的流量。

跨數(shù)據(jù)中心流量：跨數(shù)據(jù)中心的流量，例如數(shù)據(jù)中心之間的災(zāi)備，私有云和公有云之間的通訊。

在思科的分析報(bào)告中，預(yù)計(jì)2020年，東西流量能達(dá)到總帶寬的77%，跨數(shù)據(jù)中心9%，南北流量僅占總帶寬的14%。

而傳統(tǒng)三層網(wǎng)絡(luò)架構(gòu)主要是為了南北流量設(shè)計(jì)，盡管也支持東西流量，但是不足十分明顯。

東西流量分為L2和L3，如果是L2流量，如果源和目的主機(jī)都在同一個(gè)接入層交換機(jī)下，那么可以達(dá)到全速，因?yàn)榻尤虢粨Q機(jī)就能完成轉(zhuǎn)發(fā)。如果需要跨機(jī)架，但仍然是在一個(gè)匯聚層POD內(nèi)，則需要通過匯聚層交換機(jī)進(jìn)行轉(zhuǎn)發(fā)，帶寬取決于匯聚層交換機(jī)的轉(zhuǎn)發(fā)速率。 如果是L3流量，必須經(jīng)過核心交換機(jī)完成轉(zhuǎn)發(fā)，它不僅浪費(fèi)了寶貴的核心交換機(jī)資源，多層轉(zhuǎn)發(fā)也增加了延時(shí)。

而到大二層網(wǎng)絡(luò)架構(gòu)，無論是L2還是L3流量，都需要經(jīng)過核心交換機(jī)，這也對核心交換機(jī)的性能提出了新的挑戰(zhàn)。

5.總結(jié)

傳統(tǒng)三層網(wǎng)絡(luò)架構(gòu)已經(jīng)存在幾十年，并且現(xiàn)在有些數(shù)據(jù)中心中仍然使用這種架構(gòu)。最主要的原因是成本。

一方面是因?yàn)樵缙贚3路由設(shè)備比L2橋接設(shè)備貴得多。即使是現(xiàn)在，核心交換機(jī)也比匯聚接入層設(shè)備貴不少。

另一方面，早期的數(shù)據(jù)中心，大部分流量是南北向流量。

例如，一個(gè)服務(wù)器上部署了WEB應(yīng)用，供數(shù)據(jù)中心之外的客戶端使用。使用這種架構(gòu)可以在核心交換機(jī)統(tǒng)一控制數(shù)據(jù)的流入流出，添加負(fù)載均衡器，為數(shù)據(jù)流量做負(fù)載均衡等。

傳統(tǒng)的三層網(wǎng)絡(luò)架構(gòu)必然不會(huì)在短期內(nèi)消失，但是由于技術(shù)和市場的發(fā)展，其短板也越來越明顯。比如企業(yè)將面臨成本和可擴(kuò)展性的兩難選擇。

基于現(xiàn)有網(wǎng)絡(luò)架構(gòu)的改進(jìn)顯得非常有必要，新的網(wǎng)絡(luò)架構(gòu)最好是：由相對較小規(guī)模的交換機(jī)構(gòu)成，可以方便的水平擴(kuò)展，較好的支持HA(active-active模式)，支持全速的東西向流量，不采購高性能的核心交換機(jī)也能去除超占比，支持SDN等等。

而對于此文，由于篇幅原因，SDN(軟件定義網(wǎng)絡(luò))和VXLAN(虛擬可拓展局域網(wǎng))這兩個(gè)對于數(shù)據(jù)中心非常重要的技術(shù)都沒有講，下次有時(shí)間再來嘮叨嘮叨。