華為CE12800數(shù)據(jù)中心交換機(jī)

看著它們

冷不丁冒出一個(gè)問題

答案是唯一的

↓

難

哪怕是華為這樣的大牛公司做

也很難！

到底有多難？

↓

數(shù)據(jù)中心交換機(jī)真正進(jìn)入人們的視野，還是2010年。

那一年云計(jì)算持續(xù)升溫，數(shù)據(jù)中心迎來了大發(fā)展，人們發(fā)現(xiàn)，一個(gè)新的80/20原則誕生了——80%的流量產(chǎn)生在數(shù)據(jù)中心內(nèi)部。

也正是從那時(shí)起，“東西流量”在業(yè)界被廣泛提及，數(shù)據(jù)中心交換機(jī)作為處理“東西流量”的神器，引領(lǐng)了整個(gè)交換機(jī)產(chǎn)業(yè)的新一輪增長。

當(dāng)時(shí)的華為，已是運(yùn)營商網(wǎng)絡(luò)市場的龍頭，正在蓄勢進(jìn)軍企業(yè)網(wǎng)市場。

要想在企業(yè)網(wǎng)市場站穩(wěn)腳跟，首先就是要占據(jù)企業(yè)數(shù)據(jù)中心這個(gè)戰(zhàn)略高地，而數(shù)據(jù)中心交換機(jī)無疑是攻占這個(gè)高地的利器。

轉(zhuǎn)過年來的2011年，華為迎來了一次重大的組織變革，EBG，一個(gè)專攻企業(yè)級市場的BG成立了，成立之初，管理層便一錘定音：上馬數(shù)據(jù)中心交換機(jī)！

2011年4月，華為數(shù)據(jù)中心交換機(jī)正式立項(xiàng)，起個(gè)什么樣的名字呢？CloudEngine。這個(gè)名字包含了兩層意思：

①數(shù)據(jù)中心交換機(jī)主要是面向云的，華為要做最好的云網(wǎng)絡(luò)引擎。

②與華為大名鼎鼎的NE路由器一脈相承，左手NetEngine，右手CloudEngine，包打天下。

現(xiàn)在看來，“CloudEngine”這個(gè)經(jīng)典產(chǎn)品能在最恰當(dāng)?shù)臅r(shí)機(jī)立項(xiàng)，既有技術(shù)大趨勢發(fā)展的因素，又有華為內(nèi)部業(yè)務(wù)戰(zhàn)略的驅(qū)動(dòng)。

總之，外因+內(nèi)因，就這么踩準(zhǔn)了一個(gè)點(diǎn)，翻過了一道坎。

大方向定下了，只是萬里長征的第一步。

彼時(shí)不同今日，7年前，業(yè)界對與數(shù)據(jù)中心網(wǎng)絡(luò)的技術(shù)路線，存在很多爭議。最主要的有兩大流派：穩(wěn)健型的“二層派”和顛覆型的“一層派”。

“二層派”的思路是在傳統(tǒng)網(wǎng)絡(luò)架構(gòu)上進(jìn)行優(yōu)化，核心交換機(jī)和接入交換機(jī)具備獨(dú)立功能，Spine+Leaf的模式來組網(wǎng)，基于通用的標(biāo)準(zhǔn)協(xié)議實(shí)現(xiàn)互聯(lián)互通。

“一層派”的玩法比較激進(jìn)，裁剪接入交換機(jī)的功能，只把它們作為“端口擴(kuò)展器”，這種“子交換機(jī)”不能獨(dú)立工作，需要一臺(tái)功能強(qiáng)悍的“母交換機(jī)”來配合。“子母”交換機(jī)組合起來，變成一臺(tái)超級交換機(jī)，這就是當(dāng)年很火的“一層架構(gòu)”。

面對這種“0或1”的選擇，華為交換機(jī)項(xiàng)目組經(jīng)歷了痛苦的抉擇期，一旦架構(gòu)選錯(cuò)，未來根本就沒有機(jī)會(huì)回頭。

當(dāng)年，“一層派”在業(yè)界呼聲很高，方案很完美，看起來很有創(chuàng)新性，還有交換機(jī)大廠扛旗力挺，芯片廠商和部分客戶，也對這種方案很心動(dòng)。

然而，華為研發(fā)經(jīng)過評估認(rèn)為，“一層派”這個(gè)方案看上去很美，但是意味著“子母”交換機(jī)只能使用同一家廠商的方案，這個(gè)結(jié)構(gòu)不夠開放，會(huì)對客戶形成綁架。從網(wǎng)絡(luò)發(fā)展的歷史看，這不大可能成為主流。

最終，華為選擇了“二層”架構(gòu)，保持系統(tǒng)的開放性，給客戶選擇權(quán)。當(dāng)然，華為還是留了一手，在架構(gòu)設(shè)計(jì)上做了兼容考慮，即便未來“一層”成為主流，華為也能平滑演進(jìn)。

多年以后，幾乎所有的廠商最終都和華為選擇了一樣的路線，而那種曾經(jīng)火爆一時(shí)的“子母交換機(jī)”，早已絕跡江湖。

這種所謂的架構(gòu)之爭，現(xiàn)在已經(jīng)沒有什么爭議了，而在當(dāng)年，對華為交換機(jī)團(tuán)隊(duì)來說，就是“大是大非”問題。

面對這樣的抉擇，華為的解決思路是，跳出具體的技術(shù)比較，從客戶角度思考，把選擇權(quán)留給客戶，把麻煩留給自己。

事實(shí)證明，這種“以客戶為中心”的思想，很有效。

在數(shù)據(jù)中心交換機(jī)的硬件設(shè)計(jì)上，有一道繞不開的坎，叫做“正交架構(gòu)”。

我們知道，交換機(jī)的板卡，主要分為三大類：主控卡、線卡、交換網(wǎng)板。主控卡相當(dāng)于交換機(jī)的大腦，線卡主要提供各種不同速率的端口，而交換網(wǎng)板則提供線卡間高速互聯(lián)的能力。

如何把這三種板卡“物理的”連在一起呢？需要一個(gè)載體，這就是背板，在“正交架構(gòu)”出現(xiàn)之前，主流的架構(gòu)是“無源背板”技術(shù)。

“扒開”這種交換機(jī)瞧一瞧，我們會(huì)發(fā)現(xiàn)，各種卡都是插在背板上的，大家通過背板這個(gè)“中介”，完成彼此的連接和互通。

這種架構(gòu)是過去的主流，但隨著數(shù)據(jù)中心交換機(jī)對速率和擴(kuò)展性的要求越來越高，弊端就表現(xiàn)出來：要想實(shí)現(xiàn)超高速的數(shù)據(jù)傳輸，鏈路要盡可能短，盡量減少中間路徑，故障點(diǎn)越少越好。

如果能不繞道長長的背板，而是讓線卡和交換網(wǎng)板直接連接，就可以最大限度避免瓶頸。于是，就有了劃時(shí)代的正交架構(gòu)↓

拿CE12800舉例，所謂正交架構(gòu)，就是前面的線卡和主控卡橫著插，背面的交換網(wǎng)板豎著插，兩者相互垂直，板卡相交的地方采用“正交連接器”直接相連，不再通過“漫長”而“坎坷”的背板走線。

這種方式，距離更短、故障點(diǎn)更少，能夠搭建起超高速通信的“立交橋”。

對應(yīng)正交架構(gòu)，業(yè)界還有“非正交”和“偽正交”：

傳統(tǒng)無源背板架構(gòu)，所有的板卡，都插在背板上，通過無源銅背板上的走線完成“中介”，更早的時(shí)候，還有“有源背板”，即背板上也有芯片，故障率更高，擴(kuò)展性更差。

偽正交架構(gòu)，從外面看起來，和正交架構(gòu)很“高仿”，也是前面橫插（豎插），后面豎插（橫插） ，前后板卡垂直相交⊥。

然鵝，真相是，他們共同插在一個(gè)中置大背板上，而不是采用“正交連接器”直接相連，所以，該繞的路，一點(diǎn)都沒有少。

華為CE12800在設(shè)計(jì)之初，就考慮了一步到位的正交Clos架構(gòu)，這個(gè)架構(gòu)一直沿用至今，保持了高度的延續(xù)性，一套板卡適用于所有規(guī)格的機(jī)箱。

用戶即使在2012年產(chǎn)品發(fā)布之初就買入了交換機(jī)，用到2019年的今天，所有線卡任然保持通用，交換容量仍然可以平滑升級，與時(shí)俱進(jìn)。

這個(gè)時(shí)候，我們才能更深的理解，設(shè)計(jì)一款具備真正“十年生命周期”的產(chǎn)品，是對自己的挑戰(zhàn)，也對客戶負(fù)責(zé)任……

今天，我們再去看整個(gè)數(shù)據(jù)中心交換機(jī)市場，會(huì)發(fā)現(xiàn)主流品牌，基本都“正交”了，但他們大部分都經(jīng)過了幾次“迭代”，出現(xiàn)過好幾代機(jī)箱，從非正交→偽正交→真正交。這些機(jī)箱命名相似而不相同，線卡彼此不兼容，既造成用戶選擇困難，又不利于投資保護(hù)。

真正做到正交架構(gòu)一步到位的，似乎只有華為。

因?yàn)椋诋?dāng)年，要做成一款正交架構(gòu)的交換機(jī)，是對工程能力的巨大挑戰(zhàn)：例如關(guān)鍵器件“正交連接器”的成熟度、正交架構(gòu)對散熱的考驗(yàn)、大尺寸單板的設(shè)計(jì)和加工能力、整機(jī)及結(jié)構(gòu)精度控制等等。

說白了，正交架構(gòu)體現(xiàn)出各廠家研發(fā)能力的積累，它就像一個(gè)“放大鏡”，能充分展現(xiàn)優(yōu)秀設(shè)計(jì)的精妙之處，也能把低劣的設(shè)計(jì)放大數(shù)倍揭露出來。

邁過“正交架構(gòu)”這道坎，似乎前面一片坦途。

然而，接下來的每個(gè)“細(xì)枝末節(jié)”，都暗藏玄機(jī)。

正交架構(gòu)的后遺癥之一是散熱問題，交換機(jī)散熱主要依靠“風(fēng)冷”，從流體力學(xué)的角度看，正交架構(gòu)不容易實(shí)現(xiàn)冷熱風(fēng)道隔離，對散熱很不友好。

CE12800在早期架構(gòu)設(shè)計(jì)的時(shí)候，架構(gòu)師們仔細(xì)研究了國際標(biāo)準(zhǔn)組織對設(shè)備散熱的定義、要求及未來展望，并參觀了業(yè)界最先進(jìn)的數(shù)據(jù)中心，做了多種設(shè)計(jì)模型不斷的對比和優(yōu)化，最后決定面向未來把CE12800設(shè)計(jì)成“嚴(yán)格前后風(fēng)道”架構(gòu)。

以前，我們常常把交換機(jī)“前后風(fēng)道設(shè)計(jì)”當(dāng)成一種控標(biāo)參數(shù)來運(yùn)用，實(shí)際上，無論從行業(yè)標(biāo)準(zhǔn)要求還是數(shù)據(jù)中心的對“能效比”的追求，“前后風(fēng)道”都是剛需。

在高等級的數(shù)據(jù)中心機(jī)房，為了追求PUE指標(biāo)，會(huì)采用機(jī)柜“面對面、背靠背”交錯(cuò)排列，形成隔離的冷熱通道，這樣可以形成較強(qiáng)的冷熱對流循環(huán)，所以，設(shè)備采用前后風(fēng)道設(shè)計(jì)，才能達(dá)到這種對流效果。

作為一款“潛伏”在機(jī)房深處的設(shè)備，數(shù)據(jù)中心交換機(jī)有點(diǎn)“深藏功與名”，到底要不要重視顏值呢？

華為的工程師們陷入了激烈的思想斗爭：以前產(chǎn)品強(qiáng)調(diào)的是功能、性能規(guī)格，外觀上“抗造”就好，本質(zhì)上就是一“鐵疙瘩”，大家也都司空見慣。相對而言，企業(yè)網(wǎng)客戶對產(chǎn)品的外觀和質(zhì)感會(huì)更加關(guān)注，“高顏值”的產(chǎn)品更容易贏得客戶信任。

這個(gè)方針敲定以后，團(tuán)隊(duì)加大了工業(yè)設(shè)計(jì)投入，邀請知名的設(shè)計(jì)公司操刀，第一次從零開始討論產(chǎn)品的眉頭、走線齒、扳手、防塵門以及總體外觀，關(guān)注每一個(gè)細(xì)節(jié)……

在設(shè)計(jì)板卡面板時(shí)，為增強(qiáng)產(chǎn)品質(zhì)感，采用了更高成本的不銹鋼。 但測試時(shí)發(fā)現(xiàn)，面板在人觸摸后會(huì)留下指紋，可能影響觀感，雖然這不影響使用，畢竟用戶也不會(huì)天天跑到機(jī)房摸面板玩。

但是負(fù)責(zé)工業(yè)設(shè)計(jì)小伙兒不甘心，驗(yàn)證了多個(gè)方案，最終確保設(shè)備面板在人手觸摸、插拔應(yīng)用后，依然油光锃亮，“可以當(dāng)鏡子用”。

正是因?yàn)檫@種精益求精的精神，讓CE12800一發(fā)布，就引起了轟動(dòng)，很多用戶不光被強(qiáng)悍的性能和規(guī)格震撼，也被高顏值圈了粉。

硬件的坎，就這樣，一道道被華為人趟完了，但這只是一半。硬件，只決定交換機(jī)的下限，它讓交換機(jī)有了一副好皮囊，一副10年不落伍的好皮囊；軟件，才定義了交換機(jī)的上限，它賦予了交換機(jī)靈魂。

于是，接下來，華為人又趟過一道道軟件坎，實(shí)現(xiàn)了多個(gè)業(yè)內(nèi)第一：

業(yè)界首個(gè)實(shí)現(xiàn)集群的業(yè)務(wù)通道和控制通道物理分離，可靠性更高；

業(yè)界首個(gè)將“1虛多”虛擬比實(shí)現(xiàn)到16的數(shù)據(jù)中心交換機(jī)；

業(yè)界首個(gè)在同一平臺(tái)實(shí)現(xiàn)CSS集群和M-LAG技術(shù)的完美組合；

擁有歸一化軟件平臺(tái)，使得一套板卡可以支持所有軟件特性；

……

2012年6月，在邁過無數(shù)道坎之后，凝聚著華為VRP平臺(tái)、硬件和整機(jī)工程20余年深厚積累的數(shù)據(jù)中心交換機(jī)旗艦——CloudEngine12800終于震撼發(fā)布。

.

.

.

.

時(shí)至2019年

我想，當(dāng)年CE12800交換機(jī)的研發(fā)項(xiàng)目組，在殫精竭慮、埋頭攻關(guān)的時(shí)候，一定許過愿、吹過牛，憧憬過自己這款親手打磨的產(chǎn)品，未來能到什么樣的高度。

七年后，那些許過的愿、吹過NB，都成了真……，我們來看看成績單吧。

CE12800創(chuàng)造了一個(gè)神話：七年前奠定的體系架構(gòu)，其間未再做任何硬件迭代，延用至今，仍然是業(yè)界最具競爭力的交換機(jī)旗艦。這塊“金字招牌”，還可以掛上幾年。

然而，華為人不滿足，七年之癢，華為人“癢了”，他們的目光，瞄準(zhǔn)了下個(gè)10年。

隨著人工智能和機(jī)器學(xué)習(xí)等應(yīng)用的涌現(xiàn)，存儲(chǔ)（存儲(chǔ)介質(zhì)從HDD到SDD/NVMe）和計(jì)算（CPU到GPU甚至AI芯片）性能都得到了百倍提升，數(shù)據(jù)中心網(wǎng)絡(luò)也需要更大帶寬和效率支撐AI業(yè)務(wù)。

400GE光接口已經(jīng)開始踏上數(shù)據(jù)中心交換機(jī)的舞臺(tái)，隨之而來的，則是在功耗密度、高速互聯(lián)、硬件可靠性等方面的技術(shù)挑戰(zhàn)。

你的網(wǎng)絡(luò)準(zhǔn)備好了嗎？

曾經(jīng)，CE12800重新定義了云時(shí)代的交換機(jī)，而現(xiàn)在，華為數(shù)據(jù)中心交換機(jī)已經(jīng)完成新的關(guān)鍵技術(shù)突破和準(zhǔn)備。