開放數(shù)據(jù)中心峰會(huì)（ODCC2020）在北京召開，峰會(huì)圍繞數(shù)據(jù)中心新基建為主題，有數(shù)據(jù)中心領(lǐng)域及相關(guān)行業(yè)的眾多專家與會(huì)。在9月16日網(wǎng)絡(luò)分論壇上，阿里巴巴的高級(jí)技術(shù)專家王永燦先生就阿里近年來自研交換機(jī)的實(shí)踐和探索進(jìn)行了分享。

阿里巴巴高級(jí)技術(shù)專家王永燦

王永燦：隨著阿里云業(yè)務(wù)的快速發(fā)展，我們的數(shù)據(jù)中心網(wǎng)絡(luò)已經(jīng)發(fā)展成為一個(gè)超大規(guī)模的網(wǎng)絡(luò)，傳統(tǒng)的商業(yè)設(shè)備在運(yùn)維的穩(wěn)定性和效率都是帶來了很大的挑戰(zhàn)，網(wǎng)絡(luò)芯片在摩爾定律下仍然保持高速狂奔，基本上每兩年芯片帶寬就會(huì)翻一倍，所以阿里數(shù)據(jù)中心網(wǎng)絡(luò)已經(jīng)全面走向自研。

我們的自研交換機(jī)是盒式的單芯片交換機(jī)，整個(gè)數(shù)據(jù)中心實(shí)現(xiàn)了整集群全自研，包括自研光模塊、自研DAC?；谧匝薪粨Q機(jī)，實(shí)現(xiàn)了多平面可擴(kuò)展的新一代網(wǎng)絡(luò)架構(gòu)，實(shí)現(xiàn)單集群可部署超過10萬臺(tái)服務(wù)器

自研交換機(jī)和商業(yè)設(shè)備到底有什么區(qū)別？商業(yè)設(shè)備面對(duì)的是多客戶、多場景，所以特點(diǎn)是功能非常全，什么場景都可以用，數(shù)據(jù)中心對(duì)功能的要求不多，但對(duì)穩(wěn)定性和運(yùn)維的效率有非常大的挑戰(zhàn)，自研交換機(jī)正是這個(gè)場景的專用設(shè)備。

首先我們?cè)诠δ苌弦髽O簡，因?yàn)楹唵嗡苑€(wěn)定，而實(shí)際上要做到真正的簡單比復(fù)雜更難。另一方面，在特定場景上，需要做到極致，來提升運(yùn)維效率。舉個(gè)汽車換輪的例子，家用汽車有一個(gè)備胎，更換一般需要幾個(gè)小時(shí)。但是在一級(jí)方程式中，賽車需要在幾秒內(nèi)完成4個(gè)輪胎的更換，因此需要人和車的完美結(jié)合，整體能力的輸出，自研交換機(jī)也一樣，通過自研將架構(gòu)、管控、運(yùn)維和研發(fā)結(jié)合起來，形成一個(gè)內(nèi)部閉環(huán)的、迭代的體系，來提升整體網(wǎng)絡(luò)的能力。下面，在幾個(gè)代表性的場景上，進(jìn)行詳細(xì)的介紹。

首先大規(guī)模網(wǎng)絡(luò)穩(wěn)定性的最重要一環(huán)是監(jiān)控。而商業(yè)設(shè)備是一個(gè)黑盒，因此主要以外部流量相關(guān)的監(jiān)控為主，而自研交換機(jī)是白盒，是系統(tǒng)內(nèi)部的代碼級(jí)監(jiān)控。其次，我們把運(yùn)維經(jīng)驗(yàn)與設(shè)備系統(tǒng)結(jié)合，設(shè)備可以主動(dòng)告警、自修復(fù)。另外，在大規(guī)模網(wǎng)絡(luò)里，如果告警有噪聲，那么這個(gè)監(jiān)控幾乎是不可用的，因此自研機(jī)在本地進(jìn)行數(shù)據(jù)分析，消除噪聲，精確告警。最后，在監(jiān)控?cái)?shù)據(jù)的顆粒度上，從分鐘級(jí)提升到秒級(jí)，可以看到任何一秒的流量數(shù)據(jù)，使監(jiān)控進(jìn)入了秒級(jí)時(shí)代。因此雖然自研是新系統(tǒng)，新芯片，新硬件，但是比商業(yè)機(jī)更穩(wěn)定，至今保持著0故障的記錄。

在數(shù)據(jù)中心網(wǎng)絡(luò)中，設(shè)備的硬件故障占比高，而硬件故障有兩個(gè)痛點(diǎn)：第一是硬件宕機(jī)故障，處理不可控，第二是，根因定位困難，重復(fù)發(fā)生。因此我們?cè)谧匝猩弦肓朔?wù)器的BMC，并自主研發(fā)了BMC的OS ＆ndash； AliBMC。通過AliBMC，對(duì)硬件部件級(jí)監(jiān)控，對(duì)CPU和轉(zhuǎn)發(fā)芯片定制化監(jiān)控，使硬件故障可分析、可定位。另外通過標(biāo)準(zhǔn)化底層接口，與硬件解耦，從差異化的設(shè)備，變?yōu)榻y(tǒng)一的軟件系統(tǒng)，完成了運(yùn)維設(shè)備到運(yùn)維軟件的轉(zhuǎn)變。最后我們將AliBMC向ODM進(jìn)行了開源，來促進(jìn)白盒的生態(tài)發(fā)展。

隨著自研的規(guī)模部署，設(shè)備鏈路也進(jìn)入了百萬級(jí)。而以往的鏈路排查，是人工排查，靠換靠試，幾乎每天都需要花大量的人力、物力。鏈路排查的難點(diǎn)在于，涉及多器件，而且信號(hào)串聯(lián)，互相干擾，一個(gè)器件有問題，多個(gè)器件狀態(tài)異常，而且還與軟件、配置、甚至機(jī)房環(huán)境、現(xiàn)場的人都相關(guān)，所以時(shí)間不可控，10天半月都很正常。因此我們?cè)谧匝猩希ㄟ^AliNOS將設(shè)備軟硬件技術(shù)、光模塊技術(shù)、運(yùn)維經(jīng)驗(yàn)深度融合，研發(fā)了鏈路自動(dòng)診斷系統(tǒng) －－ 明眸，通過明眸，對(duì)鏈路實(shí)時(shí)監(jiān)控、自動(dòng)分析原因，建立數(shù)據(jù)大盤，實(shí)現(xiàn)百萬級(jí)鏈路的智能化運(yùn)維。

最后，問題修復(fù)、新功能發(fā)布，都必須依賴設(shè)備的升級(jí)，而大規(guī)模網(wǎng)絡(luò)升級(jí)對(duì)效率和業(yè)務(wù)無損有極高的要求，因此我們?cè)谧匝猩蠌睦渖?jí)全面轉(zhuǎn)向了熱升級(jí)。AliNOS是一個(gè)開放的標(biāo)準(zhǔn)Linux，所有模塊都以Docker的方式部署，各個(gè)容器間通過DB通信。通過DB進(jìn)行數(shù)據(jù)的存儲(chǔ)、恢復(fù)，實(shí)現(xiàn)了基于Docker的熱升級(jí)，做到升級(jí)對(duì)業(yè)務(wù)無損、0感知。另外通過AliNOS屏蔽了硬件差異，所有硬件型號(hào)一個(gè)版本、一個(gè)補(bǔ)丁，1萬臺(tái)和1臺(tái)無差別升級(jí)，簡化了運(yùn)維復(fù)雜度，提升了運(yùn)維效率

最后總結(jié)一下，通過自研交換機(jī)，我們把設(shè)備、運(yùn)維、架構(gòu)和管控進(jìn)行結(jié)合，形成了一個(gè)內(nèi)部的閉環(huán)，所以在很多場景都要做更多的智能化運(yùn)維，以及針對(duì)高性能的新技術(shù)進(jìn)行創(chuàng)新。

責(zé)任編輯：gt