狂歡背后的技術(shù)棧網(wǎng)上輕松購物體驗實際上是背后復(fù)雜的技術(shù)組成的，這是一個簡化的通用電商系統(tǒng)架構(gòu)，由很多產(chǎn)品和業(yè)務(wù)組件組成。

圖2 簡化電商系統(tǒng)架構(gòu)

這些業(yè)務(wù)組件核心系統(tǒng)今年100%上云，底層承載的技術(shù)就是阿里云的計算，存儲，網(wǎng)絡(luò)，數(shù)據(jù)庫等等一系列產(chǎn)品和解決方案。 因為處理量非常巨大，這些業(yè)務(wù)產(chǎn)品、組件和模塊之間會采用分布式部署方式，產(chǎn)品與產(chǎn)品、組件與組件、模塊和模塊之間會存在海量的通信要求，承載這個通信要求的技術(shù)平臺就是阿里云網(wǎng)絡(luò)的飛天洛神平臺。

什么是飛天洛神阿里云的技術(shù)平臺叫飛天操作體系，其目標是將一個數(shù)據(jù)中心，乃至遍布全球的多個數(shù)據(jù)中心變成一臺計算機，對內(nèi)管理數(shù)據(jù)中心的服務(wù)器和各種物理資源和設(shè)施，對外統(tǒng)一的提供公共服務(wù)和對應(yīng)的編程接口。

圖3 阿里云飛天操作系統(tǒng)

飛天操作系統(tǒng)的內(nèi)核提供最基礎(chǔ)的系統(tǒng)服務(wù)，是對基礎(chǔ)資源的虛擬化，核心是計算、存儲和網(wǎng)絡(luò)資源的虛擬化，其中虛擬網(wǎng)絡(luò)服務(wù)（如虛擬專有網(wǎng)絡(luò)VPC，SDN控制器，負載均衡網(wǎng)元等）是由洛神平臺提供，總結(jié)一句話，洛神是阿里云飛天操系統(tǒng)內(nèi)核的核心組件，提供了云計算網(wǎng)絡(luò)的全部功能。

飛天洛神特點洛神伴隨著阿里云飛天系統(tǒng)誕生，到目前已經(jīng)有10年的歷史，支撐了阿里云20個region，數(shù)百萬級別虛擬機之間的如絲般順滑的訪問體驗，這些與洛神10年來的技術(shù)沉淀息息相關(guān)。

全自研 目前阿里云網(wǎng)絡(luò)有業(yè)界最豐富的產(chǎn)品，從使用場景角度分為云上網(wǎng)絡(luò)、跨地域網(wǎng)絡(luò)、混合云網(wǎng)絡(luò)和智能網(wǎng)絡(luò)。

圖4 阿里云業(yè)界最豐富的云網(wǎng)絡(luò)產(chǎn)品

這些豐富產(chǎn)品基于洛神平臺開發(fā)，核心業(yè)務(wù)代碼全自研，到目前為止，已經(jīng)達到數(shù)百萬行，不管是底層的軟件系統(tǒng)，還是硬件設(shè)備形態(tài)，其技術(shù)方案、業(yè)務(wù)邏輯完全自主設(shè)計和開發(fā)，所以阿里云的虛擬交換機也稱為AVS（Ali Virtual Switch），從轉(zhuǎn)發(fā)表項設(shè)計，至報文處理，都不同于業(yè)界開源的OVS（Open Virtual Switch）。

軟件定義網(wǎng)絡(luò)

從洛神誕生的第一天起，阿里云的網(wǎng)絡(luò)架構(gòu)遵循軟件定義網(wǎng)絡(luò)的理念，管控和轉(zhuǎn)發(fā)分離，網(wǎng)元只負責數(shù)據(jù)轉(zhuǎn)發(fā)，管理配置以及表項由SDN網(wǎng)絡(luò)控制器生成和下發(fā)。

圖5 阿里云軟件定位網(wǎng)絡(luò)架構(gòu)

轉(zhuǎn)發(fā)網(wǎng)元不管是軟件方式，還是硬件方式，都支持可編程，所有業(yè)務(wù)邏輯都是通過軟件代碼實現(xiàn)，兼容SDN控制器之間自定義通道通信協(xié)議，軟硬件一體化，兼容可擴展性。

海量規(guī)模 阿里云目前有數(shù)百萬的公有云租戶，還有阿里集團這種超大規(guī)模的用戶，通過海量的虛擬機協(xié)同完成豐富的業(yè)務(wù)。量變引起質(zhì)變，洛神平臺要支持這些海量租戶，海量虛擬機之間的網(wǎng)絡(luò)通信，網(wǎng)元的管理，表項下發(fā)性能，數(shù)據(jù)轉(zhuǎn)發(fā)性能不是小規(guī)模網(wǎng)絡(luò)可以相比擬的。目前實際運行環(huán)境，洛神已經(jīng)支持單租戶超過10W+虛擬機實例、單租戶100G+公網(wǎng)帶寬、單租戶20T+混合云帶寬。

飛天洛神如何支撐雙11“不是任何一朵云都能撐得住雙11”，阿里集團核心系統(tǒng)首次100%運行在公共云上，54.4萬筆/秒的訂單峰值，970PB的單日數(shù)據(jù)處理量是承載在虛擬化的分布式系統(tǒng)上的，分布式節(jié)點之間的通信，依賴的就是底層的云網(wǎng)絡(luò)基礎(chǔ)設(shè)施，就是洛神平臺提供的能力。 雙11對云網(wǎng)絡(luò)，對云網(wǎng)絡(luò)的技術(shù)平臺洛神有哪些具體的挑戰(zhàn)，洛神如何支撐的呢，讓我們一一揭秘。

超大規(guī)模 阿里集團核心業(yè)務(wù)全面上云，隨之而來的最大的挑戰(zhàn)超大規(guī)模。2018年雙11云上單個VPC的規(guī)模已經(jīng)接近10w，今年還需要成倍增加，達到單VPC 30w的規(guī)模，業(yè)界有如此規(guī)模的用戶屈指可數(shù)，基本集中在個別超大規(guī)模互聯(lián)網(wǎng)公司，但不管是否自身就是公有云提供商，都沒有將自己的核心業(yè)務(wù)部署在公有云上，所以單個VPC支撐如此規(guī)模的虛擬化實例，沒有先例。同時在轉(zhuǎn)發(fā)帶寬的要求上，去年整個云上公網(wǎng)和跨域出口流量5Tbps左右，今年這個流量增長到了數(shù)十Tbps。

網(wǎng)絡(luò)設(shè)備邏輯上包括管控和數(shù)據(jù)轉(zhuǎn)發(fā)兩個組成部分，首先在管控層面，集中式的SDN控制器使用傳統(tǒng)方式，轉(zhuǎn)發(fā)表項的下發(fā)性能會很低，結(jié)果會導(dǎo)致虛擬實例的上線速度很慢，影響業(yè)務(wù)開通效率，包括業(yè)務(wù)切換效率。洛神的管控系統(tǒng)采用集群和分層架構(gòu)，集中能力提升的同時，將大量虛擬實例上線的處理下層，大大提升管控配置和表項的處理性能。

圖6 洛神分層管控架構(gòu)

數(shù)據(jù)轉(zhuǎn)發(fā)層面，洛神提供了軟硬件一體化的技術(shù)架構(gòu)，虛擬交換機在傳統(tǒng)DPDK架構(gòu)基礎(chǔ)上進行了升級，支持可編程硬件實現(xiàn)的快速轉(zhuǎn)發(fā)。

圖7 基于可編程硬件的洛神虛擬交換機

基于可編程硬件的虛擬交換機相對于傳統(tǒng)軟件虛擬交換機，轉(zhuǎn)發(fā)性能提升達到10倍左右，時延降低1倍以上。公網(wǎng)和跨域帶寬的快速增加，也對DPDK虛擬網(wǎng)關(guān)的性能提出了極大挑戰(zhàn)，一方面是設(shè)備規(guī)模的增加，導(dǎo)致管理復(fù)雜度，供應(yīng)成本的增加，另外CPU單核能力的約束，無法支撐某些突發(fā)和大帶寬單流的場景，影響其它正常流量的通信。

圖8 阿里云洛神軟硬件一體網(wǎng)關(guān)

在虛擬網(wǎng)關(guān)上，通過技術(shù)架構(gòu)的升級，支持軟硬件一體化的硬件網(wǎng)關(guān)，業(yè)務(wù)邏輯通過可編程的P4語言實現(xiàn)，對外接口兼容軟件虛擬化網(wǎng)關(guān)，實現(xiàn)統(tǒng)一的擴展性?？删幊逃布W(wǎng)關(guān)相對于傳統(tǒng)X86軟件架構(gòu)，轉(zhuǎn)發(fā)性能提升數(shù)十倍，同時有效避免了大帶寬單流對單個CPU core的沖擊，整個雙11期間的流量洪峰在整個洛神軟硬件一體化架構(gòu)下，呈現(xiàn)出來的是“涓涓細流”。

穩(wěn)、穩(wěn)、穩(wěn) 阿里集團核心業(yè)務(wù)100%運行在公有云上，穩(wěn)定性是第一要素，容不得半點差錯，不僅僅單個節(jié)點的穩(wěn)定性要做到極致，整個網(wǎng)絡(luò)架構(gòu)，解決方案層面也要保證絕對的穩(wěn)定，做到多重防護，萬無一失。洛神平臺，架構(gòu)層面保證網(wǎng)絡(luò)通信的穩(wěn)定性，業(yè)務(wù)按AZ（Available Zone）部署，公網(wǎng)和跨域訪問的網(wǎng)關(guān)在可用區(qū)內(nèi)集群部署，避免單點故障的影響，同時在可用區(qū)之間互為備份，避免可用區(qū)的故障。

圖9 洛神網(wǎng)關(guān)類設(shè)備可靠性部署架構(gòu)

復(fù)雜流量模型 整個阿里巴巴經(jīng)濟體的業(yè)務(wù)系統(tǒng)非常復(fù)雜，不僅僅包括電商購物系統(tǒng)，還包括螞蟻支付系統(tǒng)，還有大數(shù)據(jù)分析系統(tǒng)，菜鳥物流體系等等，不同的系統(tǒng)對網(wǎng)絡(luò)通信需求的要求也不相同，業(yè)務(wù)流量的優(yōu)先級也不一樣，有些對延時敏感，有些對帶寬要求高，有些對丟包敏感，這些紛繁復(fù)雜的業(yè)務(wù)如何在統(tǒng)一的底層云網(wǎng)絡(luò)中承載，對云網(wǎng)絡(luò)的技術(shù)平臺洛神提出了區(qū)別普通公有云租戶的不同挑戰(zhàn)。以阿里集團在線業(yè)務(wù)和離線業(yè)務(wù)為例，離線業(yè)務(wù)主要就、是大數(shù)據(jù)，熟悉的人可能都比較清楚，大數(shù)據(jù)的出名的流量大戶，經(jīng)常會有一些突發(fā)的流量將物理網(wǎng)絡(luò)的帶寬占滿，導(dǎo)致丟包，而在線業(yè)務(wù)一般流量不大，但對時延和丟包敏感。這就要求云網(wǎng)絡(luò)支持流量等級區(qū)分，擁塞是優(yōu)先丟棄低優(yōu)先級的流量，保證離線和在線業(yè)務(wù)的和諧共處。

圖10 業(yè)務(wù)對網(wǎng)絡(luò)的差異需求

云網(wǎng)絡(luò)洛神平臺支持不同業(yè)務(wù)的QoS，對于大帶寬、丟包非敏感業(yè)務(wù)，設(shè)置通信報文低優(yōu)先級，突發(fā)流量不會導(dǎo)致高優(yōu)先級報文被丟棄，復(fù)雜的流量模型也能“和平共處”。

高效運維 物理規(guī)律決定了沒有100%可靠的網(wǎng)絡(luò)，一方面阿里云網(wǎng)絡(luò)追求最高的可靠性，一方面遵循沒有永遠不失效的單點邏輯這個規(guī)律，故障一定會發(fā)生，無法避免，但需要有故障發(fā)生時快速恢復(fù)，快速定位的能力，在雙11之前的各種壓測和故障演練之中，洛神平臺不斷的錘煉網(wǎng)絡(luò)運維能力，做到故障快速監(jiān)控，快速恢復(fù)，快速定位。阿里云網(wǎng)絡(luò)洛神平臺的運維，運營平臺，內(nèi)部叫齊天系統(tǒng)，這是一個分布式，大數(shù)據(jù)智能化運維系統(tǒng)，通過大數(shù)據(jù)，AI分析能力，集合阿里云海量數(shù)據(jù)，實現(xiàn)故障的快速定位和逃逸。

圖11 阿里云齊天智能網(wǎng)絡(luò)系統(tǒng)架構(gòu)

通過底層網(wǎng)絡(luò)網(wǎng)絡(luò)和虛擬網(wǎng)絡(luò)數(shù)據(jù)流，日志，設(shè)備狀態(tài)等等數(shù)據(jù)信息，通過以blink為底座的大數(shù)據(jù)分析平臺，在業(yè)務(wù)方感知故障之前，快速判斷網(wǎng)絡(luò)的監(jiān)控狀態(tài)，以及快速識別故障的根因，實現(xiàn)故障的自動逃逸。同時每種典型故障，都錄入到日常故障演練中，做到網(wǎng)絡(luò)運維的真正高效，隨時可用。智能的網(wǎng)絡(luò)，也是阿里云洛神平臺保障雙11業(yè)務(wù)的一個利器，為雙11的平穩(wěn)保駕護航。

洛神還在不停的進步，從最初的洛神1.0 DPDK網(wǎng)元演進洛神2.0軟硬件一體化網(wǎng)元，網(wǎng)絡(luò)能力有了質(zhì)的提升，支撐了阿里集團核心業(yè)務(wù)的100%上云，未來在彈性、開放能力上會更進一步，提供給用戶更加美好的體驗。