隨著網(wǎng)絡(luò)的普及，為了滿足日益增長(zhǎng)的需求、應(yīng)對(duì)大量的用戶請(qǐng)求，對(duì)網(wǎng)絡(luò)流量的要求越來越高。而網(wǎng)絡(luò)通訊的的核心是報(bào)文的轉(zhuǎn)發(fā)，Linux通過內(nèi)核協(xié)議棧進(jìn)行轉(zhuǎn)發(fā)。在轉(zhuǎn)發(fā)的過程中，報(bào)文先進(jìn)入內(nèi)核區(qū)然后拷貝到用戶區(qū)，供給上層應(yīng)用程序處理，再加上協(xié)議棧中嵌入了大量用于對(duì)接的接口，對(duì)性能也造成了大量消耗，不適合于處理大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)包。

如果能讓應(yīng)用程序直接接管網(wǎng)絡(luò)數(shù)據(jù)包處理、內(nèi)存管理以及CPU調(diào)度，那么性能可以得到一個(gè)質(zhì)的提升，因而DPDK技術(shù)應(yīng)時(shí)而生。

Intel? DPDK全稱Intel Data Plane Development Kit，是intel提供的數(shù)據(jù)平面開發(fā)工具集，為Intel architecture（IA）處理器架構(gòu)下用戶空間高效的數(shù)據(jù)包處理提供庫函數(shù)和驅(qū)動(dòng)的支持，它不同于Linux系統(tǒng)以通用性設(shè)計(jì)為目的，而是專注于網(wǎng)絡(luò)應(yīng)用中數(shù)據(jù)包的高性能處理。目前已經(jīng)驗(yàn)證可以運(yùn)行在大多數(shù)Linux操作系統(tǒng)上，包括FreeBSD 9.2、Fedora release18、Ubuntu 12.04 LTS、RedHat Enterprise Linux 6.3和Suse EnterpriseLinux 11 SP2等。

DPDK應(yīng)用程序是運(yùn)行在用戶空間上利用自身提供的數(shù)據(jù)平面庫來收發(fā)數(shù)據(jù)包，繞過了Linux內(nèi)核協(xié)議棧對(duì)數(shù)據(jù)包處理過程。Linux內(nèi)核將DPDK應(yīng)用程序看作是一個(gè)普通的用戶態(tài)進(jìn)程，包括它的編譯、連接和加載方式和普通程序沒有什么兩樣。

1 DPDK實(shí)現(xiàn)原理

DPDK實(shí)現(xiàn)提升速度的主要模塊如下：

網(wǎng)絡(luò)模塊，傳統(tǒng)Linux網(wǎng)絡(luò)層數(shù)據(jù)包流程：硬件中斷—>向內(nèi)核線程分發(fā)數(shù)據(jù)包—>軟件中斷—>線程在協(xié)議棧中處理數(shù)據(jù)包—>通知用戶層—>用戶層接收數(shù)據(jù)包—>網(wǎng)絡(luò)層—>邏輯層—>業(yè)務(wù)層。

DPDK網(wǎng)絡(luò)層數(shù)據(jù)包流程：硬件中斷—>放棄中斷—>用戶層通過設(shè)備映射接收數(shù)據(jù)包—>用戶層協(xié)議?！?網(wǎng)絡(luò)層—>邏輯層—>業(yè)務(wù)層。

如上述流程所示，DPDK攔截中斷機(jī)制，不觸發(fā)后續(xù)中斷和流程流程，繞過協(xié)議棧直接從網(wǎng)卡驅(qū)動(dòng)獲取到數(shù)據(jù)包，把包提交給用戶空間，減去了中斷和內(nèi)核中內(nèi)存拷貝消耗的時(shí)間，加快了數(shù)據(jù)包的處理速度。

內(nèi)存管理模塊

HugePages相比默認(rèn)4k頁表的優(yōu)點(diǎn)：1、HugePages 會(huì)在系統(tǒng)啟動(dòng)時(shí)，直接分配并保留對(duì)應(yīng)大小的內(nèi)存區(qū)域，沒有管理員的介入，是不會(huì)釋放和改變的。2、HugePages 不會(huì)swap，沒有頁表的換入和換出。3、降低Page Table查詢負(fù)載。4、由于虛擬內(nèi)存需要兩步操作才能實(shí)際對(duì)應(yīng)到物理內(nèi)存地址，因此更少的Pages減輕了Page Table訪問熱度，避免了Page Table熱點(diǎn)瓶頸問題。

DPDK使用HugePage的思想就是讓程序盡量獨(dú)占內(nèi)存防止內(nèi)存換出，擴(kuò)大頁表提高Hash命中率；此外，DPDK在內(nèi)存分配上還可通過proc提供的內(nèi)存信息，使CPU盡量使用靠近其所在NUMA節(jié)點(diǎn)的內(nèi)存，避免訪問遠(yuǎn)程內(nèi)存影響效率。

內(nèi)核管理模塊

Affinity是進(jìn)程的一個(gè)屬性，這個(gè)屬性指明了進(jìn)程調(diào)度器能夠把這個(gè)進(jìn)程調(diào)度到哪些CPU上。在Linux中，可利用CPU Affinity 把一個(gè)或多個(gè)進(jìn)程綁定到一個(gè)或多個(gè)CPU上。CPU Affinity分為2種，分別為soft affinitysoft affinity和hard affinity。soft affinity僅是一個(gè)建議，如果不可避免，調(diào)度器還是會(huì)把進(jìn)程調(diào)度到其它的CPU上。hard affinity是調(diào)度器必須遵守的規(guī)則。

使用Affinity的優(yōu)點(diǎn)：

1、增加CPU緩存的命中率。CPU之間是不共享緩存的，如果進(jìn)程頻繁的在各個(gè)CPU間進(jìn)行切換，需要不斷的使舊CPU的Cache失效。如果進(jìn)程只在某個(gè)CPU上執(zhí)行，則不會(huì)出現(xiàn)失效的情況。在多個(gè)線程操作的是相同的數(shù)據(jù)的情況下，如果把這些線程調(diào)度到一個(gè)處理器上，大大的增加了CPU緩存的命中率。

2、適合Time-Sensitive應(yīng)用。在Real-Time或Time-Sensitive應(yīng)用中，我們可以把系統(tǒng)進(jìn)程綁定到某些CPU上，把應(yīng)用進(jìn)程綁定到剩余的CPU上。典型的設(shè)置是，把應(yīng)用綁定到某個(gè)CPU上，把其它所有的進(jìn)程綁定到其它的CPU上

2 OVS-DPDK和原生OVS對(duì)比

原生OVS數(shù)據(jù)流處理過程如下首先查看有沒有事先訂閱的事件，如果有直接轉(zhuǎn)交給該對(duì)應(yīng)的處理函數(shù)，然后匹配流表，最后按照傳統(tǒng)網(wǎng)絡(luò)協(xié)議棧進(jìn)行處理

1、數(shù)據(jù)包到達(dá)物理網(wǎng)卡后上傳給Datapath；

2、 Datapath 檢查緩存中的是否有Fast Path可以直接轉(zhuǎn)發(fā)這個(gè)包，如果在緩存中沒有找到記錄，內(nèi)核通過Netlink將消息發(fā)送給用戶態(tài)。在用戶態(tài)有線程監(jiān)聽消息，一旦有消息，則觸發(fā)用戶空間的數(shù)據(jù)包upcall處理；3、vswitchd檢查數(shù)據(jù)庫以查看數(shù)據(jù)包的目的端口位置； 4、vswitchd對(duì)未知路徑的數(shù)據(jù)包尋找流表規(guī)則，刷新內(nèi)核態(tài)流表內(nèi)容； 5、 將流表信息發(fā)送給Datapath，刷新內(nèi)核態(tài)流表內(nèi)容，重發(fā)數(shù)據(jù)包； 6、再次查詢流表，按照所獲取數(shù)據(jù)包精確轉(zhuǎn)發(fā)規(guī)則進(jìn)行數(shù)據(jù)包轉(zhuǎn)發(fā)操作。 ? ?OVS-DPDK方式數(shù)據(jù)流處理如下

用戶態(tài)進(jìn)程直接接管網(wǎng)卡收發(fā)的數(shù)據(jù)包，采用“IO獨(dú)占核”技術(shù)，即每個(gè)端口分配一個(gè)核專門用于數(shù)據(jù)收發(fā)，輪詢式處理方式代替中斷式處理，顯著提高IO性能。

3?DPDK技術(shù)在AWCloud產(chǎn)品中的應(yīng)用AWCloud云計(jì)算管理平臺(tái)使用DPDK技術(shù)，配合CPU Affinity和HugePages技術(shù)，加速虛擬機(jī)和物理機(jī)處理數(shù)據(jù)包的速度。 產(chǎn)品中攜帶OVS-DPDK軟件，可用于替換原生OVS，在用戶進(jìn)行開啟DPDK操作后，原OVS軟件包即刻進(jìn)行卸載，更替為OVS-DPDK版本，調(diào)整所有OVS網(wǎng)橋相關(guān)設(shè)備的屬性，并且保留原有的OVS上的所有網(wǎng)橋、端口設(shè)備；該操作在物理機(jī)重啟后仍然生效。

fqj