交換機(jī)重要嗎？

網(wǎng)絡(luò)矩陣是現(xiàn)代化數(shù)據(jù)中心性能的關(guān)鍵。這對(duì)數(shù)據(jù)中心的交換機(jī)提出了很多要求，而其中最基本的要求，是為所有客戶提供等量的帶寬，以便均勻地共享資源。如果沒有公平的網(wǎng)絡(luò)，所有應(yīng)用都會(huì)因吞吐量惡化、延遲、分布式應(yīng)用緩慢等原因，而出現(xiàn)性能不可預(yù)測(cè)的情況。

為了回答交換機(jī)是否重要這個(gè)問題，Tolly Group 對(duì) NVIDIA Spectrum-3 12.8Tbps 交換機(jī)的云、AI 和存儲(chǔ)應(yīng)用性能進(jìn)行了基準(zhǔn)測(cè)試，并將結(jié)果與典型的（商品級(jí)）12.8Tbps 數(shù)據(jù)中心交換機(jī)的性能進(jìn)行了同類比較。

Tolly Group

Tolly Group 是一家第三方獨(dú)立 IT 行業(yè)實(shí)驗(yàn)室，30 多年來，一直從事對(duì) IT 產(chǎn)品的性能測(cè)試和實(shí)際評(píng)估。Tolly Group 的定位是提供證據(jù)證明產(chǎn)品達(dá)到，或超越營(yíng)銷主張，并且不產(chǎn)生與 Tolly Group 公平測(cè)試憲章相沖突的報(bào)告。這一性能證明可以讓客戶知道自己是否可以放心地進(jìn)行部署。

分布式應(yīng)用的性能（AI 和 SPARK）

每個(gè)交換機(jī)都有一個(gè)緩沖區(qū)以防止丟包。每當(dāng)送入交換機(jī)的流量超過可以送出交換機(jī)的流量時(shí)，緩沖區(qū)就會(huì)通過吸收數(shù)據(jù)包突發(fā)，來保護(hù)應(yīng)用性能。這有時(shí)被稱為 incast 流量模式。AI 和 Spark 等分布式應(yīng)用因其性質(zhì)而會(huì)受到 incast 流量模式的困擾。

兩種交換機(jī)在其數(shù)據(jù)表中顯示二者緩沖區(qū)大小相同。但 Tolly Group 發(fā)現(xiàn)，NVIDIA Spectrum-3 能夠吸收的數(shù)據(jù)包是典型數(shù)據(jù)中心交換機(jī)的 4 - 8 倍，因此需要 8 臺(tái)商品級(jí)交換機(jī)才能提供相當(dāng)于 Spectrum-3 交換機(jī)的數(shù)據(jù)包吸收能力。

最大吸收能力固然重要，但光考慮這一點(diǎn)還不夠。交換機(jī)必須均勻吸收來自所有發(fā)送方的微突發(fā)流量，一個(gè)節(jié)點(diǎn)的延緩就會(huì)使整個(gè)集群變慢。

Tolly Group 發(fā)現(xiàn)，Spectrum-3 在所有情況下都能均勻吸收來自所有發(fā)送方的微突發(fā)流量，而商品級(jí)交換機(jī)則會(huì)使多個(gè)節(jié)點(diǎn)變慢，導(dǎo)致計(jì)算資源未得到充分利用。

公有云和私有云性能

公有云和私有云環(huán)境中會(huì)出現(xiàn)“吵鬧的鄰居”問題，即當(dāng)多個(gè)租戶使用一個(gè)共享資源，如 CPU 周期或網(wǎng)絡(luò)帶寬時(shí)，出現(xiàn)了一個(gè)租戶占用了這些資源，這個(gè)租戶被稱為“吵鬧的鄰居”。

“吵鬧的鄰居”問題可能因交換機(jī)租戶之間的隔離能力不足，使得一個(gè)租戶的使用而降低另一個(gè)租戶的體驗(yàn)。數(shù)據(jù)中心交換機(jī)必須保護(hù)租戶不受其他租戶活動(dòng)的影響，既要防止惡意攻擊，也要防止“吵鬧的鄰居”的影響。

Tolly Group 發(fā)現(xiàn)，Spectrum-3 交換機(jī)完全保護(hù)了每個(gè)租戶。而其他的交換機(jī)卻未能保護(hù)租戶，因?yàn)椤俺臭[的鄰居”的流量模式，使一些租戶的成為受害者，嚴(yán)重匱乏帶寬。

在擴(kuò)展多租戶環(huán)境時(shí)，Spectrum-3 同樣保護(hù)了每個(gè)租戶。但在這種情況下，“吵鬧的鄰居”問題規(guī)模遠(yuǎn)大于商品級(jí)交換機(jī)，擴(kuò)展到交換機(jī)端口總數(shù)的一半。換言之，多達(dá) 70 個(gè)端口可能成為受害者并出現(xiàn)帶寬匱乏。

如果一個(gè)交換機(jī)不能保護(hù)租戶免受“吵鬧的鄰居”的影響，該交換機(jī)就不符合云架構(gòu)交換機(jī)的基本要求。

換句話說：使用 Spectrum-3，“吵鬧的鄰居”流量模式就不會(huì)產(chǎn)生影響。而如果使用商品級(jí)交換機(jī)，受害租戶就會(huì)出現(xiàn)帶寬匱乏。

存儲(chǔ)性能

如今，數(shù)據(jù)中心的大多數(shù)存儲(chǔ)流量都在以太網(wǎng)上運(yùn)行。具體而言，存儲(chǔ)通常使用 9KB 的巨幀。因此，這種數(shù)據(jù)包的大小變得比以往任何時(shí)候都重要，現(xiàn)在大多數(shù)交換機(jī)都支持 9KB 默認(rèn)數(shù)據(jù)包大小。

但典型數(shù)據(jù)中心交換機(jī)僅僅支持 9KB 數(shù)據(jù)包，這并不意味著它們?yōu)榇鎯?chǔ)應(yīng)用進(jìn)行了優(yōu)化。為了測(cè)量和比較每個(gè)交換機(jī)的存儲(chǔ)性能水平，Tolly Group 使用 IXIA 的標(biāo)準(zhǔn)網(wǎng)絡(luò)測(cè)試工具來測(cè)量 9KB 數(shù)據(jù)包。

Tolly Group 發(fā)現(xiàn)，Spectrum-3 在所有情況下都能為所有存儲(chǔ)節(jié)點(diǎn)提供可預(yù)測(cè)和公平的性能。商品級(jí)交換機(jī)在使用 9KB 數(shù)據(jù)包時(shí)，顯示出不公平的流量共享，迫使一個(gè)存儲(chǔ)節(jié)點(diǎn)的運(yùn)行速度比其他存儲(chǔ)節(jié)點(diǎn)慢 17 倍。這些不可預(yù)測(cè)的結(jié)果嚴(yán)重影響了存儲(chǔ)性能。

這會(huì)對(duì)現(xiàn)實(shí)世界產(chǎn)生影響。比如本來計(jì)劃并預(yù)計(jì)運(yùn)行一個(gè)存儲(chǔ)備份的時(shí)間為 2 小時(shí)，但最終用了 34 小時(shí)才完成。

混合應(yīng)用性能

大多數(shù)數(shù)據(jù)中心運(yùn)行多種不同的應(yīng)用，每個(gè)應(yīng)用數(shù)據(jù)包大小不盡相同。即使是單個(gè)應(yīng)用也會(huì)使用各種不同大小的數(shù)據(jù)包。再加上控制流量模式，最終，網(wǎng)絡(luò)上可能會(huì)出現(xiàn)更多不同大小的數(shù)據(jù)包。

Tolly Group 發(fā)現(xiàn)，無論數(shù)據(jù)包大小如何，Spectrum-3 始終能夠?qū)崿F(xiàn)公平性。而商品級(jí)交換機(jī)上，使用較小數(shù)據(jù)包的應(yīng)用總會(huì)陷入帶寬匱乏。更糟糕的是，隨著數(shù)據(jù)包大小差距的增加，小數(shù)據(jù)包的情況變得越發(fā)糟糕。

在商品級(jí)交換機(jī)中，混合數(shù)據(jù)包大小所帶來的帶寬匱乏會(huì)對(duì)云、存儲(chǔ)和分布式應(yīng)用產(chǎn)生不利的影響。

為何會(huì)如此？

一言以蔽之，因?yàn)榧軜?gòu)。

Spectrum 交換機(jī)有一個(gè)現(xiàn)代的、完全共享的緩沖區(qū)架構(gòu)，以及靈活的流水線架構(gòu)，該架構(gòu)專為優(yōu)化數(shù)據(jù)中心應(yīng)用性能和安全而設(shè)計(jì)。進(jìn)一步了解評(píng)估結(jié)果，請(qǐng)下載新的 Tolly Group 性能評(píng)估報(bào)告。該報(bào)告解釋了 Spectrum 交換機(jī)和商品級(jí)交換機(jī)的架構(gòu)及其優(yōu)勢(shì)與劣勢(shì)。

架構(gòu)是一個(gè)真正的零和游戲。但與其他許多廠商不同，NVIDIA 同時(shí)開發(fā)了 ASIC 和交換機(jī)，使用戶可以兼得“魚與熊掌”，并且其出色的結(jié)果也得到了 Tolly Group 驗(yàn)證的。

編輯：jq