將圓周率 (π) 計算至小數(shù)點后 314 萬億位究竟需要什么？

StorageReview 成功將圓周率 (π) 計算至小數(shù)點后 314 萬億位，刷新世界紀錄，但其目標絕非僅僅為了開創(chuàng)記錄。這是一項有意設計的極端工作負載，旨在對現(xiàn)代服務器的存儲系統(tǒng)進行極限壓力測試，并回答一個很現(xiàn)實的問題：單個系統(tǒng)是否能持續(xù)數(shù)月不間斷進行 PB 字節(jié)級別的 I/O 操作？

在一臺 DellPowerEdgeR7725 服務器上連續(xù)計算了 110 多天后，該實驗為上述問題給出了肯定的答案——前提是存儲架構必須能夠提供持續(xù)的性能和一致性，而不僅僅是短時間的峰值性能。

測試概覽

I/O 馬拉松：持續(xù)三個多月的高強度混合讀/寫壓力

單臺服務器配備超過 2.1 PB 的可用閃存容量

適用于長時間運行的高性能計算 (HPC) 和 AI 作業(yè)的關鍵要點：只有一致性才能確保長期運行后得出結果

為了構建所需的存儲架構，StorageReview 搭建了一套包含40 塊美光 6550 ION SSD的存儲系統(tǒng)，每一塊 SSD 均為 E3.S 外形規(guī)格，可用容量為 60TB。理解該大規(guī)模存儲系統(tǒng)（無論是 SSD 數(shù)量還是總容量）背后的“原因”，對于理解該紀錄在現(xiàn)實當中的意義至關重要。

為何該任務需要超過 2 PB 的閃存容量？

要計算位數(shù)如此之長的圓周率，重點不在于存儲最終結果。與計算過程所需的中間數(shù)據(jù)相比，最終結果本身所需的存儲空間相當小。

由于最后得出的圓周率高達 314 萬億位，該測試所用的應用程序 y-cruncher 需要巨大的暫存空間，以便：

存放用于 FFT 密集型數(shù)學運算的大型臨時數(shù)組

頻繁進行全面狀態(tài)檢查，以確保持續(xù)數(shù)周的工作不會前功盡棄

存放驗證數(shù)據(jù)，確保在長達數(shù)月的運行過程中數(shù)據(jù)準確一致

存放計算過程中使用的多精度中間值

為滿足這些要求，StorageReview 在系統(tǒng)中配置了超過 2.1 PB 的可用閃存容量。

40 塊美光 SSD 中的 34 塊被分配給 y-cruncher，作為暫存空間，形成高帶寬工作層

剩余的 6 塊SSD 配置為 RAID10 系統(tǒng)，用于存儲最終計算結果

峰值時，該工作負載需要多達 1.43 PiB 的存儲空間，單個檢查點占用的存儲空間高達數(shù)百 TB。該容量并非過度配置；而是為了安全、高效地完成計算所必需的容量。

圓周率計算的特點：持續(xù)的 I/O 操作

該測試并非一次旨在展示峰值性能的短時間基準測試。圓周率計算任務對存儲系統(tǒng)持續(xù)施加壓力，長達三個多月，期間完全沒有停機或恢復的機會。

該工作負載呈現(xiàn)出先進高性能計算和 AI 環(huán)境所共有的特征：

持續(xù)高帶寬讀寫操作

長時間持續(xù)高強度寫入操作

要求性能可預測，對突然出現(xiàn)的大量延遲容忍度極低

操作風險——存儲故障可能導致數(shù)周的工作成果付諸東流

在整個運行期間，該系統(tǒng)始終保持在線狀態(tài)，從未因任何故障而需要恢復運行。

這一點至關重要，因為許多生產(chǎn)工作負載的失敗并非源于峰值性能不足，而是源于系統(tǒng)隨時間推移而產(chǎn)生的不穩(wěn)定或不一致。長時間運行的作業(yè)會放大存儲堆棧中的微小問題。

單服務器架構中的高密度 NVMe

長期以來，具有上述特征的工作負載通常會促使團隊采用分布式存儲系統(tǒng)或多節(jié)點集群，以獲得足夠的容量和聚合 I/O。

然而，StorageReview 僅使用單臺服務器機箱就完成了全部計算。

通過在一臺 DellPowerEdgeR7725 服務器中部署 40 塊大容量 NVMe SSD，該系統(tǒng)實現(xiàn)了：

無需外部存儲陣列即可擁有 PB 級容量

總帶寬足以支撐長達數(shù)月的計算

一種簡化的運行模型，組件和故障域更少

這里的關鍵不在于每個工作負載都需要在一臺服務器上配備數(shù)十個硬盤。相反，該測試凸顯了現(xiàn)代高密度 NVMe 存儲如何改變人們在系統(tǒng)架構上的權衡取舍。某些情況下，過去需要采用橫向擴展方案來處理的工作負載，現(xiàn)在可以通過縱向擴展方案來解決。

與現(xiàn)代 HPC 和 AI 工作負載的相關性

盡管該工作負載較為特殊，但在運行過程中觀察到的存儲行為與某些實際生產(chǎn)環(huán)境中的需求高度吻合，這些環(huán)境包括：

大規(guī)模 AI 訓練：經(jīng)常需要生成 TB 級別的檢查點數(shù)據(jù)，且存儲性能會直接影響訓練時間

推理管道和特征存儲庫：可預測的延遲比峰值吞吐量更為重要

科學模擬與建模：任務可能運行數(shù)周或數(shù)月，重啟成本高昂

高級分析管道：大型工作數(shù)據(jù)集必須靠近計算所在位置

在上述每種情況下，存儲的一致性以及隨時間推移的耐久性都會直接影響任務的完成、系統(tǒng)利用率以及操作風險。

該記錄中的關鍵技術要點

該測試的目的不僅僅是為了創(chuàng)造一個數(shù)學上的里程碑。它展示了當今以存儲為中心的計算所涉及的若干現(xiàn)實情況：

PB 級暫存工作負載可完全在 NVMe 上運行

大容量 SSD 能承受極端 I/O 壓力，不會出現(xiàn)性能驟降

如今的單節(jié)點架構能夠處理以往僅能由集群處理的工作負載

性能的一致性和耐久性與原始帶寬同樣重要

這些結論表明，存儲系統(tǒng)日益重要，決定著先進計算工作負載的可行性和效率。

對數(shù)據(jù)中心戰(zhàn)略與基礎設施規(guī)劃的影響

該測試不僅達成了一個技術里程碑，更凸顯了存儲技術如何日益深刻地影響著現(xiàn)代數(shù)據(jù)中心的運營成效和架構選擇。

對企業(yè)和 IT 部門領導者而言，最重要的關注點并非峰值吞吐量，而是大規(guī)模運行時可預測的性能。長期運行的工作負載，無論是 AI 訓練、大規(guī)模分析還是科學計算，都會放大效率低下問題和故障所造成的后果。當存儲成為瓶頸時，昂貴的計算資源便會閑置，成本隨之攀升，并導致交付延宕。

該測試表明，大容量 NVMe 能夠在較長時間內持續(xù)為計算提供數(shù)據(jù)，可消除存儲瓶頸，減少意外情況，降低運營風險。

規(guī)劃基礎設施升級時的考慮因素

當團隊在規(guī)劃針對 AI 及其他數(shù)據(jù)密集型工作負載的升級時，以下幾項評估標準變得越來越重要：

持續(xù)的吞吐量而非突發(fā)性能
短時間的基準測試很難代表實際工作負載。在混合讀寫負載下持續(xù)數(shù)月的一致性，比在幾分鐘內達到的峰值數(shù)據(jù)更為重要。

每臺服務器的性能密度
將 PB 級容量和 I/O 整合到單一系統(tǒng)中的能力，對功耗、空間、網(wǎng)絡以及管理開銷都會產(chǎn)生影響。

延遲可預測性與尾部行為
平均性能并不能全面反映運行情況。異常的延遲可能會導致流程停滯、檢查點推遲，進而導致任務失敗。

在穩(wěn)定負載下的耐久性和可靠性
長時間運行的任務會暴露出在短時間測試中無法發(fā)現(xiàn)的問題。隨著利用率趨于穩(wěn)定，存儲系統(tǒng)必須始終保持足夠高的性能和數(shù)據(jù)完整性。

簡化運營
減少對外部存儲架構或大型集群的依賴，可縮小故障的影響范圍，并簡化部署和擴展。

根據(jù)數(shù)據(jù)中心戰(zhàn)略選擇存儲方案

從該測試中，我們可以獲得的一個更廣泛的啟示是：現(xiàn)代 NVMe 存儲讓我們能夠重新思考如何降低復雜性。在某些場景下，通過在更少的節(jié)點上采用更高的存儲密度來實現(xiàn)縱向擴展，可以消除橫向擴展的需求。這有助于實現(xiàn)：

更少的服務器和互連設備

單位工作量的功耗和散熱需求更低

簡化的自動化與生命周期管理

更快的部署和恢復時間

這并非意味著不再需要分布式架構，只是為基礎設施團隊提供了更多切實可行的設計方案。

隨著 AI 和分析工作負載的規(guī)模不斷擴大，持續(xù)時間不斷加長，存儲相關決策將產(chǎn)生越來越大的影響，受影響的方面不僅包括性能，還包括成本效益、韌性以及組織響應速度。

總結

314 萬億位圓周率的計算容不得絲毫差錯。該系統(tǒng)在持續(xù)負載之下連續(xù)運行了 110 多天，按照常理，應該能暴露出其在性能、耐久性或可靠性方面的問題。

然而，沒有出現(xiàn)任何問題。

相反，測試結果表明，美光大容量 NVMe SSD 能夠提供可持續(xù)的性能、運行穩(wěn)定性和性能密度，其表現(xiàn)足以顯著影響基礎設施的設計選擇。

本文探討的主題并非圓周率，而是：當存儲系統(tǒng)專為支持超大規(guī)模、長期運行的數(shù)據(jù)密集型工作負載而設計時，能夠實現(xiàn)哪些可能，且不會出現(xiàn)任何問題。

本文作者

Mike Serrano

數(shù)據(jù)中心營銷策略和內容負責人

Prasidha Prabhu

產(chǎn)品市場營銷高級經(jīng)理