2023 年 8 月至 2024 年 5 月，華為云 GaussDB 助力國家統(tǒng)計局順利完成第五次全國經濟普查（簡稱“五經普”）單位清查和普查登記數(shù)據采集處理工作。在此期間，全國 200 多萬名普查員通過手持終端設備，依托華為云 GaussDB 對全國范圍內的 1 億多普查對象進行普查數(shù)據采集與處理，為國家宏觀經濟決策提供了重要基礎數(shù)據。

一、千挑萬選，落定 GaussDB，打造全局“一朵云”

“五經普”是一項重要的國情國力調查，肩負著摸清我國經濟家底、推動高質量發(fā)展的重要任務。國家統(tǒng)計局歷時三年建設的統(tǒng)計云技術平臺，作為統(tǒng)計云建設工程的關鍵支撐，在統(tǒng)計數(shù)據的采集、審核、驗收及匯總等關鍵業(yè)務場景中，首次在“五經普”實現(xiàn)了大規(guī)模的應用。

“五經普”在數(shù)據采集方式上進行了革新，通過部署在統(tǒng)計云技術平臺上的國家統(tǒng)計局數(shù)據采集處理系統(tǒng)直接進行數(shù)據填報，在業(yè)務高并發(fā)、海量數(shù)據處理和數(shù)據實時性、準確性、一致性等方面，對應用系統(tǒng)提出了更高要求。

作為支撐統(tǒng)計云業(yè)務運行的重要基礎設施，選擇一款合適的數(shù)據庫至關重要，也并非易事。經過深度市場調研和分析研究，華為云 GaussDB 在可用性、性能和遷移等方面，能夠較好地滿足國家統(tǒng)計局業(yè)務工作要求。

此外，華為公司與國家統(tǒng)計局有多年合作基礎，華為終端、網絡、服務器和存儲產品已在第三次全國農業(yè)普查、第四次全國經濟普查、第七次全國人口普查等數(shù)據采集處理場景中得到應用。隨著 GaussDB 在統(tǒng)計云工程中的成功應用，更是實現(xiàn)了全局“一朵云”的架構，推動了統(tǒng)計現(xiàn)代化改革發(fā)展。

二、“五經普”多業(yè)務場景下，細數(shù) GaussDB 面臨的諸多挑戰(zhàn)

“五經普”采集模式的創(chuàng)新與落地，離不開統(tǒng)計云技術平臺的強大資源支撐、多樣化的功能調用以及豐富的實踐經驗。其中，華為云 GaussDB 數(shù)據實時匯集與分析能力，更是支撐統(tǒng)計云平臺實現(xiàn)了“一網通辦，一云統(tǒng)管”。在“五經普”業(yè)務保障過程中，GaussDB 主要面臨兩大挑戰(zhàn)：

（一）采集高峰期業(yè)務高并發(fā)導致系統(tǒng)壓力大?！拔褰浧铡睌?shù)據采集處理系統(tǒng)需確保全國 200 多萬普查員、168 萬“一套表”單位（規(guī)模企業(yè)）、26 萬統(tǒng)計機構人員用戶能夠高效、準確地填報和處理 1.2 億普查對象的普查數(shù)據。

（二）“五經普”業(yè)務邏輯要求在同一段時間內完成數(shù)據的填報（寫入）和審核驗收（讀?。┎僮??！拔褰浧铡逼詹榈怯洈?shù)據采集時間是 2024 年 1 月 1 日至 4 月 30 日，在此期間，各級統(tǒng)計機構用戶需要同步開展數(shù)據審核、驗收和匯總。系統(tǒng)運行時，壓力主要集中在上午 9 點至 12 點和下午 2 點至 5 點。在實現(xiàn)數(shù)據的快速讀寫（業(yè)務的增刪改查 SQL 語句量約為每秒百萬條）的同時，系統(tǒng)還需具備強大的數(shù)據分析能力，能夠完成上萬條數(shù)據的匯總分析任務，以確保數(shù)據的實時性、準確性和一致性。

三、華為云 GaussDB 提供更優(yōu)解決方案，有效承載業(yè)務壓力

作為統(tǒng)計云技術平臺的有力基礎支撐，GaussDB 通過分布式技術架構部署與優(yōu)化策略，確保了數(shù)據采集任務的高效執(zhí)行與精確完成，為統(tǒng)計云技術平臺的穩(wěn)定運行與高效運作提供強力支持。

（一）GaussDB 分布式部署，頂住五經普業(yè)務高峰壓力。一是“五經普”數(shù)據采集處理系統(tǒng)采用 GaussDB 分布式多節(jié)點（15 節(jié)點），單庫容量最大支撐達到 100TB，前期通過在線擴容，實現(xiàn)對業(yè)務的最小化影響。二是借助 GaussDB 分布式執(zhí)行框架，根據業(yè)務 SQL 生成最優(yōu)執(zhí)行計劃，并利用并行執(zhí)行等技術，使得每秒事務處理數(shù)（TPS）輕松突破 10 萬大關，顯著提升分布式執(zhí)行效率。三是 GaussDB 多集群節(jié)點、線程池和連接池等技術能力，在高并發(fā)場景下，可實現(xiàn)毫秒級查詢響應，有效應對業(yè)務高峰。同時，針對分布式數(shù)據庫開展了一系列優(yōu)化，共包括 134 類慢 SQL，有效地降低數(shù)據庫的運行壓力，保障系統(tǒng)的穩(wěn)定運行。

（二）DRS 數(shù)據實時同步，“兩”庫并行，保障數(shù)據高效入庫和實時分析。華為云 GaussDB 采用采集庫與匯總庫分離策略，由采集庫存儲采集數(shù)據，然后通過數(shù)據復制服務（DRS）將采集數(shù)據快捷匯聚到匯總庫，以便更加高效的執(zhí)行匯總任務。在此過程中，DRS 支持將其他數(shù)據庫遷移過來的全量數(shù)據，一次性同步至 GaussDB 中。同時，通過實時解析源庫日志，將解析到的增量數(shù)據轉換為 DRS 內存存儲格式，達到 100MB/s 的數(shù)據處理速度，確保絕大多數(shù)情況下的秒級響應時延，從而滿足業(yè)務對讀寫分離的需求。

四、GaussDB 助力譜寫統(tǒng)計現(xiàn)代化改革新篇章

GaussDB 高可用、高性能、易遷移等技術能力，保障了統(tǒng)計云圓滿完成統(tǒng)計業(yè)務工作，為上層統(tǒng)計核心業(yè)務系統(tǒng)提供合規(guī)保障，確保統(tǒng)計業(yè)務的連續(xù)性。在“五經普”單位清查數(shù)據合并場景中，數(shù)據處理耗時從原來的 18 分鐘縮短至 2 分鐘；在“五經普”普查登記數(shù)據采集場景中，高峰期單個節(jié)點的并發(fā)量突破了 12000TPS，成功支撐超過 30 萬用戶同時在線，每秒處理業(yè)務量超過 10 萬筆，峰值查詢量達每秒 120 萬次，采集響應時延低于 20 毫秒。此外，在完成“五經普”的數(shù)據采集任務后，GaussDB 還支撐了國家統(tǒng)計局核心業(yè)務系統(tǒng)——聯(lián)網直報系統(tǒng)，為數(shù)據的實時上報、高效處理和深度分析提供了堅實的技術支撐。

統(tǒng)計云平臺創(chuàng)新成果在中國統(tǒng)計信息化建設史上開創(chuàng)了先河，實現(xiàn)了“多個首次”，全面承載國家統(tǒng)計局的核心業(yè)務系統(tǒng)，以數(shù)字化轉型驅動統(tǒng)計現(xiàn)代化改革。未來，華為云 GaussDB 將與國家統(tǒng)計局繼續(xù)攜手，共同推動統(tǒng)計高質量發(fā)展，以統(tǒng)計現(xiàn)代化更好服務中國式現(xiàn)代化。

審核編輯 黃宇