隨著氣候預(yù)測、氣候模擬、智慧氣象、并行計(jì)算集群、氣象大數(shù)據(jù)平臺、高性能數(shù)值計(jì)算、氣象高性能計(jì)算集群的發(fā)展，人類步入全新的人工智能大數(shù)據(jù)時(shí)代。

“雷聲大雨點(diǎn)小”“久晴大霧必陰,久雨大霧必晴”……自古以來，人們從云卷云舒、風(fēng)停雨歇中學(xué)會了觀天象，并將這些經(jīng)驗(yàn)用于出行、農(nóng)事活動中。進(jìn)入現(xiàn)代社會，天文學(xué)、流體力學(xué)等學(xué)科的快速發(fā)展，氣象站、氣象氣球和衛(wèi)星等工具的利用，人類對氣象的理解邁進(jìn)了新的臺階。

對于如何增強(qiáng)氣象科技自主創(chuàng)新能力，賦能高質(zhì)量發(fā)展。有專業(yè)人士指出一方面是利用人工智能、大數(shù)據(jù)等技術(shù)把氣象服務(wù)做得更加精細(xì)化、準(zhǔn)確化；另一方面是創(chuàng)新行業(yè)解決方案，挖掘更多行業(yè)或場景的氣象需求，讓氣象服務(wù)更加緊密結(jié)合生產(chǎn)生活。

大數(shù)據(jù)如何滿足

未來氣象預(yù)報(bào)的發(fā)展

超級計(jì)算機(jī)、大數(shù)據(jù)應(yīng)用將能夠滿足未來氣象預(yù)報(bào)在三個(gè)關(guān)鍵領(lǐng)域的需求：

管理和利用龐大數(shù)據(jù)集

環(huán)境數(shù)據(jù)的數(shù)據(jù)量和多樣性將以指數(shù)形式成倍增加，將對基礎(chǔ)設(shè)施管理和存儲這些數(shù)據(jù)提出極大的需求，也要求更大計(jì)算能力模擬使用。這也為公立和私營機(jī)構(gòu)研究人員專業(yè)化服務(wù)提供了新機(jī)遇。

提高模型的分辨率

高分辨率模型是一個(gè)關(guān)鍵因素，可以更好地評估長期氣候系統(tǒng)狀態(tài)，提高氣象預(yù)報(bào)能力，特別是對災(zāi)害性天氣的預(yù)報(bào)能力。美國國家大氣研究中心和大學(xué)的研究人員使用超級計(jì)算機(jī)對于颶風(fēng)的模擬，已經(jīng)提高到500米分辨率，相當(dāng)于幾個(gè)街區(qū)的預(yù)報(bào)。

解決技術(shù)障礙

鑒于天氣建模和分析變得更加數(shù)據(jù)密集型，需要更大計(jì)算能力，研究人員必須更加關(guān)注性能瓶頸，如內(nèi)存、I / O、互連延遲和帶寬。天氣模擬需要成千上萬微處理器并行運(yùn)算，突破硬件和軟件的可擴(kuò)展性限制。此外，可擴(kuò)展的操作系統(tǒng)、編譯器和應(yīng)用程序庫正在發(fā)揮作用。最終，底層技術(shù)基礎(chǔ)設(shè)施必須緊密集成，支持模擬和分析工作流程。

大數(shù)據(jù)疊加AI算法

天氣實(shí)現(xiàn)分鐘即、公里級預(yù)報(bào)

在過去，全球廣泛采用的天氣預(yù)報(bào)模式是數(shù)值模擬法，通過實(shí)驗(yàn)室內(nèi)的大型計(jì)算機(jī)作數(shù)值計(jì)算，用物理方程表達(dá)天氣演變，從而預(yù)測一段時(shí)間內(nèi)大氣運(yùn)動狀態(tài)和氣象。盡管很長一段時(shí)間的天氣預(yù)測都是依靠數(shù)值模擬法，但是數(shù)值模擬由于精準(zhǔn)度和準(zhǔn)確率有限，慢慢達(dá)到了瓶頸，難以滿足現(xiàn)代社會的發(fā)展需求。

中國氣象局高級工程師卡贊表示：天氣預(yù)報(bào)和人工智能有著天然耦合的關(guān)系。天氣預(yù)報(bào)需要大量的、多種多樣的資料，人工智能天生就是處理大數(shù)據(jù)的工具；現(xiàn)有資料的時(shí)空數(shù)據(jù)密度不夠，人工智能具有對不完全不確定信息的推斷能力；此外人工智能還可以總結(jié)專家的知識經(jīng)驗(yàn)，提高平均預(yù)測水平以及利用統(tǒng)計(jì)與數(shù)值模式中無法利用的抽象預(yù)報(bào)知識等。

人工智能預(yù)測主要的方法是用大量的訓(xùn)練數(shù)據(jù)加上人工智能模型，通過數(shù)據(jù)進(jìn)行計(jì)算優(yōu)化的方法，可以和數(shù)值模擬進(jìn)行很好的互補(bǔ)。

直接采用端到端的AI技術(shù)，通過長時(shí)間收集到的雷達(dá)云圖運(yùn)動的時(shí)間序列數(shù)據(jù)及人工智能和模式數(shù)據(jù)的融合，進(jìn)行預(yù)測云在未來移動的方向、下雨積雨云運(yùn)動的方向等。

天氣是一個(gè)混沌系統(tǒng)，從現(xiàn)有技術(shù)看，不可能實(shí)現(xiàn)100%準(zhǔn)確，但人工智能、大數(shù)據(jù)等新興技術(shù)的加入，使得預(yù)報(bào)結(jié)果與真實(shí)情況之間不斷接近，目前已可實(shí)現(xiàn)公里級、分鐘級的格點(diǎn)化天氣預(yù)報(bào)。

通過人工智能和大數(shù)據(jù)的加持，智慧氣象已經(jīng)在各個(gè)領(lǐng)域發(fā)揮作用，其優(yōu)勢也逐漸顯現(xiàn)。與傳統(tǒng)氣象預(yù)測手段相比，人工智能具有數(shù)據(jù)處理能力更強(qiáng)、預(yù)測準(zhǔn)確性更高、精細(xì)化程度在空間維度達(dá)到公里級甚至百米級，時(shí)間維度達(dá)到分鐘級、并與其他的生產(chǎn)生活相關(guān)的指數(shù)等相結(jié)合。

用好預(yù)報(bào)工具

“ 氣象+” 賦能經(jīng)濟(jì)社會發(fā)展

人們?nèi)粘５纳a(chǎn)生活與天氣變化之間的關(guān)系密切，而災(zāi)害性天氣對農(nóng)業(yè)、交通、經(jīng)濟(jì)、生活等方面影響更加顯著。

國家應(yīng)急管理部發(fā)布的2021年全國自然災(zāi)害基本情況數(shù)據(jù)顯示，2021年全年各種自然災(zāi)害共造成1.07億人次受災(zāi)；倒塌房屋16.2萬間，不同程度損壞198.1萬間；農(nóng)作物受災(zāi)面積11739千公頃；直接經(jīng)濟(jì)損失3340.2億元。

如何盡量規(guī)避天氣風(fēng)險(xiǎn)并利用好天氣為經(jīng)濟(jì)社會發(fā)展服務(wù)成為當(dāng)今社會的一道“必答題”。國務(wù)院印發(fā)的《氣象高質(zhì)量發(fā)展綱要(2022-2035年)》提出，要筑牢氣象防災(zāi)減災(zāi)第一道防線，提高氣象災(zāi)害監(jiān)測預(yù)報(bào)預(yù)警能力；提高氣象服務(wù)經(jīng)濟(jì)高質(zhì)量發(fā)展水平，實(shí)施氣象為農(nóng)服務(wù)提質(zhì)增效行動、海洋強(qiáng)國氣象保障行動、交通強(qiáng)國氣象保障行動、“氣象+” 賦能行動。

在國家層面，氣象科技賦能高質(zhì)量發(fā)展要把氣象技術(shù)觀測設(shè)備，衛(wèi)星觀測站基礎(chǔ)設(shè)備能力提升。對氣象服務(wù)企業(yè)來說，利用好這些設(shè)備和技術(shù)，創(chuàng)新行業(yè)解決方案，賦能各個(gè)需求場景和行業(yè)，更深入的為經(jīng)濟(jì)社會發(fā)展服務(wù)。

在農(nóng)業(yè)領(lǐng)域，農(nóng)業(yè)是國民經(jīng)濟(jì)的基礎(chǔ)，“三農(nóng)”工作與氣象工作息息相關(guān)。墨跡天氣負(fù)責(zé)人黃渤海表示“在農(nóng)業(yè)種植決策上，通過預(yù)測天氣，農(nóng)民可以選擇合適的時(shí)間進(jìn)行春播秋收，通過判斷整年的氣候情況和水土選擇合適的作物種植，增加產(chǎn)量。耕作后，農(nóng)民可以通過天氣預(yù)報(bào)進(jìn)行防災(zāi)減災(zāi)，減少損失。此外，通過預(yù)測降水情況還可以幫助農(nóng)民減少灌溉成本，提升對水資源的利用效率。”

藍(lán)海大腦氣象大數(shù)據(jù)平臺

項(xiàng)目背景

某省是我國受臺風(fēng)、暴雨、干旱、寒潮、大風(fēng)、冰雹、凍害、龍卷風(fēng)等災(zāi)害影響最嚴(yán)重地區(qū)之一。在氣象災(zāi)害相對頻發(fā)的情況下，某省氣象局在服務(wù)經(jīng)濟(jì)社會發(fā)展中作用日益突出，提高氣象觀測、數(shù)據(jù)共享和精細(xì)化預(yù)報(bào)水平變得至關(guān)重要。通過與藍(lán)海大腦合作，擺脫原有IT基礎(chǔ)構(gòu)架對于氣象工作的限制，實(shí)施彈性的統(tǒng)一架構(gòu)，實(shí)現(xiàn)了高水平的氣象觀測、預(yù)測和服務(wù)業(yè)務(wù)。

客戶需求

由于天氣預(yù)報(bào)模擬具有計(jì)算量大、通訊密集、I/O要求高和規(guī)范的模式系統(tǒng)化集成等特點(diǎn)，對高性能計(jì)算系統(tǒng)的計(jì)算性能有著超高的要求，具體要求表現(xiàn)如下：

計(jì)算量大

氣象預(yù)報(bào)本身具有時(shí)效性，要求定時(shí)定點(diǎn)自動運(yùn)行，無需人工干預(yù)。一般每天在固定的2-4個(gè)時(shí)段運(yùn)行，每個(gè)時(shí)段2小時(shí)內(nèi)運(yùn)行完。因此，必須使用計(jì)算性能卓越的高性能計(jì)算系統(tǒng)來進(jìn)行并行計(jì)算。

通訊密集

由于采用并行計(jì)算，因此各CPU間的通訊量很大。主要體現(xiàn)在WRF各計(jì)算域間的通訊及各類不同數(shù)據(jù)劃分間的通訊。因此，要求本高性能計(jì)算系統(tǒng)在具有高性能計(jì)算的同時(shí)，兼具高性能的通訊網(wǎng)絡(luò)。

I/O要求高

由于涉及大量的用戶和大量的小文件讀寫，氣象模式對整個(gè)系統(tǒng)的IOPS性能有較高要求，存儲系統(tǒng)的穩(wěn)定性和可用性對整個(gè)業(yè)務(wù)系統(tǒng)的運(yùn)行至關(guān)重要，要求存儲系統(tǒng)具有故障自愈功能。另外，考慮到氣象數(shù)據(jù)的周期性訪問特點(diǎn)，需要支持基于策略的分級存儲功能。

模式系統(tǒng)集成化

從軟件的處理流程上看，一般分為前處理、主模式和后處理。整個(gè)模式系統(tǒng)從前處理到主模式再到后處理，需要系統(tǒng)具有較高的穩(wěn)健性，所以優(yōu)秀的模式軟件應(yīng)用專家支持、硬件級的系統(tǒng)技術(shù)支持，對預(yù)報(bào)模式的良好使用也是關(guān)鍵。

解決方案

藍(lán)海大腦依托接收的常規(guī)氣象觀探測資料、氣象衛(wèi)星資料、雷達(dá)資料、數(shù)值預(yù)報(bào)產(chǎn)品等多源數(shù)據(jù)，基于定量反演、機(jī)器學(xué)習(xí)、云計(jì)算、云存儲、大數(shù)據(jù)分析、 快速循環(huán)同化、虛擬現(xiàn)實(shí)等前沿技術(shù)，研發(fā)了具備多元化高性能算力、精準(zhǔn)化短臨預(yù)報(bào)、一站多源數(shù)據(jù)融合及多樣化氣象服務(wù)等優(yōu)勢的氣象大數(shù)據(jù)平臺，面向整個(gè)氣象行業(yè)提供信息化系統(tǒng)頂層設(shè)計(jì)、 軟件研發(fā)應(yīng)用、數(shù)據(jù)共享服務(wù)等，同時(shí)也向道路、航空、物流、農(nóng)業(yè)等行業(yè)領(lǐng)域開展針對性的精準(zhǔn)氣象預(yù)報(bào)保障服務(wù)。

藍(lán)海大腦為滿足客戶需求，結(jié)合行業(yè)特點(diǎn)從計(jì)算節(jié)點(diǎn)、網(wǎng)絡(luò)、存儲、功耗、擴(kuò)展、散熱等方面出發(fā)，提出完善的解決方案。

計(jì)算節(jié)點(diǎn)

采用高性能英特爾酷睿系列處理器，計(jì)算節(jié)點(diǎn)采用雙路混搭方案。四路計(jì)算節(jié)點(diǎn)依靠其突出的計(jì)算能力與內(nèi)存容量，可在一臺機(jī)器上完成中小模式的處理分析，減少資料預(yù)處理、計(jì)算、分析的時(shí)間，提高計(jì)算效率。

高速網(wǎng)絡(luò)

采用高性能專用高速IB網(wǎng)絡(luò)，將計(jì)算節(jié)點(diǎn)、管理節(jié)點(diǎn)、登錄節(jié)點(diǎn)全線速互聯(lián)，保證集群通訊網(wǎng)絡(luò)的高性能。并將NAS存儲通過萬兆連入高速網(wǎng)絡(luò)，配合集群并行文件系統(tǒng)，實(shí)現(xiàn)全部節(jié)點(diǎn)的數(shù)據(jù)共享。

存儲系統(tǒng)

綜合以往存儲硬件解決方案，系統(tǒng)應(yīng)用要求存儲設(shè)備具備的特點(diǎn)及藍(lán)海大腦在多年高性能計(jì)算領(lǐng)域的實(shí)施經(jīng)驗(yàn)，充分滿足用戶現(xiàn)階段使用及未來擴(kuò)展需求。

低功耗

解決方案不僅強(qiáng)調(diào)整體運(yùn)算效率，同時(shí)強(qiáng)調(diào)單位體積內(nèi)的計(jì)算能力以及單位能耗可提供的計(jì)算能力。

可擴(kuò)展

計(jì)算系統(tǒng)采用機(jī)架式服務(wù)器，既可保證節(jié)點(diǎn)內(nèi)的擴(kuò)展性，又可保證整個(gè)集群的橫向擴(kuò)展性?？傮w上，滿足用戶對未來集群的擴(kuò)展需求。

液冷散熱

藍(lán)海大腦液冷服務(wù)器 HD210 H系列突破傳統(tǒng)風(fēng)冷散熱模式，采用風(fēng)冷和液冷混合散熱模式——服務(wù)器內(nèi)主要熱源 CPU 利用液冷冷板進(jìn)行冷卻，其余熱源仍采用風(fēng)冷方式進(jìn)行冷卻。通過這種混合制冷方式，可大幅提升服務(wù)器散熱效率，同時(shí)，降低主要熱源 CPU 散熱所耗電能，并增強(qiáng)服務(wù)器可靠性。經(jīng)檢測，采用液冷服務(wù)器配套基礎(chǔ)設(shè)施解決方案的數(shù)據(jù)中心年均 PUE 值可降低至 1.2 以下。

用戶收益

資源重新整合，實(shí)現(xiàn)更好的業(yè)務(wù)連續(xù)性

通過應(yīng)用的分區(qū)分域部署，顯著提高關(guān)鍵應(yīng)用程序的性能、穩(wěn)定性和容量，從而更好的保障業(yè)務(wù)連續(xù)性。

氣象信息分發(fā)服務(wù)更高效

幫助客戶建立更高效、及時(shí)的氣象信息分發(fā)服務(wù)，以減輕極端天氣事件對某省社會和經(jīng)濟(jì)結(jié)構(gòu)的影響。

數(shù)據(jù)安全性提升，人力投入降低

整合后的架構(gòu)將加強(qiáng)災(zāi)難恢復(fù)計(jì)劃，降低管理復(fù)雜性和成本，解放氣象局的團(tuán)隊(duì)，使其專注于更具戰(zhàn)略性的任務(wù)。

運(yùn)營敏捷性提升，快速響應(yīng)資源請求

穩(wěn)定、安全的新存儲，可有效地管理和保存大量雷達(dá)數(shù)據(jù)。統(tǒng)一的基礎(chǔ)架構(gòu)將有助于優(yōu)化運(yùn)營敏捷性,使氣象局能夠快速響應(yīng)開發(fā)團(tuán)隊(duì)對資源的請求。

審核編輯 黃昊宇