華為再出新品：GaussDB(for Influx)數(shù)據(jù)庫的魅力了解一下

華為自用的GaussDB(for Influx)數(shù)據(jù)庫逐漸深入大眾視野，到底值不值得期待？

``

時(shí)序數(shù)據(jù)庫想必大家都有所耳聞，現(xiàn)在在很多行業(yè)內(nèi)都有所應(yīng)用，它的優(yōu)點(diǎn)就是可以根據(jù)時(shí)間段，每一分每一秒都精準(zhǔn)地記錄和整理數(shù)據(jù)。最大的缺點(diǎn)也就顯而易見，因?yàn)楫a(chǎn)生數(shù)據(jù)的頻率過快，導(dǎo)致數(shù)據(jù)量過大，一天可以產(chǎn)生幾十GB，甚至達(dá)到TB級(jí)，久而久之形成了海量的時(shí)序數(shù)據(jù)，數(shù)據(jù)的存儲(chǔ)就成了最大的問題。如何在長(zhǎng)久地保存這些數(shù)據(jù)的同時(shí)壓縮數(shù)據(jù)？傳統(tǒng)的數(shù)據(jù)庫肯定做不到，那么有沒有企業(yè)能突破這個(gè)瓶頸？

目前而言，華為推出的GaussDB(for Influx)時(shí)序數(shù)據(jù)庫是最能達(dá)到業(yè)內(nèi)標(biāo)準(zhǔn)的。

GaussDB(for Influx)時(shí)序數(shù)據(jù)庫是華為在數(shù)據(jù)存儲(chǔ)領(lǐng)域摸爬滾打多年后，整合華為云多方面能力，大膽推出的技術(shù)創(chuàng)新。這一次也是華為內(nèi)部經(jīng)過多次反復(fù)調(diào)試達(dá)到了預(yù)期的效果后才決定將GaussDB(for Influx)時(shí)序數(shù)據(jù)庫對(duì)外開放，幫助上云企業(yè)解決相關(guān)業(yè)務(wù)問題。像華為這種大企業(yè)能認(rèn)可的數(shù)據(jù)庫，肯定有兩把刷子在身上，敢推向市面也肯定有足夠的把握。

從框架上來看，時(shí)序數(shù)據(jù)庫分為三大部分。第一，Shard節(jié)點(diǎn)，主要負(fù)責(zé)數(shù)據(jù)的寫入和查詢，在這個(gè)節(jié)點(diǎn)內(nèi)，除了分片和時(shí)間線管理外，還能預(yù)處理數(shù)據(jù)——聚合、降解預(yù)數(shù)據(jù)。第二，Config集群，可以儲(chǔ)存和管理元數(shù)據(jù)，采用三節(jié)點(diǎn)的復(fù)制模式，保證元數(shù)據(jù)的可靠性。第三，分布式存儲(chǔ)系統(tǒng)，能集中并且持久地存儲(chǔ)數(shù)據(jù)和日志，采用三副本方式存放，能用性和可靠性都毋庸置疑。

相比于InfluxDB等開源時(shí)序數(shù)據(jù)庫，GaussDB(for Influx)接口不僅完全兼容InfluxDB，寫入接口兼容OpenTSDB、Prometheus和Graphite，完全屬于上級(jí)和下級(jí)關(guān)系。GaussDB(for Influx)容錯(cuò)率更高，可以容忍N(yùn)-1節(jié)點(diǎn)故障；存儲(chǔ)與計(jì)算也是相互分離的，在保持高性能寫入的同時(shí)還可以進(jìn)行查詢業(yè)務(wù)，也不用擔(dān)心系統(tǒng)故障導(dǎo)致業(yè)務(wù)中斷或者數(shù)據(jù)丟失，GaussDB(for Influx)可以實(shí)時(shí)保存。

擁有分鐘級(jí)計(jì)算節(jié)點(diǎn)擴(kuò)容，秒級(jí)存儲(chǔ)擴(kuò)容，GaussDB(for Influx)擴(kuò)縮容比其他的數(shù)據(jù)庫更加快速。由于避免了遷移過程中大量數(shù)據(jù)的物理綁定約束，所以可以做到原來以天為單位的數(shù)據(jù)傳輸縮短為分鐘級(jí)別。精簡(jiǎn)副本也是關(guān)鍵，消除冗雜的副本模式，降低儲(chǔ)存成本，提升用戶體驗(yàn)感。

以上是GaussDB(for Influx)的優(yōu)化內(nèi)容，那么它的核心能力，又有哪些？

``

首先，支持億級(jí)時(shí)間線。在分配上，大量使用內(nèi)存池復(fù)用技術(shù)，降低內(nèi)存碎片；在回收上實(shí)現(xiàn)算法根據(jù)內(nèi)存負(fù)載，能動(dòng)態(tài)調(diào)整GC頻率，加快內(nèi)存回收；在緩存上，根據(jù)不同的時(shí)間節(jié)點(diǎn)，調(diào)整不同的配置。通過這樣的改進(jìn)，可以達(dá)到每天萬億條的數(shù)據(jù)寫入。 其次，極致寫入性能。GaussDB(for Influx)可以支持每天萬億條數(shù)據(jù)寫入，實(shí)現(xiàn)了集群處理，確保日志持久化，數(shù)據(jù)庫多副本復(fù)制卸載到分布式存儲(chǔ)，降低計(jì)算節(jié)點(diǎn)到存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)流量。在大規(guī)模寫入場(chǎng)景下，GaussDB(for Influx)的寫入性能線性擴(kuò)展度大于80%。

再就是低成本的數(shù)據(jù)壓縮。為什么同樣的工作量卻只需1/20的存儲(chǔ)成本？原因就是采用不同的壓縮方式，將Gorilla壓縮算法進(jìn)行了優(yōu)化，先把數(shù)值轉(zhuǎn)為整數(shù)，再根據(jù)數(shù)據(jù)特點(diǎn)，選擇最合適的數(shù)據(jù)壓縮算法。選擇完合適的壓縮方式就是壓縮過程，采用了壓縮效率更好的ZSTD壓縮算法，并根據(jù)待壓縮數(shù)據(jù)的Length使用不同Level的編碼方法。最終采用差量壓縮方法，進(jìn)一步降低時(shí)序數(shù)據(jù)存儲(chǔ)成本。而壓縮數(shù)據(jù)也只是節(jié)約成本的方式之一，GaussDB(for Influx)還特意提供了時(shí)序數(shù)據(jù)的分級(jí)存儲(chǔ)，可以自定義冷熱數(shù)據(jù)。選擇合適的儲(chǔ)存模式就能達(dá)到節(jié)約存儲(chǔ)成本的目的。

最后是高性能多維聚合查詢。多維聚合是時(shí)序數(shù)據(jù)庫中較為常見、且會(huì)定期重復(fù)執(zhí)行的一種查詢。而基于滑動(dòng)窗口的聚合查詢，大部分從聚合結(jié)果緩存中直接命中，僅需要聚合增量數(shù)據(jù)部分即可，加快查詢數(shù)據(jù)中的無關(guān)信息過濾。

GaussDB(for Influx)的應(yīng)用場(chǎng)景非常廣泛，在能源、制造、IOT、互聯(lián)網(wǎng)等行業(yè)的監(jiān)控統(tǒng)計(jì)及分析業(yè)務(wù)場(chǎng)景中都可以應(yīng)用上，甚至可以說是必不可少的。當(dāng)然GaussDB(for Influx)數(shù)據(jù)庫還將不斷提升數(shù)據(jù)的存儲(chǔ)模式，帶來更好的用戶體驗(yàn)。

審核編輯 黃昊宇