傳統(tǒng)企業(yè)一般會(huì)部署OLTP(On-Line Transaction Processing)聯(lián)機(jī)事務(wù)處理數(shù)據(jù)庫(kù)系統(tǒng)用于支持日常流水事務(wù)處理,部署OLAP(On-Line Analytical Processing)聯(lián)機(jī)分析處理數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)用于支持復(fù)雜分析類業(yè)務(wù),數(shù)據(jù)庫(kù)中的數(shù)據(jù)經(jīng)過(guò)提取清洗等處理導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)中。伴隨著企業(yè)的數(shù)字化轉(zhuǎn)型,數(shù)據(jù)量增長(zhǎng)越來(lái)越快,在線交易、商業(yè)決策、報(bào)表、日志、離線分析等需要數(shù)據(jù)支持的業(yè)務(wù)也越來(lái)越多,這導(dǎo)致數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)越來(lái)越復(fù)雜,甚至是失控。
前幾年,HTAP(Hybrid Transactional/Analytical Processing)數(shù)據(jù)庫(kù)興起,并且Gartner公司給出了HTAP的嚴(yán)格定義,HTAP能夠同時(shí)支持OLTP和OLAP兩類應(yīng)用,可以將企業(yè)復(fù)雜的數(shù)據(jù)系統(tǒng)簡(jiǎn)化整合,并且性能和可用性相比傳統(tǒng)技術(shù)大幅提高,可以幫助企業(yè)解決數(shù)據(jù)挑戰(zhàn)難題。
inData數(shù)據(jù)庫(kù)一體機(jī)是軟硬一體化的HTAP數(shù)據(jù)庫(kù)方案,采用了浪潮K-DB數(shù)據(jù)庫(kù)一體機(jī)版軟件和標(biāo)準(zhǔn)的X86服務(wù)器、Flash存儲(chǔ)以及InfiniBand等領(lǐng)先的開放技術(shù),該產(chǎn)品為一站交付式設(shè)計(jì),可以開箱即用,并且界面化操作,十分易用,能夠?yàn)槠髽I(yè)提供一個(gè)統(tǒng)一的數(shù)據(jù)心臟。
浪潮inData一體機(jī)完美應(yīng)對(duì)HTAP混合負(fù)載多層次、全鏈路的可用性設(shè)計(jì)
inData是一個(gè)全冗余的融合系統(tǒng),分為軟硬件緊耦合的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)三個(gè)資源池,軟件方面依靠K-DB數(shù)據(jù)庫(kù)一體機(jī)的K-RAC共享存儲(chǔ)多活集群、KAS(K-DB Active Storage)存儲(chǔ)虛擬化技術(shù),提供了計(jì)算節(jié)點(diǎn)的高可用、存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)多副本鏡像、條帶化和數(shù)據(jù)再平衡等功能,存儲(chǔ)服務(wù)器構(gòu)成存儲(chǔ)池,所有的計(jì)算、存儲(chǔ)設(shè)備通過(guò)2臺(tái)或者以上InfiniBand交換機(jī)連接。
inData數(shù)據(jù)庫(kù)一體機(jī)硬件拓?fù)鋱DinData的KAS存儲(chǔ)虛擬化功能模塊是獨(dú)立運(yùn)行的數(shù)據(jù)庫(kù)實(shí)例,該模塊將數(shù)據(jù)庫(kù)計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)解耦,并將存儲(chǔ)設(shè)備虛擬化為統(tǒng)一的資源池,實(shí)現(xiàn)存儲(chǔ)數(shù)據(jù)條帶化、多副本、再分布等,一方面可以充分且均衡地利用存儲(chǔ)節(jié)點(diǎn)的資源,同時(shí)避免存儲(chǔ)熱塊的產(chǎn)生,最大化發(fā)揮存儲(chǔ)I/O性能,另一方面,隔離硬件故障對(duì)系統(tǒng)的影響,inData支持雙副本或者三副本數(shù)據(jù)冗余,數(shù)據(jù)與副本數(shù)據(jù)分散存儲(chǔ)于每臺(tái)設(shè)備中,任何存儲(chǔ)出現(xiàn)問(wèn)題以后,系統(tǒng)會(huì)自動(dòng)從其他存儲(chǔ)設(shè)備讀取數(shù)據(jù),并不會(huì)引起服務(wù)的中斷。inData 還具有多節(jié)點(diǎn)恢復(fù)技術(shù),當(dāng)故障節(jié)點(diǎn)重新加入集群后,inData的其他節(jié)點(diǎn)會(huì)同時(shí)向該節(jié)點(diǎn)進(jìn)行回復(fù)操作,大幅縮短系統(tǒng)恢復(fù)的時(shí)間。
端到端高效I/O鏈路,微秒級(jí)延遲
Share-nothing架構(gòu)保證了inData強(qiáng)大的擴(kuò)展性,也保證了inData的強(qiáng)大性能,inData一體機(jī)可以實(shí)現(xiàn)百萬(wàn)級(jí)IOPS、海量吞吐與微秒延遲。
SAN存儲(chǔ)造成的I/O問(wèn)題是制約傳統(tǒng)數(shù)據(jù)庫(kù)性能的瓶頸,inData打破了這一瓶頸。硬件層面的InfiniBand網(wǎng)絡(luò)、RDMA協(xié)議、flash存儲(chǔ),軟件層面的KAS,以及系統(tǒng)層面的存儲(chǔ)索引、智能過(guò)濾等技術(shù)讓inData實(shí)現(xiàn)了系統(tǒng)內(nèi)高效I/O交互。
inData采用的InfiniBand網(wǎng)絡(luò)帶寬高達(dá)56Gb/s,帶寬高、延遲小,輔以RDMA(遠(yuǎn)程直接內(nèi)存訪問(wèn))網(wǎng)絡(luò)協(xié)議,實(shí)現(xiàn)了內(nèi)部數(shù)據(jù)的高效傳輸。機(jī)械硬盤的I/O吞吐一直難以與飛速發(fā)展的網(wǎng)絡(luò)相匹配,inData的節(jié)點(diǎn)都配置了flash存儲(chǔ),并配置了智能緩存軟件模塊。系統(tǒng)會(huì)自動(dòng)統(tǒng)計(jì)數(shù)據(jù)的訪問(wèn)頻次,將熱點(diǎn)數(shù)據(jù)存儲(chǔ)在flash中,使用頻次較低的數(shù)據(jù)存儲(chǔ)在機(jī)械硬盤中,最大程度緩解了磁盤的I/O瓶頸,配合InfiniBand網(wǎng)絡(luò)形成了端到端的高效數(shù)據(jù)鏈路。
而且inData還配置了存儲(chǔ)索引技術(shù),系統(tǒng)會(huì)將列數(shù)據(jù)的概要信息(如Min/Max值)實(shí)施更新存儲(chǔ)到存儲(chǔ)節(jié)點(diǎn)的內(nèi)存中,系統(tǒng)在進(jìn)行磁盤數(shù)據(jù)讀取時(shí)可以通過(guò)這些概要信息預(yù)先定位數(shù)據(jù)存儲(chǔ)區(qū)間,來(lái)減少不必要的磁盤I/O,簡(jiǎn)化整個(gè)讀取過(guò)程,也大幅度降低了系統(tǒng)I/O延時(shí)。
性能,每秒百萬(wàn)事務(wù)處理
高速低延遲I/O鏈路inData保證了事務(wù)處理的低延時(shí),強(qiáng)大的擴(kuò)展性以及系統(tǒng)化的優(yōu)化技術(shù),則保證了inData的出色處理能力,inData的各個(gè)硬件設(shè)備之間是對(duì)等關(guān)系,計(jì)算節(jié)點(diǎn)(N>=2)和存儲(chǔ)節(jié)點(diǎn)(M>=3)均可按需進(jìn)行靈活擴(kuò)容和自由搭配,性能與容量成近線性增長(zhǎng)。
電子發(fā)燒友App





















評(píng)論