近日，綠色計(jì)算產(chǎn)業(yè)聯(lián)盟“服務(wù)器典型應(yīng)用場(chǎng)景性能評(píng)測(cè)行動(dòng)”正式啟動(dòng)，本次評(píng)測(cè)行動(dòng)包括大數(shù)據(jù)、分布式存儲(chǔ)、Web應(yīng)用、高性能計(jì)算、集中式關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)、ARM原生云手機(jī)、虛擬化7大服務(wù)器典型應(yīng)用場(chǎng)景。星環(huán)科技大數(shù)據(jù)基礎(chǔ)平臺(tái)Transwarp Data Hub（TDH），經(jīng)由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院作為國(guó)家權(quán)威檢測(cè)機(jī)構(gòu)及綠色計(jì)算產(chǎn)業(yè)聯(lián)盟專(zhuān)業(yè)評(píng)測(cè)團(tuán)隊(duì)進(jìn)行權(quán)威評(píng)測(cè)，最終順利通過(guò)《服務(wù)器應(yīng)用場(chǎng)景性能測(cè)試方法大數(shù)據(jù)》標(biāo)準(zhǔn)評(píng)測(cè)。

本次測(cè)試選用了四臺(tái)Arm服務(wù)器和四臺(tái)X86服務(wù)器進(jìn)行對(duì)比，軟件層面Arm服務(wù)器集群使用的是星環(huán)科技的TDH大數(shù)據(jù)軟件，X86集群使用的是開(kāi)源軟件CDH。

TDH是星環(huán)科技自主研發(fā)的企業(yè)級(jí)一站式多模型大數(shù)據(jù)基礎(chǔ)平臺(tái)，經(jīng)過(guò)多年的快速演進(jìn)，不斷發(fā)展成熟。

TDH采用“四層統(tǒng)一的多模型技術(shù)架構(gòu)”，包括了11款核心產(chǎn)品：實(shí)時(shí)流計(jì)算引擎Slipstream、關(guān)系型分析引擎Inceptor、寬表數(shù)據(jù)庫(kù)Hyperbase、搜索引擎Scope、文檔數(shù)據(jù)庫(kù)DocStore、圖數(shù)據(jù)庫(kù)StellarDB、時(shí)空數(shù)據(jù)庫(kù)Spacture、時(shí)序數(shù)據(jù)庫(kù)TimeLyre、鍵值數(shù)據(jù)庫(kù)KeyByte、事件存儲(chǔ)庫(kù)Event Store、數(shù)據(jù)科學(xué)平臺(tái)Sophon Discover，能夠滿(mǎn)足用戶(hù)不同應(yīng)用場(chǎng)景的需求。同時(shí)配套Aquila Insight、Manager、Audit、Guardian等工具，使TDH的安裝、管理、開(kāi)發(fā)、運(yùn)維、升級(jí)十分便捷，給用戶(hù)帶來(lái)極致的開(kāi)發(fā)和運(yùn)維體驗(yàn)。

目前，TDH在政府、金融、能源、運(yùn)營(yíng)商、交通等各行各業(yè)積累了豐富的部署實(shí)施經(jīng)驗(yàn)，并且不斷向大數(shù)據(jù)技術(shù)新興前沿領(lǐng)域進(jìn)行持續(xù)探索和深入研究。 通過(guò)部署、安裝、使用TDH，企業(yè)能夠更有效的利用大數(shù)據(jù)平臺(tái)構(gòu)建核心商業(yè)系統(tǒng)，加速商業(yè)創(chuàng)新。

NoSQL數(shù)據(jù)庫(kù)場(chǎng)景，測(cè)試結(jié)果以X86結(jié)果為基礎(chǔ)，作了歸一化處理。星環(huán)科技TDH結(jié)合Arm服務(wù)器平臺(tái)與開(kāi)源大數(shù)據(jù)軟件部署在X86平臺(tái)相比，1T數(shù)據(jù)使用ImportTsv方式批量導(dǎo)入耗時(shí)差距不大，均為40min左右。隨機(jī)寫(xiě)、隨機(jī)讀和范圍掃描場(chǎng)景下，在吞吐量上Arm結(jié)果均要領(lǐng)先于X86結(jié)果，平均在13%左右。

搜索分析場(chǎng)景，吞吐量指標(biāo)上Arm結(jié)果領(lǐng)先X86結(jié)果較多，平均在52%左右，表現(xiàn)出了較大的性能優(yōu)勢(shì)，時(shí)延數(shù)據(jù)上兩者差距不大。核心組件Scope中每個(gè)EsNode進(jìn)程存在多種線(xiàn)程池，包括與查詢(xún)相關(guān)的search、get線(xiàn)程池、與入庫(kù)相關(guān)的bulk線(xiàn)程池；該類(lèi)型的線(xiàn)程池線(xiàn)程數(shù)量被固定為節(jié)點(diǎn)CPU核數(shù)，因此Arm處理器的多核特點(diǎn)，具有天然的性能優(yōu)勢(shì)，可以增大數(shù)據(jù)處理并發(fā)度，降低響應(yīng)時(shí)延。

流處理測(cè)試項(xiàng)以1000w條數(shù)據(jù)量為輸入?yún)?shù)，ETL場(chǎng)景下單線(xiàn)程寫(xiě)入kafka partition為1的topic時(shí)Arm上流處理組件的吞吐達(dá)25萬(wàn)條/秒，而X86的吞吐為20萬(wàn)條/秒，且用時(shí)更短。Filter場(chǎng)景與ETL場(chǎng)景類(lèi)似，Arm平臺(tái)上的結(jié)果均表現(xiàn)出了一定的優(yōu)勢(shì)。窗口場(chǎng)景下對(duì)窗內(nèi)數(shù)據(jù)進(jìn)行計(jì)數(shù)時(shí)，TDH在Arm上的結(jié)果與Flink在X86上的結(jié)果相差不大。核心組件Slipstream計(jì)算框架是分布式并行流計(jì)算框架，其任務(wù)由taskslot數(shù)量決定并發(fā)度，taskslot數(shù)量取決于CPU物理核數(shù)。Arm處理器的多核特點(diǎn)可以增大流處理的并發(fā)度，提升數(shù)據(jù)處理效率。

數(shù)倉(cāng)/數(shù)集場(chǎng)景下，星環(huán)科技TDH結(jié)合Arm服務(wù)器平臺(tái)較開(kāi)源大數(shù)據(jù)軟件部署在X86平臺(tái)的測(cè)試結(jié)果平均領(lǐng)先幅度較大。分析平臺(tái)通過(guò)多任務(wù)并發(fā)，解決海量數(shù)據(jù)的處理問(wèn)題，CPU核數(shù)越多，任務(wù)并發(fā)度越高，任務(wù)處理性能越高。這主要得益于TDH強(qiáng)大的離線(xiàn)、在線(xiàn)處理分析性能。另外，在硬件層面，Arm處理器相比業(yè)界主流處理器，其特點(diǎn)是多核計(jì)算，物理核數(shù)高，能夠提升任務(wù)并發(fā)度，對(duì)加速大數(shù)據(jù)的計(jì)算性能也有一定的幫助。

星環(huán)科技TDH產(chǎn)品特性與優(yōu)勢(shì)

自主研發(fā)

TDH核心技術(shù)自主研發(fā)，滿(mǎn)足信創(chuàng)驗(yàn)收要求

主流信創(chuàng)生態(tài)廠商的適配兼容，國(guó)產(chǎn)CPU、GPU、操作系統(tǒng)、服務(wù)器、中間件

完整多模型能力

9種存儲(chǔ)引擎支持10種數(shù)據(jù)模型：關(guān)系型分析、圖、寬表、文檔數(shù)據(jù)庫(kù)、時(shí)序數(shù)據(jù)庫(kù)、時(shí)空數(shù)據(jù)庫(kù)、鍵值數(shù)據(jù)庫(kù)、事件存儲(chǔ)庫(kù)、搜索引擎、對(duì)象存儲(chǔ)

統(tǒng)一SQL引擎

支持SQL2003、OraclePL/SQL、兼容Oracle、DB2和Teradata方言

支持完整的分布式事務(wù)操作；

全產(chǎn)品線(xiàn)的SQL統(tǒng)一訪(fǎng)問(wèn)和開(kāi)發(fā)

統(tǒng)一存儲(chǔ)管理

基于Raft一致性協(xié)議，具備自動(dòng)故障遷移、數(shù)據(jù)修復(fù)能力

支持單節(jié)點(diǎn)穩(wěn)定存儲(chǔ)百萬(wàn)數(shù)據(jù)分片

支持橫向動(dòng)態(tài)線(xiàn)性擴(kuò)展

一次數(shù)據(jù)寫(xiě)入，多種數(shù)據(jù)模型存儲(chǔ)

統(tǒng)一資源管理框架

采用容器編排技術(shù)進(jìn)行資源管理

支持基于優(yōu)先級(jí)的搶占式資源調(diào)度和細(xì)粒度資源分配

資源隔離互不影響，支持集群在線(xiàn)擴(kuò)縮容

支持服務(wù)器、操作系統(tǒng)異構(gòu)部署

高性能分布式文件系統(tǒng)

基于Raft一致性協(xié)議，兼容Hadoop生態(tài)

全量緩存元數(shù)據(jù)，小文件存儲(chǔ)無(wú)瓶頸，支持10億以上文件數(shù)，遠(yuǎn)超開(kāi)源HDFS 5倍

高并發(fā)、高吞吐對(duì)象存儲(chǔ)