數(shù)字經(jīng)濟時代，數(shù)據(jù)成為新的生產(chǎn)資料，數(shù)據(jù)驅動體驗、數(shù)據(jù)驅動決策、數(shù)據(jù)驅動流程的各種應用正不斷上演。5G、云、AI加速行業(yè)數(shù)字化轉型，海量數(shù)據(jù)時代已經(jīng)到來。海量數(shù)據(jù)促使企業(yè)從數(shù)據(jù)管理走向數(shù)據(jù)運營，目前，正面臨三大挑戰(zhàn)：一是成本高、存不下；二是效率低、流不動；三是自動化差、管不好。

Hadoop1.0時代，計算和存儲是高度融合，僅能處理單一的MapReduce分析業(yè)務；Hadoop2.0時代，計算層與數(shù)據(jù)開始解耦，通過Yarn實現(xiàn)了獨立的資源管理，并開始支持Spark等更多的計算引擎；而如今來到Hadoop3.0時代，計算存儲已分開演進，通過Hadoop EC來支持冷數(shù)據(jù)的存儲，同時引入外置存儲，如S3，增強其存儲底座能力，逐步向數(shù)據(jù)湖架構演進。Hadoop3.0時代，計算正向輕量化和容器化方向發(fā)展，計算存儲分離演進已成為事實。計算存儲分離后，我們用企業(yè)級的存儲基座替代原來的原生大數(shù)據(jù)存儲基座，好處是可以把當前企業(yè)級存儲的先進技術帶入到大數(shù)據(jù)里面來，如高可靠、高利用率、多協(xié)議融合等，更好地釋放數(shù)據(jù)的價值。

舉個例子來說，2018年，華為創(chuàng)新性推出基于OceanStor Pacific系列的大數(shù)據(jù)存算分離方案。在成本方面，華為大數(shù)據(jù)存算分離方案實現(xiàn)存算分離，資源按需獨立擴展，彈性EC、冷熱數(shù)據(jù)分級，存儲成本大幅降低。在數(shù)據(jù)應用效率方面，華為OceanStor Pacific系列采用全對稱分布式NameNode，集群性能和支持文件數(shù)隨節(jié)點數(shù)目增加線性提升，單一命名空間支持文件數(shù)達百億級。在實際操作運維方面，華為OceanStor Pacific系列提供的原生HDFS接口提供了更佳性能和使用體驗。通過ViewFS或Hbase元數(shù)據(jù)網(wǎng)關方式可實現(xiàn)新老共存，實現(xiàn)存算一體向存算分離的平滑演進，保護用戶已有投資。
責任編輯：tzh