智東西6月21日報道,昨日,在O’Reilly和英特爾人工智能大會上,英特爾公司架構(gòu)圖形與軟件集團副總裁、數(shù)據(jù)分析技術(shù)總監(jiān)馬子雅針對“統(tǒng)一大數(shù)據(jù)分析和人工智能從而更快地大規(guī)模洞察”這一主題發(fā)表了演講。
會后,智東西與少數(shù)媒體對英特爾公司架構(gòu)圖形與軟件集團副總裁、數(shù)據(jù)分析技術(shù)總監(jiān)馬子雅,英特爾高級首席工程師、大數(shù)據(jù)技術(shù)全球CTO戴金權(quán)進行了采訪。在采訪中,馬子雅對英特爾的分布式深度學(xué)習(xí)庫BigDL和Analytics Zoo技術(shù)的應(yīng)用、優(yōu)勢等方面進行了詳細的闡釋。
同時,英特爾還將在中國設(shè)立大數(shù)據(jù)分析和人工智能創(chuàng)新院,由戴金權(quán)負責(zé)。該研究院將與中國進行更廣泛的生態(tài)系統(tǒng)合作,加快統(tǒng)一的數(shù)據(jù)分析和人工智能技術(shù)在中國的創(chuàng)新和應(yīng)用。
一、BigDL+Analytics Zoo:提供端到端的開發(fā)和部署效率
在主題演講活動中,馬子雅表示,當(dāng)下人們正處于一個數(shù)據(jù)變革的時代,人類歷史上90%的數(shù)據(jù)都是在過去幾年產(chǎn)生的,50%的數(shù)據(jù)都是短短兩年所生成的。
因此,企業(yè)的生產(chǎn)發(fā)展需要高效地利用數(shù)據(jù)分析和人工智能來提高生產(chǎn)效率,以擴大競爭優(yōu)勢。同時,馬子雅表示,人工智能的真正落地需要一個完整的數(shù)據(jù)分析流水線,而這也是英特爾選擇開源BigDL的重要原因。
在加快數(shù)據(jù)分析及人工智能大規(guī)模應(yīng)用方面,馬子雅對英特爾開發(fā)并開源的BigDL和Analytics Zoo技術(shù)進行了介紹。
BigDL是建立在大數(shù)據(jù)平臺(Hadoop/Spark)之上原生的分布式深度學(xué)習(xí)庫,它為用戶提供了在Apache Spark(快速通用計算引擎)上豐富的深度學(xué)習(xí)功能,以幫助 Hadoop(分布式系統(tǒng)基礎(chǔ)架構(gòu))和Spark成為一個統(tǒng)一的數(shù)據(jù)分析平臺,為整個數(shù)據(jù)分析和機器學(xué)習(xí)過程提供比現(xiàn)有框架更加統(tǒng)一和集成化的支持。
據(jù)英特爾表示,它能夠?qū)崿F(xiàn)主流深度學(xué)習(xí)框架TensorFlow、Caffe以及Torch等同樣的功能。同時作為Spark標(biāo)準組件,它還能夠和Spark大數(shù)據(jù)生態(tài)系統(tǒng)的不同組件很好地整合在一起。
Analytics Zoo是英特爾基于至強計算平臺、傲騰數(shù)據(jù)存儲器,并結(jié)合英特爾云服務(wù)推出的大數(shù)據(jù)分析+AI的平臺。它能夠?qū)park、TensorFlow、Keras和BigDL合并到一個集成管道中,方便地擴展到企業(yè)已有的大型Apache Hadoop/Spark集群,進行分布式訓(xùn)練或推理。這讓用戶能更輕松地開發(fā)基于大數(shù)據(jù)、端到端的深度學(xué)習(xí)應(yīng)用。
BigDL和Analytics Zoo這兩個平臺,不僅能進一步地提高資源利用率和端到端的開發(fā)及部署效率,同時還能降低普通大數(shù)據(jù)用戶和數(shù)據(jù)科學(xué)家在使用深度學(xué)習(xí)進行數(shù)據(jù)分析和構(gòu)建人工智能應(yīng)用時的門檻。
馬子雅還表示,英特爾在過去的幾個月中,將Analytics Zoo基于英特爾最新的Optane(傲騰)內(nèi)存技術(shù)上和OpenVINO技術(shù)進行了優(yōu)化,它的深度學(xué)習(xí)、模型訓(xùn)練以及推理性能均得到了提升。
Analytics Zoo平臺與美的、韻達、歐洲核子研究中心(CERN)等企業(yè)和科研組織進行了合作。比如,通過與Analytics Zoo的合作,韻達在運輸線路、貯存等方面均得到了優(yōu)化,這為韻達帶來了七千萬美元運營成本的節(jié)省。同時,英特爾與騰訊云、阿里云、百度云以及第四范式、科沃斯等企業(yè)均有項目合作,范圍涉及智慧醫(yī)療、智慧教育、智慧零售等多個領(lǐng)域。
二、為客戶提供全棧式的AI解決方案
馬子雅提到,在如今大數(shù)據(jù)分析和人工智能平臺逐漸融為一體的驅(qū)使下,英特爾將進一步為客戶提供全棧式的人工智能解決方案,構(gòu)建硬軟件協(xié)同發(fā)展,其中包括硬件和軟件兩個層面。
硬件方面,英特爾將提供包括CPU、GPU、FPGA、加速器、網(wǎng)絡(luò)等涵蓋前端到數(shù)據(jù)中心,專用到通用的產(chǎn)品組合。
軟件方面,則是包括nGraph、BigDL、Intel Deep Learning Studio等框架、數(shù)學(xué)庫以及工具在內(nèi)的優(yōu)化軟件。
三、進一步降低BigDL和Analytics Zoo應(yīng)用門檻
演講結(jié)束后,智東西與少數(shù)媒體記者對英特爾公司架構(gòu)圖形與軟件集團副總裁、數(shù)據(jù)分析技術(shù)總監(jiān)馬子雅,英特爾高級首席工程師、大數(shù)據(jù)技術(shù)全球CTO戴金權(quán)進行了專訪。
數(shù)據(jù)清洗問題是當(dāng)前大數(shù)據(jù)+AI應(yīng)用的一個難點。在智東西問及Analytics Zoo對于數(shù)據(jù)清洗方面的功能優(yōu)化時,戴金權(quán)表示,數(shù)據(jù)清洗是一個非常繁瑣的過程,他們將在Analytics Zoo的下一個版本中加入類似AutoML的新工具,可以進行時間序列異常檢測和自動選擇生成特征。
以英特爾與歐洲核子研究中心(CERN)的合作為例,CERN每秒有四千萬粒子,生成1PB的數(shù)據(jù)。處理數(shù)據(jù)的第一步,就是要將這個過程中無用且重復(fù)的數(shù)據(jù)過濾掉,以搭建包括數(shù)據(jù)清洗在內(nèi)的整個端到端的流水線。
在BigDL和Analytics Zoo的應(yīng)用門檻方面,馬子雅表示,起初這些技術(shù)幾乎都在與終端客戶合作,如今為了覆蓋更多的用戶,英特爾必須降低門檻,把功能整合到服務(wù)或產(chǎn)品中,讓用戶可直接用云服務(wù)、原始設(shè)備制造商以及軟件中提取所需的功能。
▲基于英特爾OPENVINO、英特爾至強可擴展平臺的深度學(xué)習(xí)推理-腦部腫瘤圖像分割模型加速解決方案
四、硬軟件協(xié)同發(fā)展,提供更完整解決方案
今年,硬軟件協(xié)同發(fā)展的“大數(shù)據(jù)分析+AI”平臺也是英特爾重點發(fā)力的內(nèi)容之一。目前,英特爾共有15000名軟件工程師。
在加強人工智能生態(tài)行業(yè)的合作上,馬子雅認為,英特爾更像是一個人工智能解決方案的提供者,主要幫助客戶將人工智能更好地利用到他們的生產(chǎn)和生活中。
在Analytics Zoo的兼容性方面,馬子雅提到,由于Analytics Zoo的性能提升和優(yōu)化主要是英特爾平臺上進行的,它雖然可以兼容其他X86的CPU,但在非英特爾平臺上使用,它的性能可能會受到一定影響,無法達到最佳效果,而在英特爾平臺上使用時才能享受到它的更多特性。
硬件層面,英特爾將為客戶提供更完整的解決方案,除了至強處理器和GPGPU外,在硬件的存儲和網(wǎng)絡(luò)方面也進一步地研發(fā)與更新。
值得一提的是,在英特爾AI芯片的未來規(guī)劃上,馬子雅表示,英特爾不僅僅集中在計算方面,將繼續(xù)對傲騰技術(shù)、網(wǎng)絡(luò)架構(gòu)技術(shù)等存儲和網(wǎng)絡(luò)方面進一步研發(fā)和更新。另外,包括CPU、GPU、FPGA等新規(guī)劃都在逐步推進中。
結(jié)語:英特爾進一步推動AI與大數(shù)據(jù)分析整合發(fā)展
無論是BigDL還是Analytics Zoo技術(shù),它們的開源都在深度學(xué)習(xí)使用和人工智能應(yīng)用構(gòu)建上,給大數(shù)據(jù)用戶和數(shù)據(jù)科學(xué)家?guī)砹藰O大的便利,進一步加速了人工智能在人們生活中真正普及和落地的進程。
另一方面,英特爾在人工智能領(lǐng)域的不斷發(fā)力,為企業(yè)帶來了促進產(chǎn)品和業(yè)務(wù)發(fā)展的各種技術(shù)支持,同時讓大家看到了人工智能與商業(yè)應(yīng)用相結(jié)合的更多可能性。
未來,大數(shù)據(jù)分析和人工智能將如何進一步實現(xiàn)整合,如何更快更好地落地,如何從云端到智慧空間能有效運用,這些都是值得我們思考的,期待人工智能給人們生活帶來更多的精彩。
電子發(fā)燒友App





評論