伴隨著科技的飛速發(fā)展，人工智能逐漸進(jìn)入日常生活的各個(gè)方面。而大數(shù)據(jù)技術(shù)的研究和發(fā)展，則更推動(dòng)技術(shù)的革新和社會(huì)經(jīng)濟(jì)的變革。大數(shù)據(jù)技術(shù)的出現(xiàn)背景、發(fā)展歷程、研究現(xiàn)狀以及發(fā)展過(guò)程中的存在問(wèn)題是什么？同時(shí)在人工智能領(lǐng)域的大數(shù)據(jù)技術(shù)的發(fā)展又有哪些應(yīng)用場(chǎng)景？讓我們一起去探索。

大數(shù)據(jù)的起源和發(fā)展

隨著互聯(lián)網(wǎng)的廣泛運(yùn)用，云計(jì)算時(shí)代已經(jīng)逐漸步入人們的生活，大數(shù)據(jù)在此背景下應(yīng)運(yùn)而生。1982年，約翰·奈斯比特在其著作中提出“我們現(xiàn)在大量生產(chǎn)信息，正如過(guò)去我們大量生產(chǎn)汽車一樣”；阿爾文·托夫勒在《第三次浪潮》一書(shū)中，稱大數(shù)據(jù)為“第三次浪潮的華彩樂(lè)章”；面對(duì)海量的數(shù)據(jù)，原有的處理方式已無(wú)法應(yīng)對(duì)。2011年，麥肯錫全球研究所發(fā)布了《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)前沿》的報(bào)告，對(duì)“大數(shù)據(jù)”進(jìn)行清晰解釋；2012年，瑞士達(dá)沃斯召開(kāi)世界經(jīng)濟(jì)論壇，大數(shù)據(jù)是會(huì)議主題。

大數(shù)據(jù)發(fā)展起始于18世紀(jì)80年代初至90年代末，統(tǒng)計(jì)學(xué)家赫爾曼做出一臺(tái)電動(dòng)設(shè)備來(lái)統(tǒng)計(jì)美國(guó)本土人口普查數(shù)據(jù)，揭開(kāi)數(shù)據(jù)處理新時(shí)代。雷德和普賴斯分別在1944年和1961年出版了《學(xué)者與研究型圖書(shū)館的未來(lái)》和《巴比倫以來(lái)的科學(xué)》，預(yù)測(cè)大數(shù)據(jù)時(shí)代的到來(lái)。2001年，美國(guó)Cartner公司推出大數(shù)據(jù)模型。2008年，美國(guó)自然雜志出版的一期專刊中第一次提出大數(shù)據(jù)——Big Data模型。

大數(shù)據(jù)技術(shù)研究現(xiàn)狀

在國(guó)外，大數(shù)據(jù)技術(shù)被認(rèn)為源于谷歌，在2003至2006年先后公開(kāi)發(fā)表關(guān)于MapReduce、GFS和BigTable等核心技術(shù)學(xué)術(shù)論文。2012年，美國(guó)白宮頒布了《大數(shù)據(jù)研究與發(fā)展計(jì)劃》，投入巨資到大數(shù)據(jù)研究領(lǐng)域。美國(guó)防部還開(kāi)展XDATA項(xiàng)目，將大數(shù)據(jù)研究投入軍事領(lǐng)域數(shù)據(jù)分析。在國(guó)內(nèi)，2013年被稱為大數(shù)據(jù)元年。2014年，國(guó)內(nèi)眾多互聯(lián)網(wǎng)企業(yè)如小米、百度、騰訊、阿里等已將大數(shù)據(jù)技術(shù)應(yīng)用于公司業(yè)務(wù)。

大數(shù)據(jù)技術(shù)存在問(wèn)題

大數(shù)據(jù)技術(shù)的發(fā)展對(duì)各行各業(yè)也有重大影響，同時(shí)大數(shù)據(jù)技術(shù)的研究目前還不夠完善，也面臨著諸多問(wèn)題需要去解決。

（1）數(shù)據(jù)分析和處理問(wèn)題。

傳統(tǒng)數(shù)據(jù)處理方式適用于少量的、結(jié)構(gòu)化數(shù)據(jù)，而生活中采集的大多數(shù)數(shù)據(jù)是非結(jié)構(gòu)化的數(shù)據(jù)，這就對(duì)數(shù)據(jù)分析和處理過(guò)程產(chǎn)生很大的影響。MapReduce計(jì)算并不能解決大數(shù)據(jù)處理的所有問(wèn)題，需要更深層次的研究，解決數(shù)據(jù)處理的局限性。

（2）數(shù)據(jù)安全和隱私問(wèn)題。

伴隨著海量數(shù)據(jù)的采集和處理，數(shù)據(jù)的安全和數(shù)據(jù)的隱私問(wèn)題應(yīng)運(yùn)而生。如何能夠保障被采集數(shù)據(jù)的安全性、數(shù)據(jù)本身的隱私保護(hù)，都將是今后大數(shù)據(jù)技術(shù)研究的重點(diǎn)問(wèn)題?，F(xiàn)今社會(huì)就存在許多用戶數(shù)據(jù)信息被盜用或者共享公開(kāi)化等情況，這樣對(duì)用戶的人身和財(cái)產(chǎn)安全都產(chǎn)生很大的威脅。

（3）政策和法規(guī)保障問(wèn)題。

面對(duì)大數(shù)據(jù)飛速發(fā)展的今天，國(guó)家缺乏相應(yīng)監(jiān)管體系，致使大數(shù)據(jù)濫用后用戶的個(gè)人權(quán)益無(wú)法得到有效保障，國(guó)家應(yīng)該建立相應(yīng)的法律體系，對(duì)大數(shù)據(jù)的收集、開(kāi)發(fā)和利用進(jìn)行嚴(yán)格管理，同時(shí)對(duì)數(shù)據(jù)的正確使用設(shè)置規(guī)范和標(biāo)準(zhǔn)，推動(dòng)大數(shù)據(jù)發(fā)展的規(guī)范化、合法化。

大數(shù)據(jù)技術(shù)在人工智能領(lǐng)域的應(yīng)用

大數(shù)據(jù)技術(shù)在人工智能領(lǐng)域的應(yīng)用廣泛，涉及智慧農(nóng)業(yè)、智慧城市、智慧工業(yè)等諸多方面［。

智慧農(nóng)業(yè)，大數(shù)據(jù)技術(shù)結(jié)合人工智能技術(shù)，收集海量數(shù)據(jù)信息進(jìn)行處理分析，建立起精準(zhǔn)農(nóng)業(yè)、農(nóng)產(chǎn)品流通體系、農(nóng)業(yè)氣象預(yù)測(cè)、農(nóng)業(yè)環(huán)境管理等多個(gè)系統(tǒng)，推動(dòng)農(nóng)業(yè)的生產(chǎn)。智慧農(nóng)業(yè)的提出使得很多技術(shù)可以整合使用，通過(guò)對(duì)土壤數(shù)據(jù)信息的采集，對(duì)土地耕作環(huán)境的監(jiān)控，密切關(guān)注著溫度、濕度的變化，并及時(shí)反饋監(jiān)測(cè)的數(shù)據(jù)信息，預(yù)測(cè)出今后發(fā)展的方向。

智慧城市，大數(shù)據(jù)技術(shù)應(yīng)用于城市建設(shè)，建立城市數(shù)據(jù)信息共享平臺(tái)，實(shí)時(shí)監(jiān)管交通狀況系統(tǒng)、智慧社區(qū)服務(wù)平臺(tái)、城市地下排水監(jiān)控系統(tǒng)等，推動(dòng)城市智能化管理。智慧城市的格局要以網(wǎng)絡(luò)化覆蓋為基礎(chǔ)，涵蓋公共、衛(wèi)生、交通、社區(qū)服務(wù)、社會(huì)保障等諸多方面，每一個(gè)環(huán)節(jié)都有相應(yīng)的系統(tǒng)進(jìn)行建構(gòu)網(wǎng)絡(luò)，然后通過(guò)各環(huán)節(jié)的相互配合去建造智慧城市格局。

智慧工業(yè)，大數(shù)據(jù)技術(shù)促進(jìn)工業(yè)“跨尺度、產(chǎn)業(yè)鏈、跨界”多源數(shù)據(jù)融合特點(diǎn)，推動(dòng)工業(yè)化的智能管理和產(chǎn)量提升。工業(yè)化的進(jìn)程在大數(shù)據(jù)技術(shù)的協(xié)助下，可以有效進(jìn)行數(shù)據(jù)規(guī)整，對(duì)工業(yè)流程數(shù)據(jù)進(jìn)行密切監(jiān)控，確保產(chǎn)品生產(chǎn)環(huán)節(jié)精確度更高。

當(dāng)今時(shí)代是大數(shù)據(jù)的時(shí)代，大數(shù)據(jù)的合理使用將推動(dòng)生產(chǎn)、生活的方方面面。大數(shù)據(jù)的發(fā)展和革新還在不斷地發(fā)生改變，與此同時(shí)對(duì)大數(shù)據(jù)處理技術(shù)的研究也一直從未間斷。然而，目前大數(shù)據(jù)的研究還處于初級(jí)階段，很多技術(shù)不夠完善，也存在著諸多問(wèn)題，面臨著巨大的挑戰(zhàn)。伴隨著智能化時(shí)代的來(lái)臨，人工智能與大數(shù)據(jù)技術(shù)的結(jié)合將是今后大數(shù)據(jù)發(fā)展研究的重要主題。

審核編輯 黃昊宇