“大數(shù)據(jù)時(shí)代”的概念最早由世界著名的咨詢公司麥肯錫提出。麥肯錫說(shuō)：“數(shù)據(jù)已滲透到今天的每個(gè)行業(yè)和業(yè)務(wù)功能領(lǐng)域，并已成為重要的生產(chǎn)要素”。

本文引自：《數(shù)據(jù)技術(shù)基礎(chǔ)》（作者：張潔、呂佑龍、張朋、汪俊亮）。

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，現(xiàn)有計(jì)算機(jī)擁有了在極短時(shí)間內(nèi)處理海量數(shù)據(jù)的能力，進(jìn)而催生了一大批企業(yè)利用大量的數(shù)據(jù)，將傳統(tǒng)的企業(yè)運(yùn)營(yíng)方式進(jìn)行顛覆，使得企業(yè)實(shí)現(xiàn)了從靠人力決策到靠數(shù)據(jù)決策的轉(zhuǎn)變，這意味著更少的決策失誤和更大的利潤(rùn)，而對(duì)于普通民眾而言則能享受到更好的服務(wù)質(zhì)量和辦事效率。 在以上過(guò)程中，大量的企業(yè)決策與服務(wù)提供需要依靠大數(shù)據(jù)技術(shù)支撐，并且大數(shù)據(jù)帶來(lái)的經(jīng)濟(jì)效益已經(jīng)大于開(kāi)發(fā)成本，由此進(jìn)入大數(shù)據(jù)時(shí)代。

內(nèi)涵與特征 1）大數(shù)據(jù)的內(nèi)涵

大數(shù)據(jù)的定義方法有很多種，如果仔細(xì)觀察，會(huì)發(fā)現(xiàn)不同領(lǐng)域?qū)＜覍W(xué)者給出了不同的定義。通常所說(shuō)的“大數(shù)據(jù)”往往指的是“大數(shù)據(jù)現(xiàn)象”。

（1）計(jì)算機(jī)科學(xué)與技術(shù)：當(dāng)數(shù)據(jù)量、數(shù)據(jù)的復(fù)雜程度、數(shù)據(jù)處理的任務(wù)要求等超出了傳統(tǒng)數(shù)據(jù)存儲(chǔ)與計(jì)算能力時(shí)，稱之為大數(shù)據(jù)（現(xiàn)象）?？梢?jiàn)，計(jì)算機(jī)科學(xué)與技術(shù)中是從存儲(chǔ)和計(jì)算能力視角理解大數(shù)據(jù)——大數(shù)據(jù)不僅是“數(shù)據(jù)存量”的問(wèn)題，還與數(shù)據(jù)增量、復(fù)雜度和處理要求（如實(shí)時(shí)分析）有關(guān)。

（2）統(tǒng)計(jì)學(xué)：當(dāng)能夠收集足夠的全部（總體中的絕大部分）個(gè)體的數(shù)據(jù)，且計(jì)算能力足夠強(qiáng)，可以不用抽樣，直接在總體上就可以進(jìn)行統(tǒng)計(jì)分析時(shí)，稱之為大數(shù)據(jù)（現(xiàn)象）?？梢?jiàn)，統(tǒng)計(jì)學(xué)主要從所處理的問(wèn)題和總體的規(guī)模之間的相對(duì)關(guān)系視角理解“大數(shù)據(jù)”。

（3）機(jī)器學(xué)習(xí)：當(dāng)訓(xùn)練集足夠大，且計(jì)算能力足夠強(qiáng)，只需要通過(guò)對(duì)已有的實(shí)例進(jìn)行簡(jiǎn)單查詢即可達(dá)到“智能計(jì)算的效果”時(shí)，稱之為大數(shù)據(jù)（現(xiàn)象）?？梢?jiàn)，機(jī)器學(xué)習(xí)主要從“智能的實(shí)現(xiàn)方式”理解大數(shù)據(jù)-智能可以通過(guò)簡(jiǎn)單的實(shí)例學(xué)習(xí)和機(jī)械學(xué)習(xí)的方式來(lái)實(shí)現(xiàn)。

（4）社會(huì)科學(xué)家：當(dāng)多數(shù)人的大部分社會(huì)行為可以被記錄下來(lái)時(shí)，稱之為大數(shù)據(jù)（現(xiàn)象）?？梢?jiàn)，社會(huì)科學(xué)家眼里的大數(shù)據(jù)主要是從“數(shù)據(jù)規(guī)模與價(jià)值密度角度”談的，即數(shù)據(jù)規(guī)模過(guò)大導(dǎo)致的價(jià)值密度過(guò)低。

總之，術(shù)語(yǔ)大數(shù)據(jù)的內(nèi)涵已超出了數(shù)據(jù)本身，代表的是數(shù)據(jù)帶來(lái)的機(jī)遇與挑戰(zhàn)，可以總結(jié)如下。

（1）機(jī)遇：原先無(wú)法（或不可能）找到的數(shù)據(jù)，現(xiàn)在可能找到；原先無(wú)法實(shí)現(xiàn)的計(jì)算目的（如數(shù)據(jù)的實(shí)時(shí)分析），現(xiàn)在可以實(shí)現(xiàn)。

（2）挑戰(zhàn)：原先一直認(rèn)為正確或最佳的理念、理論、方法、技術(shù)和工具越來(lái)越凸現(xiàn)出其局限性，在大數(shù)據(jù)時(shí)代需要改變思考模式。

2）大數(shù)據(jù)的特征

通常，用4V來(lái)表示大數(shù)據(jù)的基本特征。但是，建議讀者結(jié)合上述對(duì)大數(shù)據(jù)的內(nèi)涵的討論，靈活理解大數(shù)據(jù)的特征。

（1）Volume（數(shù)據(jù)量大）：數(shù)據(jù)量大是一個(gè)相對(duì)于計(jì)算和存儲(chǔ)能力的說(shuō)法，就目前而言，當(dāng)數(shù)據(jù)量達(dá)到PB級(jí)以上，一般稱為“大”的數(shù)據(jù)。但是，應(yīng)該注意到，大數(shù)據(jù)的時(shí)間分布往往不均勻，近幾年所生成的數(shù)據(jù)，相對(duì)占比最高。

（2）Variety（類型多）：數(shù)據(jù)類型多是指大數(shù)據(jù)存在多種類型的數(shù)據(jù)，不僅包括結(jié)構(gòu)化數(shù)據(jù)，還包括非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。有統(tǒng)計(jì)顯示，在未來(lái)，非結(jié)構(gòu)化數(shù)據(jù)的占比將達(dá)到90%以上。非結(jié)構(gòu)化數(shù)據(jù)所包括的數(shù)據(jù)類型很多，例如網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等。數(shù)據(jù)類型的多樣性往往導(dǎo)致數(shù)據(jù)的異構(gòu)性，進(jìn)而加大了數(shù)據(jù)處理的復(fù)雜性，對(duì)數(shù)據(jù)處理能力提出了更高要求。

（3）Value（價(jià)值密度低）：在大數(shù)據(jù)中，價(jià)值密度的高低與數(shù)據(jù)總量的大小之間并不存在線性關(guān)系，有價(jià)值的數(shù)據(jù)往往被淹沒(méi)在海量無(wú)用數(shù)據(jù)之中，也就是人們常說(shuō)的“我們淹沒(méi)在數(shù)據(jù)的海洋，卻又在忍受著知識(shí)的饑渴（We are drowning in a sea of data and thirsting for knowledge）”。例如，一段長(zhǎng)達(dá)120min連續(xù)不間斷的監(jiān)控視頻中，有用數(shù)據(jù)可能僅有幾秒。因此，如何在海量數(shù)據(jù)中洞見(jiàn)有價(jià)值的數(shù)據(jù)成為數(shù)據(jù)科學(xué)的重要課題。

（4）Velocity（速度快）：大數(shù)據(jù)中所說(shuō)的“速度”包括兩種——增長(zhǎng)速度和處理速度。一方面，大數(shù)據(jù)增長(zhǎng)速度快。有統(tǒng)計(jì)顯示，2009—2020年期間的數(shù)字宇宙的年均增長(zhǎng)率將達(dá)到41%，另一方面，對(duì)大數(shù)據(jù)處理的時(shí)間（計(jì)算速度）要求也越來(lái)越高，“大數(shù)據(jù)的實(shí)時(shí)分析”成為熱門(mén)話題。

業(yè)務(wù)數(shù)據(jù)化

隨著互聯(lián)網(wǎng)的快速發(fā)展，企業(yè)逐漸面臨越來(lái)越多大數(shù)據(jù)時(shí)代的不確定性和挑戰(zhàn)，很可能因?yàn)槌杀靖呔硬幌露饾u失去份額，被競(jìng)爭(zhēng)對(duì)手超越并最終出局。企業(yè)每天都會(huì)產(chǎn)生大量的業(yè)務(wù)數(shù)據(jù)，通過(guò)實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)化可以幫助企業(yè)經(jīng)營(yíng)者對(duì)尚未掌握的商業(yè)機(jī)遇進(jìn)行理性評(píng)估判斷，實(shí)現(xiàn)業(yè)務(wù)增值，同時(shí)幫助企業(yè)提升內(nèi)部運(yùn)營(yíng)效率，降低成本。因此業(yè)務(wù)數(shù)據(jù)化是未來(lái)發(fā)展的一大趨勢(shì)。

1）設(shè)計(jì)目標(biāo)和原則

業(yè)務(wù)數(shù)據(jù)化的設(shè)計(jì)目標(biāo)是要從大量的、可能是雜亂無(wú)章的、難以理解的數(shù)據(jù)中抽取并推導(dǎo)出對(duì)于某些特定的人或事物來(lái)說(shuō)有價(jià)值、有異議的數(shù)據(jù)。設(shè)計(jì)原則包括簡(jiǎn)約原則、綜觀原則、解釋原則以及智慧原則。

（1）簡(jiǎn)約原則：簡(jiǎn)化現(xiàn)有的數(shù)據(jù)集，使得一種小規(guī)模的數(shù)據(jù)就能夠產(chǎn)生同樣的分析效果。通過(guò)一些數(shù)據(jù)規(guī)約方法獲取可靠數(shù)據(jù)，減少數(shù)據(jù)集規(guī)模，提高數(shù)據(jù)抽象程度，提升數(shù)據(jù)挖掘效率，使之在實(shí)際工作中，可以根據(jù)需要選用合適的處理方法，以達(dá)到操作上的簡(jiǎn)單、簡(jiǎn)潔、簡(jiǎn)約和高效。

（2）綜觀原則：對(duì)認(rèn)知對(duì)象進(jìn)行綜合性的觀察、分析和探索，以求得解決問(wèn)題的策略和戰(zhàn)略。它堅(jiān)持整體的具體統(tǒng)一性，凸顯認(rèn)知對(duì)象的具體實(shí)在性。

（3）解釋性原則：針對(duì)提取的數(shù)據(jù)究竟表達(dá)什么或意味什么，很大程度上，并不取決于數(shù)據(jù)信息自身所標(biāo)明的“客觀實(shí)在性”，而是取決于認(rèn)知主體對(duì)數(shù)據(jù)進(jìn)行解讀時(shí)的主觀評(píng)價(jià)，以此揭示數(shù)據(jù)的本質(zhì)。

（4）智慧原則：在對(duì)數(shù)據(jù)的處理挖掘過(guò)程中既要兼具數(shù)據(jù)處理能力，也要具備應(yīng)用算法和編寫(xiě)代碼的經(jīng)驗(yàn)。在大數(shù)據(jù)時(shí)代，不僅要關(guān)注數(shù)據(jù)的多樣性、差異性、精確性和實(shí)效性；還要深入挖掘各類數(shù)據(jù)，并在此基礎(chǔ)上在不同的數(shù)據(jù)集成中分析不同的假設(shè)情境，建構(gòu)不同的可視化圖像，揭示數(shù)據(jù)集成的變化及其產(chǎn)生的效用。

2）數(shù)據(jù)線程

數(shù)據(jù)線程是指以價(jià)值鏈活動(dòng)為脈絡(luò)，以業(yè)務(wù)為中心，構(gòu)建的數(shù)據(jù)建模、關(guān)聯(lián)、因果、集成、演化等全主線流程。數(shù)據(jù)線程通過(guò)建立面向業(yè)務(wù)應(yīng)用的數(shù)據(jù)模型，實(shí)現(xiàn)各種信息化業(yè)務(wù)系統(tǒng)數(shù)據(jù)源的統(tǒng)一建模需求；針對(duì)設(shè)計(jì)、制造、運(yùn)行、維護(hù)等生產(chǎn)環(huán)節(jié)，發(fā)掘數(shù)據(jù)資源間的復(fù)雜關(guān)聯(lián)關(guān)系和因果關(guān)系；通過(guò)描述業(yè)務(wù)驅(qū)動(dòng)的數(shù)據(jù)動(dòng)態(tài)演化過(guò)程，提升對(duì)產(chǎn)品迭代、工藝更新、設(shè)備維護(hù)等業(yè)務(wù)決策問(wèn)題的適應(yīng)能力。數(shù)據(jù)線程圍繞數(shù)據(jù)生成、匯聚、存儲(chǔ)、歸檔、分析、使用和銷毀等全過(guò)程，實(shí)現(xiàn)了產(chǎn)品研發(fā)設(shè)計(jì)、生產(chǎn)制造、經(jīng)營(yíng)管理和銷售服務(wù)等全價(jià)值鏈活動(dòng)中業(yè)務(wù)數(shù)據(jù)的有效組織，為業(yè)務(wù)數(shù)據(jù)化提供了良好的基礎(chǔ)。

3）業(yè)務(wù)數(shù)據(jù)系統(tǒng)

業(yè)務(wù)數(shù)據(jù)系統(tǒng)主要包括業(yè)務(wù)數(shù)據(jù)集成系統(tǒng)、業(yè)務(wù)數(shù)據(jù)管理系統(tǒng)、業(yè)務(wù)數(shù)據(jù)分析系統(tǒng)、業(yè)務(wù)數(shù)據(jù)可視化系統(tǒng)等多個(gè)子系統(tǒng)。

（1）業(yè)務(wù)數(shù)據(jù)集成系統(tǒng)：是面向業(yè)務(wù)的數(shù)據(jù)集成系統(tǒng)。隨著企業(yè)信息化建設(shè)的發(fā)展，企業(yè)建立了眾多的信息系統(tǒng)，以幫助企業(yè)進(jìn)行內(nèi)外部業(yè)務(wù)的管理。但是，企業(yè)各系統(tǒng)的數(shù)據(jù)是分布的、異構(gòu)的，為了共享這些業(yè)務(wù)數(shù)據(jù)，需要一個(gè)業(yè)務(wù)數(shù)據(jù)集成系統(tǒng)來(lái)完成數(shù)據(jù)的共享與轉(zhuǎn)換。業(yè)務(wù)數(shù)據(jù)集成系統(tǒng)通過(guò)對(duì)具體的數(shù)據(jù)庫(kù)業(yè)務(wù)數(shù)據(jù)進(jìn)行訪問(wèn)，實(shí)現(xiàn)了基于變量的增量數(shù)據(jù)的獲取和發(fā)送，不僅解決了分布式環(huán)境下異構(gòu)數(shù)據(jù)的集成，還具有良好的擴(kuò)展性及部署的簡(jiǎn)單性。

（2）業(yè)務(wù)數(shù)據(jù)管理系統(tǒng)：是業(yè)務(wù)數(shù)據(jù)系統(tǒng)的核心組成部分，主要完成對(duì)業(yè)務(wù)數(shù)據(jù)的操縱與管理功能，實(shí)現(xiàn)數(shù)據(jù)對(duì)象的創(chuàng)建、數(shù)據(jù)存儲(chǔ)數(shù)據(jù)的查詢、添加、修改與刪除操作和數(shù)據(jù)庫(kù)的用戶管理、權(quán)限管理等。業(yè)務(wù)數(shù)據(jù)管理系統(tǒng)可以依據(jù)它所支持的數(shù)據(jù)庫(kù)模型來(lái)做分類，例如關(guān)系式、XML；或依據(jù)所支持的計(jì)算機(jī)類型來(lái)做分類，例如服務(wù)器群集、移動(dòng)電話；或依據(jù)所用查詢語(yǔ)言來(lái)做分類，例如SQL、XQuery；或依據(jù)性能沖量重點(diǎn)來(lái)做分類，例如最大規(guī)模、最高運(yùn)行速度。

（3）業(yè)務(wù)數(shù)據(jù)分析系統(tǒng)：主要功能是從眾多外部系統(tǒng)中，采集相關(guān)的業(yè)務(wù)數(shù)據(jù)，集中存儲(chǔ)到系統(tǒng)的數(shù)據(jù)庫(kù)中。系統(tǒng)內(nèi)部對(duì)所有的原始數(shù)據(jù)通過(guò)一系列處理轉(zhuǎn)換之后，存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)庫(kù)中；然后，通過(guò)業(yè)務(wù)需要進(jìn)行一系列的數(shù)據(jù)轉(zhuǎn)換到相應(yīng)的數(shù)據(jù)集市，供其他上層數(shù)據(jù)應(yīng)用組件進(jìn)行專題分析或者展示，并將數(shù)據(jù)加以匯總和理解并消化，以求最大化地開(kāi)發(fā)數(shù)據(jù)的功能，發(fā)揮數(shù)據(jù)的作用。

（3）業(yè)務(wù)數(shù)據(jù)可視化系統(tǒng)：將數(shù)據(jù)進(jìn)行更清晰的展示，能夠準(zhǔn)確而高效、精簡(jiǎn)而全面地傳遞信息和知識(shí)。可視化能將不可見(jiàn)的數(shù)據(jù)現(xiàn)象轉(zhuǎn)化為可見(jiàn)的圖形符號(hào)，能將錯(cuò)綜復(fù)雜、看起來(lái)沒(méi)法解釋和關(guān)聯(lián)的數(shù)據(jù)，建立起聯(lián)系和關(guān)聯(lián)，發(fā)現(xiàn)規(guī)律和特征，獲得更有商業(yè)價(jià)值的洞見(jiàn)和價(jià)值。

4）智能制造業(yè)務(wù)數(shù)據(jù)

智能制造業(yè)務(wù)數(shù)據(jù)主要包括以下6個(gè)方面。

（1）從底層的設(shè)備控制系統(tǒng)中采集的數(shù)據(jù)，包括設(shè)備的狀態(tài)數(shù)據(jù)、設(shè)備參數(shù)等，如數(shù)控系統(tǒng)、產(chǎn)線控制系統(tǒng)等。

（2）直接采集各類終端及傳感器的數(shù)據(jù)，如溫度傳感器、振動(dòng)傳感器、噪聲傳感器、手持終端等。

（3）從各類業(yè)務(wù)應(yīng)用信息系統(tǒng)中獲取數(shù)據(jù)，如MES系統(tǒng)從PDM系統(tǒng)獲取BOM數(shù)據(jù)，從ERP系統(tǒng)獲取訂單數(shù)據(jù)等。

（4）從各類業(yè)務(wù)運(yùn)行過(guò)程中獲取的樣本數(shù)據(jù)集，是指以業(yè)務(wù)為中心，積累的歷史樣本數(shù)據(jù)，可用于智能制造過(guò)程中模型的訓(xùn)練。

（5）指算法和模型數(shù)據(jù)，是指機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等算法和已訓(xùn)練好的模型，用戶可以直接從業(yè)務(wù)數(shù)據(jù)系統(tǒng)中調(diào)用這些算法和模型數(shù)據(jù)，用于制造大數(shù)據(jù)分析、預(yù)測(cè)、決策等。

（6）從互聯(lián)網(wǎng)獲取數(shù)據(jù)，如獲取市場(chǎng)信息數(shù)據(jù)、環(huán)境數(shù)據(jù)，上下游供應(yīng)商數(shù)據(jù)等。還包括來(lái)源于人類軌跡產(chǎn)生的數(shù)據(jù)，包括在現(xiàn)代工業(yè)制造鏈中，從采購(gòu)，生產(chǎn)，物流與銷售市場(chǎng)的內(nèi)部流程等。通過(guò)行為軌跡數(shù)據(jù)與設(shè)備數(shù)據(jù)的結(jié)合，可以幫助我們實(shí)現(xiàn)客戶的分析和挖掘。

大數(shù)據(jù)時(shí)代的新理念

大數(shù)據(jù)時(shí)代的到來(lái)改變了人們的生活方式、思維模式和研究范式，也帶來(lái)了很多全新的理念。

（1）研究范式的新認(rèn)識(shí)——從第三范式到第四范式：2007年，圖靈獎(jiǎng)獲得者Jim Gray提出了科學(xué)研究的第四范式——數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)（Data-intensive Scientific Discovery）。在他看來(lái)，人類科學(xué)研究活動(dòng)已經(jīng)歷過(guò)3種不同范式的演變過(guò)程（原始社會(huì)的實(shí)驗(yàn)科學(xué)范式、以模型和歸納為特征的理論科學(xué)范式和以模擬仿真為特征的計(jì)算科學(xué)范式），目前正在從計(jì)算科學(xué)范式轉(zhuǎn)向數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)范式。第四范式，即數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)范式的主要特點(diǎn)是科學(xué)研究人員只需要從大數(shù)據(jù)中查找和挖掘所需要的信息和知識(shí)，無(wú)須直接面對(duì)所研究的物理對(duì)象。

（2）數(shù)據(jù)重要性的新認(rèn)識(shí)——從數(shù)據(jù)資源到數(shù)據(jù)資產(chǎn)：在大數(shù)據(jù)時(shí)代，數(shù)據(jù)不僅是一種資源，而更是一種重要的資產(chǎn)。因此，數(shù)據(jù)科學(xué)應(yīng)把數(shù)據(jù)當(dāng)作一種資產(chǎn)來(lái)管理，而不能僅僅當(dāng)作資源來(lái)對(duì)待。也就是說(shuō)，與其他類型的資產(chǎn)相似，數(shù)據(jù)也具有財(cái)務(wù)價(jià)值，且需要作為獨(dú)立實(shí)體進(jìn)行組織與管理。

（3）對(duì)方法論的新認(rèn)識(shí)——從基于知識(shí)解決問(wèn)題到基于數(shù)據(jù)解決問(wèn)題：傳統(tǒng)方法論往往是基于知識(shí)的，即從大量實(shí)踐（數(shù)據(jù)）中總結(jié)和提煉出一般性知識(shí)（定理、模式、模型、函數(shù)等）之后，用知識(shí)去解決（或解釋）問(wèn)題。因此，傳統(tǒng)的問(wèn)題解決思路是問(wèn)題→知識(shí)→問(wèn)題，即根據(jù)問(wèn)題找知識(shí)，并用知識(shí)解決問(wèn)題。然而，數(shù)據(jù)科學(xué)中興起了另一種方法論——問(wèn)題→數(shù)據(jù)→問(wèn)題，即根據(jù)問(wèn)題找數(shù)據(jù)，并直接用數(shù)據(jù)（不需要把數(shù)據(jù)轉(zhuǎn)換成知識(shí)的前提下）解決問(wèn)題。

（4）對(duì)數(shù)據(jù)分析的新認(rèn)識(shí)——從統(tǒng)計(jì)學(xué)到數(shù)據(jù)科學(xué)：在傳統(tǒng)科學(xué)中，數(shù)據(jù)分析主要以數(shù)學(xué)和統(tǒng)計(jì)學(xué)為直接理論工具。但是，云計(jì)算等計(jì)算模式的出現(xiàn)以及大數(shù)據(jù)時(shí)代的到來(lái)，提升了人們對(duì)數(shù)據(jù)的獲取、存儲(chǔ)、計(jì)算與管理能力。在海量、動(dòng)態(tài)、異構(gòu)的數(shù)據(jù)環(huán)境中，人們開(kāi)始重視相關(guān)分析，而不僅僅是因果分析。人們更加關(guān)注的是數(shù)據(jù)計(jì)算的“效率”而不再盲目追求其精準(zhǔn)度。

（5）對(duì)計(jì)算智能的新認(rèn)識(shí)——從復(fù)雜算法到簡(jiǎn)單算法：“只要擁有足夠多的數(shù)據(jù)，我們可以變得更聰明”是大數(shù)據(jù)時(shí)代的一個(gè)新認(rèn)識(shí)。因此，在大數(shù)據(jù)時(shí)代，原本復(fù)雜的智能問(wèn)題變成簡(jiǎn)單的數(shù)據(jù)問(wèn)題——只要對(duì)大數(shù)據(jù)的進(jìn)行簡(jiǎn)單查詢就可以達(dá)到“基于復(fù)雜算法的智能計(jì)算的效果”。

（6）對(duì)數(shù)據(jù)管理重點(diǎn)的新認(rèn)識(shí)——從業(yè)務(wù)數(shù)據(jù)化到數(shù)據(jù)業(yè)務(wù)化：在大數(shù)據(jù)時(shí)代，企業(yè)需要重視一個(gè)新的課題——數(shù)據(jù)業(yè)務(wù)化，即如何基于數(shù)據(jù)動(dòng)態(tài)地定義、優(yōu)化和重組業(yè)務(wù)及其流程，進(jìn)而提升業(yè)務(wù)的敏捷性，降低風(fēng)險(xiǎn)和成本。

（7）對(duì)決策方式的新認(rèn)識(shí)——從目標(biāo)驅(qū)動(dòng)型決策到數(shù)據(jù)驅(qū)動(dòng)型決策：傳統(tǒng)科學(xué)思維中，決策制定往往是目標(biāo)或模型驅(qū)動(dòng)的——根據(jù)目標(biāo)（或模型）進(jìn)行決策。在大數(shù)據(jù)時(shí)代出現(xiàn)了另一種思維模式，即數(shù)據(jù)驅(qū)動(dòng)型決策，數(shù)據(jù)成為決策制定的主要觸發(fā)條件和重要依據(jù)。

（8）對(duì)產(chǎn)業(yè)競(jìng)合關(guān)系的新認(rèn)識(shí)——從以戰(zhàn)略為中心競(jìng)合關(guān)系到以數(shù)據(jù)為中心競(jìng)合關(guān)系：在大數(shù)據(jù)時(shí)代，企業(yè)之間的競(jìng)合關(guān)系發(fā)生了變化，原本相互激烈競(jìng)爭(zhēng)，甚至不愿合作的企業(yè)，不得不開(kāi)始合作，形成新的業(yè)態(tài)和產(chǎn)業(yè)鏈。

（9）對(duì)數(shù)據(jù)復(fù)雜性的新認(rèn)識(shí)——從不接受到接受數(shù)據(jù)的復(fù)雜性：在傳統(tǒng)科學(xué)看來(lái)，數(shù)據(jù)需要徹底凈化和集成，計(jì)算目的是需要找出精確答案，其背后的哲學(xué)是“不接受數(shù)據(jù)的復(fù)雜性”。然而，大數(shù)據(jù)中更加強(qiáng)調(diào)的是數(shù)據(jù)的動(dòng)態(tài)性、異構(gòu)性和跨域等復(fù)雜性——彈性計(jì)算、魯棒性、虛擬化和快速響應(yīng)，開(kāi)始把復(fù)雜性當(dāng)作數(shù)據(jù)的一個(gè)固有特征來(lái)對(duì)待，組織數(shù)據(jù)生態(tài)系統(tǒng)的管理目標(biāo)轉(zhuǎn)向?qū)⒔M織處于混沌邊緣狀態(tài)。

（10）對(duì)數(shù)據(jù)處理模式的新認(rèn)識(shí)——從小眾參與到大眾協(xié)同：傳統(tǒng)科學(xué)中，數(shù)據(jù)的分析和挖掘都是基于專家經(jīng)驗(yàn)，但在大數(shù)據(jù)時(shí)代，基于專家經(jīng)驗(yàn)的創(chuàng)新工作成本和風(fēng)險(xiǎn)越來(lái)越大，而基于專家-業(yè)余相結(jié)合（Pro-Am）的大規(guī)模協(xié)作日益受到重視，正成為解決數(shù)據(jù)規(guī)模與形式化之間矛盾的重要手段。

大數(shù)據(jù)時(shí)代的新術(shù)語(yǔ)

大數(shù)據(jù)時(shí)代的到來(lái)，為業(yè)務(wù)活動(dòng)提出了一些新的任務(wù)和挑戰(zhàn)，同時(shí)出現(xiàn)了很多全新術(shù)語(yǔ)。

（1）數(shù)據(jù)化（datafication）：捕獲人們的生活與業(yè)務(wù)活動(dòng)，并將其轉(zhuǎn)換為數(shù)據(jù)的過(guò)程。

（2）數(shù)據(jù)柔術(shù)(data jiu-jitsu)：數(shù)據(jù)科學(xué)家將大數(shù)據(jù)轉(zhuǎn)換具有立即產(chǎn)生商業(yè)價(jià)值的數(shù)據(jù)產(chǎn)品（data product）的能力，如圖1所示。數(shù)據(jù)產(chǎn)品是指在零次數(shù)據(jù)或一次數(shù)據(jù)的基礎(chǔ)上，通過(guò)數(shù)據(jù)加工活動(dòng)形成的二次或三次數(shù)據(jù)，數(shù)據(jù)產(chǎn)品的特點(diǎn)包括：高層次性，其一般為二次數(shù)據(jù)或三次數(shù)據(jù)；成品性，數(shù)據(jù)產(chǎn)品往往不需要（或不需要大量的）進(jìn)一步處理即可直接應(yīng)用；商品性，數(shù)據(jù)產(chǎn)品可以直接用于銷售或交易；易于定價(jià)，相對(duì)于原始數(shù)據(jù)，數(shù)據(jù)產(chǎn)品的定價(jià)更為容易。

? ? 圖1數(shù)據(jù)柔術(shù)

（3）數(shù)據(jù)改寫(xiě)（data munging）：帶有一定的創(chuàng)造力和想象力的數(shù)據(jù)再加工行為，主要涉及數(shù)據(jù)的解析（parsing）、提煉（scraping）、格式化（formatting）和形式化（formalization）處理。與一般數(shù)據(jù)處理不同的是，數(shù)據(jù)再加工強(qiáng)調(diào)的是數(shù)據(jù)加工過(guò)程中的創(chuàng)造力和想象力。

（4）數(shù)據(jù)打磨（data wrangling）：采用全手工或半自動(dòng)化的方式，通過(guò)多次反復(fù)調(diào)整與優(yōu)化過(guò)程，即將原始數(shù)據(jù)轉(zhuǎn)換為一次數(shù)據(jù)（或二次數(shù)據(jù)）的過(guò)程。其特殊性表現(xiàn)在不是完全自動(dòng)化方式實(shí)現(xiàn)，一般用手工或半自動(dòng)化工具；不是一次即可完成，需要多次反復(fù)調(diào)整與優(yōu)化。

（5）數(shù)據(jù)分析式思維模式（data-analytic thinking）：一種從數(shù)據(jù)視角分析問(wèn)題，并基于數(shù)據(jù)來(lái)解決問(wèn)題的思維模式。數(shù)據(jù)分析思維模式與傳統(tǒng)思維模式不同。前者，主要從數(shù)據(jù)入手，最終改變業(yè)務(wù)；后者從業(yè)務(wù)或決策等要素入手，最終改變數(shù)據(jù)。從分析對(duì)象和目的看，數(shù)據(jù)分析可以分為3個(gè)不同層次，如圖2所示。

圖2數(shù)據(jù)分析的層次

（6）描述性分析( descriptive analysis)：采用數(shù)據(jù)統(tǒng)計(jì)中的描述統(tǒng)計(jì)量、數(shù)據(jù)可視化等方法描述數(shù)據(jù)的基本特征，如總和、均值、標(biāo)準(zhǔn)差等。描述性分析可以實(shí)現(xiàn)從數(shù)據(jù)到信息的轉(zhuǎn)化。

（7）預(yù)測(cè)性分析（predictive analysis）：通過(guò)因果分析、相關(guān)分析等方法，基于過(guò)去/當(dāng)前的數(shù)據(jù)得出潛在模式、共性規(guī)律或未來(lái)趨勢(shì)。預(yù)測(cè)性分析可以實(shí)現(xiàn)從信息到知識(shí)的轉(zhuǎn)化。

（8）規(guī)范性分析（normative analysis）：不僅要利用當(dāng)前和過(guò)去的數(shù)據(jù)，而且還會(huì)綜合考慮期望結(jié)果、所處環(huán)境、資源條件等更多影響因素，在對(duì)比分析所有可能方案的基礎(chǔ)上，提出可以直接用于決策的建議或方案。規(guī)范性分析可實(shí)現(xiàn)從知識(shí)到智慧的轉(zhuǎn)變。

（9）數(shù)據(jù)洞見(jiàn)（data insights）：采用機(jī)器學(xué)習(xí)、數(shù)據(jù)統(tǒng)計(jì)和數(shù)據(jù)可視化等方法從海量數(shù)據(jù)中找到人們并未發(fā)現(xiàn)的且有價(jià)值的信息的能力。數(shù)據(jù)科學(xué)強(qiáng)調(diào)的是數(shù)據(jù)洞見(jiàn)——發(fā)現(xiàn)數(shù)據(jù)背后的信息、知識(shí)和智慧以及找到“被淹沒(méi)在海量數(shù)據(jù)中的未知數(shù)據(jù)”。與數(shù)據(jù)挖掘不同的是，數(shù)據(jù)科學(xué)項(xiàng)目的成果可以直接用于決策支持。數(shù)據(jù)洞見(jiàn)力的高低主要取決于主體的數(shù)據(jù)意識(shí)、經(jīng)驗(yàn)積累和分析處理能力。

（10）數(shù)據(jù)驅(qū)動(dòng)（data-driven）：是相對(duì)于決策驅(qū)動(dòng)、目標(biāo)驅(qū)動(dòng)、業(yè)務(wù)驅(qū)動(dòng)和模型驅(qū)動(dòng)的一種提法。數(shù)據(jù)驅(qū)動(dòng)主要以數(shù)據(jù)為觸發(fā)器（出發(fā)點(diǎn)）、視角和依據(jù)，進(jìn)行觀測(cè)、控制、調(diào)整和整合其他要素——決策、目標(biāo)、業(yè)務(wù)和模型等，如圖3所示。數(shù)據(jù)驅(qū)動(dòng)是大數(shù)據(jù)時(shí)代的一種重要思維模式，也是業(yè)務(wù)數(shù)據(jù)化之后實(shí)現(xiàn)數(shù)據(jù)業(yè)務(wù)化的關(guān)鍵所在。

圖3常用的驅(qū)動(dòng)方式

（11）數(shù)據(jù)密集型（data-intensive）應(yīng)用：是相對(duì)于計(jì)算密集型應(yīng)用、I/O密集型應(yīng)用的一種提法，如圖4所示。也就是說(shuō)，數(shù)據(jù)密集型應(yīng)用中數(shù)據(jù)成為應(yīng)用系統(tǒng)研發(fā)的主要焦點(diǎn)和挑戰(zhàn)。通常，數(shù)據(jù)密集型應(yīng)用的計(jì)算比較容易，但數(shù)據(jù)具有顯著的復(fù)雜性（異構(gòu)、動(dòng)態(tài)、跨域和海量等）和海量性。例如，當(dāng)對(duì)PB級(jí)復(fù)雜性數(shù)據(jù)進(jìn)行簡(jiǎn)單查詢時(shí)，計(jì)算不再是最主要的挑戰(zhàn)，而最主要挑戰(zhàn)來(lái)自于數(shù)據(jù)本身的復(fù)雜性。

圖4計(jì)算密集型應(yīng)用與數(shù)據(jù)密集型應(yīng)用的區(qū)別

（12）數(shù)據(jù)空間（data space）：主體的數(shù)據(jù)空間——與主體相關(guān)的數(shù)據(jù)及其關(guān)系的集合。主體相關(guān)性和可控性是數(shù)據(jù)空間中數(shù)據(jù)項(xiàng)的基本屬性。

（13）關(guān)聯(lián)數(shù)據(jù)（linked data）：一種數(shù)據(jù)發(fā)布和關(guān)聯(lián)的方法。其中，數(shù)據(jù)發(fā)布是指采用資源描述框架(resource definition framework，RDF)和超文本傳輸協(xié)議(hypertext transfer protocol，HTTP)技術(shù)在Web上發(fā)布結(jié)構(gòu)化信息；數(shù)據(jù)關(guān)聯(lián)是指采用RDF鏈接技術(shù)在不同數(shù)據(jù)源中的數(shù)據(jù)之間建立計(jì)算機(jī)可理解的互連關(guān)系。2006年, Tim Berners Lee首次提出了關(guān)聯(lián)數(shù)據(jù)的理念，目的在于不同資源之間建立計(jì)算機(jī)可理解的關(guān)聯(lián)信息，最終形成全球性大數(shù)據(jù)空間。Tim Berners Lee進(jìn)一步明確提出了關(guān)聯(lián)數(shù)據(jù)技術(shù)中的數(shù)據(jù)發(fā)布和數(shù)據(jù)關(guān)聯(lián)的4項(xiàng)原則：采用統(tǒng)一資源標(biāo)識(shí)符（uniform resource identifier, URI）技術(shù)統(tǒng)一標(biāo)識(shí)事物；通過(guò)HTTP URI訪問(wèn)URI標(biāo)識(shí)；當(dāng)URI被訪問(wèn)時(shí)，采用RDF和SPARQL（Simple Protocol and RDF Query Language）標(biāo)準(zhǔn)，提供有用信息；提供信息時(shí)，也提供指向其他事物的URI，以便發(fā)現(xiàn)更多事物。

除了上述概念之外，還有數(shù)據(jù)消減(data reduction)、數(shù)據(jù)新聞（data journalism）、數(shù)據(jù)的開(kāi)放獲?。╫pen access）、數(shù)據(jù)質(zhì)量、特征提取等傳統(tǒng)概念也重新備受關(guān)注。

大數(shù)據(jù)生命周期管理

在大數(shù)據(jù)平臺(tái)下，預(yù)處理的數(shù)據(jù)量非常大，而處理后的有效數(shù)據(jù)量往往比較小，因此，數(shù)據(jù)的生命周期管理顯得非常重要。數(shù)據(jù)生命周期管理（data life-cycle management，DLM）是一種基于策略的方法，用于管理信息系統(tǒng)的數(shù)據(jù)在整個(gè)生命周期內(nèi)的流動(dòng)：從創(chuàng)建和初始存儲(chǔ)，到它過(guò)時(shí)被刪除。（圖5）

圖5大數(shù)據(jù)生命周期管理概述圖

DLM產(chǎn)品將涉及的過(guò)程自動(dòng)化，通常根據(jù)指定的策略將數(shù)據(jù)組織成各個(gè)不同的層，并基于那些關(guān)鍵條件自動(dòng)地將數(shù)據(jù)從一個(gè)層移動(dòng)到另一個(gè)層。作為一項(xiàng)規(guī)則，較新的數(shù)據(jù)和那些很可能被更加頻繁訪問(wèn)的數(shù)據(jù)，應(yīng)該存儲(chǔ)在更快的，并且更昂貴的存儲(chǔ)媒介上，而那些不是很重要的數(shù)據(jù)則存儲(chǔ)在比較便宜的，稍微慢些的媒介上。數(shù)據(jù)生命周期管理的總體原則在數(shù)據(jù)的整個(gè)生命周期中，不同階段的數(shù)據(jù)其性能、可用性、保存等要求也不一樣。通常情況下，在其生命周期初期，數(shù)據(jù)的使用頻率較高，需要使用高速存儲(chǔ)，確保數(shù)據(jù)的高可用性。隨著時(shí)間的推移，數(shù)據(jù)重要性會(huì)逐漸降低,使用頻率會(huì)隨之下降，應(yīng)將數(shù)據(jù)進(jìn)行不同級(jí)別的存儲(chǔ),為其提供適當(dāng)?shù)目捎眯?、存?chǔ)空間，以降低管理成本和資源開(kāi)銷。最終大部分?jǐn)?shù)據(jù)將不再會(huì)被使用，可以將數(shù)據(jù)清理后歸檔保存，以備臨時(shí)需要時(shí)使用。

編輯：黃飛