什么是大數(shù)據(jù)

大數(shù)據(jù)（big data），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

麥肯錫全球研究所給大數(shù)據(jù)出的定義是：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉、多樣的數(shù)據(jù)類型和價值密度低四大特征。

大數(shù)據(jù)技術的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。

從技術上看，大數(shù)據(jù)與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計算機進行處理，必須采用分布式架構。它的特色在于對海量數(shù)據(jù)進行分布式數(shù)據(jù)挖掘。但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術。

隨著云時代的來臨，大數(shù)據(jù)（Big data）也吸引了越來越多的關注。分析師團隊認為，大數(shù)據(jù)（Big data）通常用來形容一個公司創(chuàng)造的大量非結構化數(shù)據(jù)和半結構化數(shù)據(jù)，這些數(shù)據(jù)在下載到關系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。大數(shù)據(jù)分析常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。大數(shù)據(jù)需要特殊的技術，以有效地處理大量的容忍經(jīng)過時間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計算平臺、互聯(lián)網(wǎng)和可擴展的存儲系統(tǒng)。

這一切都始于數(shù)字時代到來后我們所產(chǎn)生的數(shù)據(jù)量的指數(shù)激增。這主要是因為計算機、因特網(wǎng)和技術能夠從我們生活的真實世界中獲取信息，并將其轉化為數(shù)字數(shù)據(jù)。在2017年，當我們上網(wǎng)時、當我們攜帶配備GPS的智能手機時、當我們通過社交媒體或聊天應用程序與我們的朋友溝通時、以及我們在購物時，我們會生成數(shù)據(jù)。你可以說，我們所做的涉及數(shù)字交易的一切都會留下數(shù)字足跡，這幾乎是我們生活的一切。

除此之外，機器生成的數(shù)據(jù)量也在快速增長。當我們的“智能”家庭設備彼此通信或與他們的家庭服務器通信時，數(shù)據(jù)就會生成和共享。世界各地的工廠和工廠的工業(yè)機械越來越多地配備了傳感器來收集和傳輸數(shù)據(jù)。很快，自動駕駛的汽車將走上街頭，將他們所到之處周圍的環(huán)境實時、四維的地圖發(fā)送回家。