大數(shù)據(jù)如果應用不當可能很容易失控，并可能消耗企業(yè)資源和預算。在這里將介紹避免混亂的一些大數(shù)據(jù)的最佳實踐。

大數(shù)據(jù)可以為用戶提供卓越的洞察力，也有可能讓企業(yè)不堪重負。而企業(yè)根據(jù)其收集數(shù)據(jù)做出自己的選擇。企業(yè)面臨的主要問題是大數(shù)據(jù)是由技術專業(yè)人員收集的技術解決方案，但最佳實踐是其業(yè)務流程。

由于資源和輸入設備得到爆炸式增長，人們收集到的數(shù)據(jù)比以往更多。根據(jù)IBM公司的調查，大多數(shù)美國公司存儲的數(shù)據(jù)量為100TB，而美國的政府部門和企業(yè)每年因數(shù)據(jù)損壞而造成損失高達3.1萬億美元。

然而，企業(yè)創(chuàng)建數(shù)據(jù)湖或數(shù)據(jù)倉庫并將它們存滿數(shù)據(jù)，其中大部分數(shù)據(jù)未被使用或曾被使用過。企業(yè)的數(shù)據(jù)湖將快速積累成為存滿數(shù)據(jù)的信息池。

最基本的問題是許多數(shù)據(jù)只得到了部分處理或完全偏離了基礎。數(shù)據(jù)收集不正確或收集手段沒有正確定義。企業(yè)的業(yè)務很明顯與大數(shù)據(jù)有關。

這對于商業(yè)數(shù)據(jù)庫中使用的常規(guī)的、日常的、小級別的數(shù)據(jù)來說是個小問題。對于企業(yè)來說，需要大數(shù)據(jù)處理大量的信息。因為其數(shù)據(jù)的規(guī)模巨大，獲得收益或混淆的可能性也越大。因此，“正確”變得更為重要。

那么在大數(shù)據(jù)中“正確”意味著什么呢？

大數(shù)據(jù)最佳實踐：8個關鍵原則

事實是，“大數(shù)據(jù)的最佳實踐”的概念正在演變，因為數(shù)據(jù)分析領域本身正在迅速發(fā)展。不過，企業(yè)需要與可能的最佳策略進行競爭。因此提出一些最佳實踐，希望企業(yè)能夠避免被大量無用數(shù)據(jù)淹沒，不會淹沒在數(shù)據(jù)湖中。

1. 定義大數(shù)據(jù)業(yè)務目標

IT行業(yè)有一個壞習慣，就是像Hadoop集群這樣的新鮮事物容易分散人們的注意力。在企業(yè)開始利用大數(shù)據(jù)分析過程之前，了解業(yè)務需求和目標應該是企業(yè)采取的第一步，也是最重要的一步。企業(yè)用戶必須明確他們想要的結果。

這是企業(yè)管理層必須率先實現(xiàn)，并且在技術方面必須遵循的地方。如果企業(yè)的管理層沒有明確的業(yè)務目標，那么將不能收集并正確創(chuàng)建數(shù)據(jù)。很多組織收集了一切能夠收集的數(shù)據(jù)，然后再去清除他們不需要的東西。這會造成很多不必要的工作，因此企業(yè)應該清理出所需要的信息，而不是收集全部信息。

2. 評估并與合作伙伴制定戰(zhàn)略

大數(shù)據(jù)項目不應該由IT部門孤立完成。它必須涉及數(shù)據(jù)所有者，這將是一個業(yè)務部門，或者是一個提供大數(shù)據(jù)技術的供應商或咨詢機構，這些供應商可以為組織帶來外部的視角和眼光，并評估組織當前的情況。

在制定戰(zhàn)略的過程中，應該持續(xù)進行檢查，以確保企業(yè)收集所需的數(shù)據(jù)，并且會為企業(yè)提供所需的見解，就像廚師在整個烹飪過程中時刻檢查自己的工作一樣。而不只是收集所有內容之后再進行檢查，因為如果在此期間數(shù)據(jù)出錯，這意味著檢查數(shù)據(jù)要一直回溯到起點，并在不必要的時候啟動。

企業(yè)通過與那些從項目中獲益的人一起工作，可以確保一起參與進來，從而取得成功。

3. 企業(yè)確定自己擁有什么以及在大數(shù)據(jù)中需要什么

大量的數(shù)據(jù)并不等同于良好可用的數(shù)據(jù)。企業(yè)可能會在某個地方將正確的數(shù)據(jù)混合在一起，但它會由企業(yè)自己決定。收集的隨機數(shù)據(jù)越多，越是經(jīng)常雜亂無章，形式各異。

同樣重要的是確定企業(yè)所擁有的是其所沒有的東西。一旦收集了項目所需的數(shù)據(jù)，就確定可能缺少什么，在這些工作開始之前一定要把一切都準備好。

企業(yè)并不總是能夠事先知道需要什么數(shù)據(jù)字段，所以一定要確保軟件的靈活性，以便在實施過程中調整。這與確定企業(yè)擁有什么以及在大數(shù)據(jù)中需要什么的理念相吻合。

其底線是企業(yè)必須測試數(shù)據(jù)并檢查結果。企業(yè)可能會驚訝地發(fā)現(xiàn)沒有得到需要的答案。在企業(yè)首先開展該項目之前，最好先找出答案。

4. 保持持續(xù)的溝通和評估

有效的協(xié)作需要利益相關者和IT部門之間的持續(xù)溝通。企業(yè)的目標可能會在項目的進行期間發(fā)生變化，如果發(fā)生這種情況，必須將變更信息傳達給IT部門。企業(yè)可能需要停止收集一種形式的數(shù)據(jù)，并開始收集另一種形式的數(shù)據(jù)。企業(yè)不希望這種情況持續(xù)下去。

繪制一張清晰的地圖，在某些地點打破預期或期望的結果。如果是一個為期12個月的項目，每三個月檢查一次。這給了企業(yè)一個復習和改變課程的機會。

5. 如果啟動緩慢，需要利用大數(shù)據(jù)快速反應

企業(yè)開展的第一個大數(shù)據(jù)項目不應該過于雄心勃勃。需要要從概念驗證或試點項目開始，這樣的項目規(guī)模相對較小，并且易于管理。

選擇企業(yè)想改善業(yè)務流程的一個領域，但是在事情出錯或錯誤嚴重的情況下它不會有太大的影響。另外，如果問題不需要解決，不要強迫采用大數(shù)據(jù)解決方案。

企業(yè)還應該使用敏捷技術和迭代方法來實現(xiàn)。敏捷是一種操作手段，并不局限于開發(fā)。敏捷開發(fā)是什么？例如寫一小段代碼，然后開始測試多種方法，然后再添加，再進行徹底測試、沖洗、重復。這是一種可以應用于任何過程的方法，而不僅僅是編程。

使用敏捷和迭代實現(xiàn)技術，可以根據(jù)當前需求在短時間內提供快速解決方案，而不是一次性瀑布方法。

6. 評估大數(shù)據(jù)技術要求

根據(jù)調研機構IDC公司的數(shù)據(jù)，絕大多數(shù)數(shù)據(jù)是非結構化的，可能高達90%。但是企業(yè)仍然需要查看數(shù)據(jù)來自哪里以確定最佳數(shù)據(jù)存儲。企業(yè)可以選擇SQL或NoSQL以及兩種數(shù)據(jù)庫的各種變體。

企業(yè)需要實時洞察力還是在做事后評估？可能需要Apache Spark進行實時處理，或者可以使用Hadoop（這是一個批處理過程）。還有用于分散在多個地點的數(shù)據(jù)的地理數(shù)據(jù)庫，這可能是具有多個地點和數(shù)據(jù)中心的公司的要求。

另外，企業(yè)需要查看每個數(shù)據(jù)庫的具體分析功能，看看它們是否適用。IBM公司收購了高性能分析設備商Netezza公司，而Teradata和Greenplum嵌入了SAS加速器，Oracle在其Exadata系統(tǒng)的分析中使用了R語言的特殊實現(xiàn)，PostgreSQL具有特殊的分析編程語法。因此，需要查看這些工具如何能夠滿足其需求。

7. 與云中的大數(shù)據(jù)保持一致

企業(yè)在采用云計算時必須謹慎，因為可能采用按量計費，而大數(shù)據(jù)意味著要處理大量數(shù)據(jù)。但是，云計算也有很多優(yōu)點。公共云可以即時或至少非?？焖俚剡M行配置和擴展。Amazon EMR和Google BigQuery等服務允許快速建立原型。

首先是使用它來快速構建企業(yè)的環(huán)境原型。使用數(shù)據(jù)子集和亞馬遜和微軟等云計算提供商提供的許多工具，企業(yè)可以在幾個小時內建立、開發(fā)和測試環(huán)境，并將其用于測試平臺。然后，當企業(yè)制定出一個堅實的運營模式時，將其移回內部部署的數(shù)據(jù)中心進行工作。

云計算的另一個優(yōu)點是企業(yè)收集的大部分數(shù)據(jù)都可能駐留在那里。在這種情況下，企業(yè)沒有理由將數(shù)據(jù)轉移到內部部署數(shù)據(jù)中心。許多數(shù)據(jù)庫和大數(shù)據(jù)應用程序都支持來自云計算和本地的各種數(shù)據(jù)源，因此，如果企業(yè)在云中收集數(shù)據(jù)，請務必將其留在那里。

8. 管理企業(yè)的大數(shù)據(jù)人才，并一直關注合規(guī)性和訪問的問題

大數(shù)據(jù)是一個新興的領域，而不是像Python或Java編程這些可以自學成才的領域。麥肯錫全球研究院的一項研究表明，2018年全球將缺乏140至190萬名擁有必要專業(yè)知識的人員，另外還缺乏基于分析結果作出決策的150萬名相關管理人員和分析師。

首先必須明確的是誰應該有權訪問數(shù)據(jù)，以及有多少訪問權限。數(shù)據(jù)隱私是當今的一個主要問題，尤其是歐洲即將實施嚴格的通用數(shù)據(jù)保護條例（GDPR），這將對企業(yè)的數(shù)據(jù)使用造成嚴格的限制。

企業(yè)確保清除所有數(shù)據(jù)隱私問題以及誰有權訪問敏感數(shù)據(jù)。企業(yè)應該關注其他治理問題，如營業(yè)額？確定哪些數(shù)據(jù)（如果有的話）可以進入公共云，哪些數(shù)據(jù)必須保留在本地部署數(shù)據(jù)中心，以及誰控制什么。

最后，雖然一些高校正在為數(shù)據(jù)科學設置和增加相關課程，但這些課程并沒有標準，每個課程計劃在重點和技能方面都略有不同。所以，有時企業(yè)并不需要招聘具有數(shù)據(jù)科學碩士學位的技術人員，因為他們可能不了解企業(yè)使用的工具或其所在的行業(yè)。再次，鑒于技能短缺的情況，企業(yè)可能需要做到這一點，可以在垂直行業(yè)中培訓他們。