許多組織已經(jīng)意識(shí)到從其產(chǎn)品、服務(wù)和運(yùn)營(yíng)中收集的數(shù)據(jù)的價(jià)值。他們?cè)O(shè)立了新的行政職位，例如首席信息官 （CIO），其主要關(guān)注點(diǎn)是正確使用和保護(hù)這一新的大數(shù)據(jù)資源。CIO 隨后邀請(qǐng)信息技術(shù) （IT） 團(tuán)隊(duì)實(shí)施新的數(shù)據(jù)政策和流程，其中包括：

治理：通過(guò)控制數(shù)據(jù)的存儲(chǔ)、訪問(wèn)和處理來(lái)確保數(shù)據(jù)的完整性。

訪問(wèn)：向工程、運(yùn)營(yíng)、保修、質(zhì)量、營(yíng)銷和銷售團(tuán)隊(duì)提供數(shù)據(jù)。

處理：如果數(shù)據(jù)足夠大，則需要專門的處理平臺(tái)來(lái)消除傳輸數(shù)據(jù)的延遲并減少處理數(shù)據(jù)的時(shí)間。

為了滿足這些新要求，IT 組織正在采用新技術(shù)和平臺(tái)來(lái)存儲(chǔ)和管理這些龐大且不斷增長(zhǎng)的數(shù)據(jù)集。因此，您需要與 IT 團(tuán)隊(duì)更緊密地合作，以便獲得訪問(wèn)權(quán)限并設(shè)置一個(gè)工作流，使您能夠處理數(shù)據(jù)。在這個(gè)新環(huán)境中，使用與您的 IT 團(tuán)隊(duì)用于存儲(chǔ)、管理和處理大數(shù)據(jù)的系統(tǒng)以及您熟悉的系統(tǒng)一起使用的軟件分析和建模工具，使您能夠有效地使用這些數(shù)據(jù)在日常活動(dòng)中。

大數(shù)據(jù)平臺(tái)及應(yīng)用

IT 組織正在采用許多平臺(tái)來(lái)存儲(chǔ)和管理大數(shù)據(jù)。這些平臺(tái)不僅提供了存儲(chǔ)大數(shù)據(jù)的基礎(chǔ)設(shè)施，還支持用于以不同方式處理大數(shù)據(jù)的各種應(yīng)用程序。這些應(yīng)用程序可以大致分為兩類：大型歷史數(shù)據(jù)集的批處理，以及從設(shè)備連續(xù)收集的數(shù)據(jù)的實(shí)時(shí)或近實(shí)時(shí)處理。第二種情況通常稱為流式傳輸，在大多數(shù)物聯(lián)網(wǎng) （IoT） 應(yīng)用程序中都可以找到。

Hadoop

Hadoop 是圍繞分布式存儲(chǔ)和分布式計(jì)算原則設(shè)計(jì)的。它由在服務(wù)器集群上共存的兩個(gè)主要子系統(tǒng)組成，使其能夠支持大型數(shù)據(jù)集。

HDFS：Hadoop 分布式文件系統(tǒng) （HDFS） 提供了一個(gè)用于存儲(chǔ)數(shù)據(jù)的大型容錯(cuò)系統(tǒng)。

YARN：Yet Another Resource Negotiator （YARN） 管理運(yùn)行 Hadoop 集群和處理存儲(chǔ)在 HDFS 中的數(shù)據(jù)的高度可擴(kuò)展的應(yīng)用程序。

批處理應(yīng)用程序和創(chuàng)建模型

批處理應(yīng)用程序通常用于分析和處理在很長(zhǎng)一段時(shí)間內(nèi)或跨許多不同設(shè)備或系統(tǒng)收集的歷史數(shù)據(jù)。擁有使用這些批處理應(yīng)用程序的能力，您可以在數(shù)據(jù)中尋找趨勢(shì)并開發(fā)在過(guò)去使用大量數(shù)據(jù)時(shí)無(wú)法實(shí)現(xiàn)的預(yù)測(cè)模型。

在 Hadoop 上運(yùn)行的兩個(gè)比較流行的批處理應(yīng)用程序包括：

Spark：一種更通用的框架，可優(yōu)化內(nèi)存中的操作，使其非常適合機(jī)器學(xué)習(xí)應(yīng)用程序。

MapReduce：一個(gè)高度結(jié)構(gòu)化的框架，由 map 和 reduce 函數(shù)組成，適用于大數(shù)據(jù)分析和數(shù)據(jù)轉(zhuǎn)換應(yīng)用。

流應(yīng)用程序和模型集成

使用從歷史數(shù)據(jù)集開發(fā)的模型以及 Kafka 或 Paho 等流應(yīng)用程序可以為您的產(chǎn)品和服務(wù)添加更多智能和自適應(yīng)功能。這些差異化功能的示例包括： 預(yù)測(cè)性維護(hù)，這大大減少了不必要的維護(hù)以及計(jì)劃外停機(jī)時(shí)間；調(diào)整船舶、機(jī)車和商用車輛等重型設(shè)備的服務(wù)，以在其運(yùn)行環(huán)境中更好地運(yùn)行，從而實(shí)現(xiàn)更好的燃油經(jīng)濟(jì)性和增強(qiáng)的運(yùn)行；和樓宇自動(dòng)化系統(tǒng)，以盡可能低的成本運(yùn)行樓宇系統(tǒng)，同時(shí)仍保持舒適的環(huán)境。

Mondi Gronau的工程師創(chuàng)建了一個(gè)統(tǒng)計(jì)過(guò)程控制 （SPC） 應(yīng)用程序，其中包含使用 MATLAB 開發(fā)的預(yù)測(cè)模型。該系統(tǒng)不僅允許他們的機(jī)器操作員監(jiān)控其許多復(fù)雜生產(chǎn)線的操作，而且還提供警報(bào)以指示機(jī)器何時(shí)趨向于故障狀態(tài)。這些警報(bào)允許操作員在超出任何制造公差之前進(jìn)行調(diào)整，從而減少原材料的損失。

在許多情況下，這類服務(wù)通常是與企業(yè)應(yīng)用程序開發(fā)人員和系統(tǒng)架構(gòu)師一起開發(fā)的。但挑戰(zhàn)在于如何以有效的方式將您的模型集成到這些系統(tǒng)中。將模型移植到另一種語(yǔ)言既費(fèi)時(shí)又容易出錯(cuò)，每次對(duì)模型進(jìn)行更新時(shí)都需要大量工作。用典型的 IT 語(yǔ)言開發(fā)預(yù)測(cè)模型很困難。擁有開發(fā)這些模型所需的領(lǐng)域?qū)I(yè)知識(shí)的工程師和科學(xué)家不熟悉這些語(yǔ)言，而且這些語(yǔ)言并不總是包含充分處理和從工程和科學(xué)數(shù)據(jù)創(chuàng)建模型所需的功能。

企業(yè)應(yīng)用程序開發(fā)人員應(yīng)該尋找一種數(shù)據(jù)分析和建模工具，它不僅為他們的工程師和科學(xué)家所熟悉，而且還提供了他們需要的特定領(lǐng)域的工具。這些工具還必須擴(kuò)展以使用基于 Hadoop 的系統(tǒng)開發(fā)模型和大型數(shù)據(jù)集，這些系統(tǒng)提供高度穩(wěn)健的應(yīng)用程序服務(wù)器和代碼生成等功能，從而為將模型部署到企業(yè)應(yīng)用程序中提供直接路徑。

其他數(shù)據(jù)訪問(wèn)應(yīng)用程序

還有許多其他允許訪問(wèn)正在采用的大數(shù)據(jù)的應(yīng)用程序。其中一些包括允許使用數(shù)據(jù)庫(kù)類型語(yǔ)義訪問(wèn)存儲(chǔ)在 HDFS 中的數(shù)據(jù)的接口。Hive 和 Impala 就是兩個(gè)這樣的應(yīng)用程序，它們?cè)试S使用結(jié)構(gòu)化查詢語(yǔ)言 （SQL） 訪問(wèn)和處理數(shù)據(jù)。這是一種成熟且廣泛使用的語(yǔ)言，用于處理關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)。

NoSQL 數(shù)據(jù)庫(kù)的架構(gòu)旨在支持不同的大數(shù)據(jù)用例，也正在被采用。很多時(shí)候，這些數(shù)據(jù)庫(kù)支持 SQL 語(yǔ)言的子集來(lái)訪問(wèn)和處理數(shù)據(jù)，但也可能具有傳統(tǒng)數(shù)據(jù)庫(kù)不提供的附加接口功能。

科學(xué)家、工程師和 IT

如上所述，各種系統(tǒng)用于存儲(chǔ)、管理和處理大數(shù)據(jù)。通過(guò)與您的 IT 團(tuán)隊(duì)密切合作并利用 MATLAB 等工具，您可以創(chuàng)建熟悉的工作流程，使您能夠輕松高效地工作，同時(shí)從大量數(shù)據(jù)中獲得洞察力。

審核編輯：郭婷