這是一個(gè)數(shù)據(jù)大爆炸的時(shí)代。

根據(jù)IDC 發(fā)布的《數(shù)據(jù)時(shí)代2025》白皮書(shū)，全球數(shù)據(jù)量大約每?jī)赡昃蛯⒎槐?。?025年，全球數(shù)據(jù)總量將攀升至163ZB。而且自動(dòng)駕駛、物聯(lián)網(wǎng)等新技術(shù)正在不斷推動(dòng)數(shù)據(jù)量的爆炸。每輛自動(dòng)駕駛汽車(chē)每秒就會(huì)產(chǎn)生 6-8GB 的數(shù)據(jù)，現(xiàn)在國(guó)內(nèi)一線城市的攝像頭數(shù)量都在百萬(wàn)級(jí)別，每時(shí)每刻產(chǎn)生大量的數(shù)據(jù)。

好在，機(jī)器學(xué)習(xí)可以成為處理大規(guī)模數(shù)據(jù)的利器。數(shù)據(jù)是人工智能的燃料，機(jī)器學(xué)習(xí)的發(fā)展，就是伴隨著數(shù)據(jù)處理難度和復(fù)雜性的升級(jí)而不斷升級(jí)。如何更好的幫機(jī)器學(xué)習(xí)開(kāi)發(fā)者打通數(shù)據(jù)屏障，已經(jīng)成為領(lǐng)先的人工智能企業(yè)的重要課題。

在不久前舉行的亞馬遜re:Invent大會(huì)上，AWS共發(fā)布180項(xiàng)新的服務(wù)和功能，其中，一系列用機(jī)器學(xué)習(xí)加速數(shù)據(jù)分析的服務(wù)備受關(guān)注。全托管的機(jī)器學(xué)習(xí)服務(wù)平臺(tái)Amazon SageMaker發(fā)布了九項(xiàng)新功能，其中與數(shù)據(jù)處理直接相關(guān)的就有三個(gè)。此外，AWS還將機(jī)器學(xué)習(xí)融入數(shù)據(jù)庫(kù)分析領(lǐng)域，賦能數(shù)據(jù)庫(kù)分析師。當(dāng)機(jī)器學(xué)習(xí)與數(shù)據(jù)分析緊密融合，將解決哪些痛點(diǎn)？

為什么算法工程師每天都在搞數(shù)據(jù)？

很多人眼中，機(jī)器學(xué)習(xí)算法工程師的日常是這樣的：選擇并優(yōu)化算法、訓(xùn)練與調(diào)優(yōu)模型、部署模型與驗(yàn)證模型。實(shí)際上，算法工程師大約有70%的時(shí)間是花在數(shù)據(jù)上的，花在模型和調(diào)參上的只有不到20%，這種現(xiàn)狀引發(fā)了不少開(kāi)發(fā)者的共鳴。

為什么會(huì)這樣？在機(jī)器學(xué)習(xí)過(guò)程中，原始數(shù)據(jù)是不能直接用來(lái)訓(xùn)練模型的，需要復(fù)雜的處理流程。模型訓(xùn)練所需的數(shù)據(jù)通常來(lái)自不同類(lèi)型的來(lái)源，并且格式多樣。這意味著開(kāi)發(fā)人員必須花費(fèi)相當(dāng)多的時(shí)間提取和規(guī)范這些數(shù)據(jù)。

Amazon SageMaker是幫助開(kāi)發(fā)者快速建立、訓(xùn)練和部署機(jī)器學(xué)習(xí)模型的平臺(tái)，旨在簡(jiǎn)化開(kāi)發(fā)流程，縮短開(kāi)發(fā)時(shí)間，讓開(kāi)發(fā)者將更多精力放在最核心的模型訓(xùn)練上。

此前，AWS發(fā)布的Amazon SageMaker Ground Truth 這個(gè)功能可以通過(guò)主動(dòng)學(xué)習(xí)自動(dòng)為輸入的數(shù)據(jù)添加標(biāo)簽。主動(dòng)學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，它會(huì)識(shí)別需要人工添加標(biāo)簽的數(shù)據(jù)以及可以由機(jī)器添加標(biāo)簽的數(shù)據(jù)。與人工為整個(gè)數(shù)據(jù)集添加標(biāo)簽相比，Ground Truth最高可減少 70%的成本，并縮短添加標(biāo)簽的時(shí)間。

為了進(jìn)一步簡(jiǎn)化機(jī)器學(xué)習(xí)過(guò)程中數(shù)據(jù)處理方面的復(fù)雜性，今年re:Invent大會(huì)，Amazon SageMaker推出了兩個(gè)全新的功能，分別幫助算法工程師簡(jiǎn)化數(shù)據(jù)處理和進(jìn)行特征管理。

Amazon SageMaker Data Wrangler 提供了更易用的數(shù)據(jù)預(yù)處理，大大簡(jiǎn)化了數(shù)據(jù)準(zhǔn)備和特征工程的工作。Data Wrangler支持從各種數(shù)據(jù)存儲(chǔ)中一鍵導(dǎo)入所需數(shù)據(jù)，其包含超過(guò) 300 個(gè)內(nèi)置的數(shù)據(jù)轉(zhuǎn)換器，可以幫助客戶在無(wú)需編寫(xiě)任何代碼的情況下，對(duì)特征進(jìn)行規(guī)范化、轉(zhuǎn)換和組合。

Amazon SageMaker Feature Store是用來(lái)存儲(chǔ)、更新、檢索和共享機(jī)器學(xué)習(xí)特征的工具。目前，這項(xiàng)特征可以被保存到Amazon S3中。

Feature Store解決的痛點(diǎn)是，大多數(shù)特征并不是只用于一個(gè)模型，而是被多個(gè)開(kāi)發(fā)人員和數(shù)據(jù)科學(xué)家重復(fù)用于多個(gè)模型中。此前，工程師只能自行開(kāi)發(fā)應(yīng)用程序來(lái)跟蹤管理特征，但工作量很大而且容易出錯(cuò)。有了Feature Store，用于訓(xùn)練的大批量特征，以及用于推理的小批量特征子集，都可以保持特征的一致性和更新的及時(shí)性。

數(shù)據(jù)偏見(jiàn)不可避免嗎？

人類(lèi)通常是非理性的，有很多認(rèn)知偏差，不能準(zhǔn)確地認(rèn)知自身及外部環(huán)境的真實(shí)狀態(tài)。在人們信息收集、信息加工、信息輸出和信息反饋的各個(gè)階段，都會(huì)產(chǎn)生認(rèn)知偏差。機(jī)器學(xué)習(xí)也會(huì)產(chǎn)生偏見(jiàn)，這些偏見(jiàn)廣泛存在于機(jī)器學(xué)習(xí)的各個(gè)環(huán)節(jié)，包括數(shù)據(jù)偏見(jiàn)、算法偏見(jiàn)等等。

數(shù)據(jù)偏見(jiàn)是指人們?cè)诠ぷ髦?，由于各種原因不經(jīng)意把并非完整客觀的數(shù)據(jù)進(jìn)行收集并處理，而使得結(jié)果產(chǎn)出發(fā)生“偏見(jiàn)”。數(shù)據(jù)偏見(jiàn)是機(jī)器學(xué)習(xí)中一種普遍的難題，通常會(huì)導(dǎo)致數(shù)據(jù)集的某些元素比其他元素具有更大的權(quán)重或表示。常見(jiàn)的數(shù)據(jù)偏見(jiàn)有樣本偏差、排除偏差、測(cè)量偏差等等。

有偏見(jiàn)的數(shù)據(jù)集會(huì)導(dǎo)致分析模型的結(jié)果偏斜，準(zhǔn)確性低甚至分析錯(cuò)誤。比如一個(gè)主要用白種人人臉數(shù)據(jù)庫(kù)訓(xùn)練出來(lái)的面部識(shí)別系統(tǒng)，對(duì)不同種族的人的識(shí)別準(zhǔn)確度要低得多。

Amazon SageMaker Clarify這個(gè)新功能可以在整個(gè)機(jī)器學(xué)習(xí)工作流中進(jìn)行偏差檢測(cè)和模型解釋。此前，開(kāi)發(fā)人員通常使用開(kāi)源工具檢測(cè)統(tǒng)計(jì)偏差，但這需要大量的人工編程，而且經(jīng)常容易出錯(cuò)。Clarify讓開(kāi)發(fā)人員在數(shù)據(jù)準(zhǔn)備階段就能發(fā)現(xiàn)數(shù)據(jù)偏差。目前，Clarify 已集成到 Data Wrangler，它運(yùn)行了一系列基于特征數(shù)據(jù)的算法，用以識(shí)別數(shù)據(jù)準(zhǔn)備過(guò)程中的偏差，并且清晰描述可能的偏差來(lái)源及其嚴(yán)重程度。

此外，隨著機(jī)器學(xué)習(xí)模型越來(lái)越多地幫助人類(lèi)進(jìn)行決策分析，人們對(duì)機(jī)器學(xué)習(xí)的可解釋性的要求越來(lái)越高?？山忉屝允侵溉祟?lèi)能夠理解決策原因的程度。如果人們能夠更多地了解模型的決策過(guò)程（原因和方式），就能增加對(duì)模型的信任。歐盟在 GDPR（GeneralData Protection Regulation）條例中明確要求，當(dāng)采用機(jī)器做出針對(duì)某個(gè)體的決定時(shí)，比如自動(dòng)拒絕一個(gè)在線信貸申請(qǐng)，該決定必須符合一定要求的可解釋性。

Amazon SageMaker Clarify的另一大價(jià)值在于提供了數(shù)據(jù)模型的可解釋性?！八軒椭闳シ治瞿男┨卣鲗?duì)模型的預(yù)測(cè)更重要，特征和模型之間的關(guān)系不再像原來(lái)是黑盒子，而是有更強(qiáng)的透明度?！?AWS大中華區(qū)云服務(wù)產(chǎn)品管理總經(jīng)理顧凡表示。

數(shù)據(jù)庫(kù)分析師怎么用好機(jī)器學(xué)習(xí)？

數(shù)據(jù)分析和機(jī)器學(xué)習(xí)有很多重合之處。

機(jī)器學(xué)習(xí)很高深，但尚處早期，受眾有限。今年，AWS在機(jī)器學(xué)習(xí)領(lǐng)域的一大動(dòng)作就是“擴(kuò)圈”，尋找更廣泛的“圈外”開(kāi)發(fā)者加入進(jìn)來(lái)，使他們基于既有知識(shí)體系就輕松上手。AWS機(jī)器學(xué)習(xí)的“擴(kuò)圈”正是從與數(shù)據(jù)分析的結(jié)合開(kāi)始。

相比機(jī)器學(xué)習(xí)開(kāi)發(fā)者，數(shù)據(jù)庫(kù)開(kāi)發(fā)者和數(shù)據(jù)庫(kù)分析師是一個(gè)更龐大的專(zhuān)業(yè)群體。他們是否需要學(xué)習(xí)機(jī)器學(xué)習(xí)算法開(kāi)發(fā)，才能享用機(jī)器學(xué)習(xí)帶來(lái)的便利？AWS認(rèn)為，完全不必。

2020亞馬遜re:Invent大會(huì)上，AWS全球機(jī)器學(xué)習(xí)副總裁Swami Sivasubramanian 一口氣發(fā)布了一系列產(chǎn)品服務(wù)，包括Amazon Aurora ML、Amazon Athena ML、Amazon Redshift ML、Amazon Neptune ML、Amazon QuickSight Q，分別把機(jī)器學(xué)習(xí)能力融進(jìn)了關(guān)系型數(shù)據(jù)庫(kù)、Amazon S3的 SQL 查詢、數(shù)據(jù)倉(cāng)庫(kù)、圖數(shù)據(jù)庫(kù)、商業(yè)智能等領(lǐng)域。數(shù)據(jù)分析人員只需使用早已爛熟的 SQL 語(yǔ)句，就能進(jìn)行連帶機(jī)器學(xué)習(xí)功能的操作。

以 Amazon Aurora ML 為例，當(dāng)用戶通過(guò) SQL 查詢客戶信息以試圖找到一些負(fù)面反饋時(shí)，Amazon Aurora ML 會(huì)自動(dòng)調(diào)度 Amazon Comprehend 這樣的 AI 服務(wù)來(lái)返回具備 AI 支持的查詢結(jié)果。

機(jī)器學(xué)習(xí)尚處在早期階段。據(jù)德勤發(fā)布的《全球人工智能發(fā)展白皮書(shū)》預(yù)測(cè)，到2025年，世界人工智能市場(chǎng)規(guī)模將超過(guò)6萬(wàn)億美元?？梢灶A(yù)見(jiàn)，在應(yīng)對(duì)數(shù)據(jù)挑戰(zhàn)方面，機(jī)器學(xué)習(xí)提供給開(kāi)發(fā)者的工具集將日益豐富，機(jī)器學(xué)習(xí)開(kāi)發(fā)的門(mén)檻將越來(lái)越低。
編輯：hfy