這是數(shù)據(jù)領(lǐng)域又一個激烈動蕩的年頭，令人興奮，但又錯綜復(fù)雜。

隨著越來越多的人上網(wǎng)，一切繼續(xù)在加快“數(shù)據(jù)化”的步伐。這個大趨勢的發(fā)展勢頭越來越猛，歸因于基礎(chǔ)設(shè)施、云計算、AI和開源各個領(lǐng)域取得的進(jìn)步的大融合以及我們經(jīng)濟和生活的整體數(shù)字化。

幾年前，“大數(shù)據(jù)”方面的討論主要側(cè)重于技術(shù)層面，圍繞著收集、處理和分析大量數(shù)據(jù)的新一代工具。其中許多技術(shù)現(xiàn)已廣為人知，并大規(guī)模部署。此外，尤其是在過去幾年，我們開始通過數(shù)據(jù)科學(xué)、機器學(xué)習(xí)和AI將一層層智能添加到許多應(yīng)用軟件中，而這些應(yīng)用軟件現(xiàn)在越來越多地運行于生產(chǎn)環(huán)境的各種消費級和B2B產(chǎn)品中。

隨著那些技術(shù)不斷改進(jìn)，并由最初的早期采用者群體（FAANG和初創(chuàng)公司）擴大到更廣泛的經(jīng)濟和世界，討論的性質(zhì)從純粹的技術(shù)性討論變?yōu)閭?cè)重于探討對我們的經(jīng)濟、社會和生活帶來的影響。

我們剛開始真正了解未來顛覆的本質(zhì)。在數(shù)據(jù)驅(qū)動的自動化司空見慣（自動化產(chǎn)品、自動化汽車和自動化企業(yè)）的世界，工作的新特性是什么？我們?nèi)绾翁幚砩鐣绊?？我們?nèi)绾慰创[私、安全和自由？

與此同時，底層技術(shù)繼續(xù)快速發(fā)展，眾多初創(chuàng)公司、產(chǎn)品和項目構(gòu)成了一個充滿活力的生態(tài)系統(tǒng)，預(yù)示著將來可能出現(xiàn)影響更深遠(yuǎn)的變化。在該生態(tài)系統(tǒng)中，這一年的特點是出現(xiàn)了期待已久的整合的早期局面；隨著早期技術(shù)開始讓位于下一代技術(shù)，可能從一個時代轉(zhuǎn)變到另一個時代。

為了試圖解讀這一切，我們發(fā)布了第六份數(shù)據(jù)和AI生態(tài)系統(tǒng)“國情咨文”。如果讀者有興趣想跟蹤了解歷年的演變，可以看看2012年至2018年的往年版本。

值得一提的是：由于“大數(shù)據(jù)”一詞現(xiàn)已成為昔日熱門的流行語，今年的標(biāo)題就改為了“數(shù)據(jù)和AI領(lǐng)域”。

數(shù)據(jù)、AI和社會：潮流在轉(zhuǎn)變

2018年，我們注意到數(shù)據(jù)界如何開始揭露一些更黑暗、更可怕的內(nèi)幕，尤其是在Cmbridge Analytica丑聞之后，這個趨勢在2019年愈演愈烈。數(shù)據(jù)泄密和隱私丑聞更多。AI深度造假（deepfake）方面出現(xiàn)了更多的例子，我們對此毫無準(zhǔn)備。

因而，潮流已開始大幅轉(zhuǎn)變。

當(dāng)然，關(guān)于AI危險的爭論已經(jīng)備受關(guān)注，今年出現(xiàn)了旨在認(rèn)真思考那些問題的倡議，例如設(shè)立了李飛飛領(lǐng)銜的人類中心人工智能研究所。

隱私問題可能比以往任何時候都更加突出，進(jìn)入到2019年公眾辯論的最前沿。而許多這些問題都與被數(shù)十億人熟知的服務(wù)Facebook有關(guān)。

隨著各國政府日益參與進(jìn)來，數(shù)據(jù)隱私領(lǐng)域也在發(fā)生轉(zhuǎn)變。

監(jiān)管當(dāng)然在全面鋪開：

歐洲數(shù)據(jù)保護(hù)和隱私法規(guī)（GDPR）于2018年5月生效，此后宣布了幾起巨額罰款，包括法國數(shù)據(jù)保護(hù)監(jiān)管機構(gòu)在2019年1月對谷歌開出5000萬歐元的罰單，英國信息專員辦公室在2018年10月對Facebook開出50萬英鎊的罰單。

《加利福尼亞州消費者隱私法案》（CCPA）將于2020年1月1日生效。

紐約州的隱私法案比加州的隱私法案“還要嚴(yán)厲”。

舊金山剛投票禁止市政府機構(gòu)使用人臉識別技術(shù)。

伊利諾伊州提議反對將視頻機器人用于招聘面試。

然而，政府可能會采取更嚴(yán)厲的行動。首先，F(xiàn)acebook可能會因隱私問題被聯(lián)邦貿(mào)易委員會（FTC）處于高達(dá)50億美元的罰款。也許最重要的是，要求拆分幾大互聯(lián)網(wǎng)巨頭的呼聲日益高漲——權(quán)力太大，數(shù)據(jù)太多，隱私又不夠。Facebook無疑是最明顯的目標(biāo)，但也包括其他網(wǎng)絡(luò)巨頭（總統(tǒng)候選人Elizabeth Warren的提議針對谷歌和亞馬遜）。

科技巨頭已經(jīng)感受到了來自內(nèi)部的壓力。谷歌、亞馬遜和微軟的員工抗議人臉識別技術(shù)的商業(yè)化。谷歌讓步了，亞馬遜沒有讓步——一些激進(jìn)的股東和員工試圖實施禁令，但失敗而歸。

對于FAANG來說，隱私已成為一個新的戰(zhàn)場，迫使各自的領(lǐng)導(dǎo)人采取更公開的立場來闡明這個問題：

蘋果CEO Tim Cook提醒我們警惕“數(shù)據(jù)的武器化”，那將導(dǎo)致我們進(jìn)入“數(shù)據(jù)工業(yè)綜合體”（data industrial complex）。

谷歌CEO Sundar Pichai在《紐約時報》上就此問題表達(dá)了公開立場。

Facebook CEO Mark Zuckerberg誓言要將Facebook變成一個關(guān)注隱私的消息和社交網(wǎng)絡(luò)平臺。

當(dāng)然，這些說法在多大程度上能信以為真誰也說不準(zhǔn)，可能取決于具體的公司和領(lǐng)導(dǎo)人。

以Facebook為例，全球加密貨幣Libra的推出可能被認(rèn)為以此在隱私優(yōu)先的“后數(shù)據(jù)”時代繼續(xù)賺錢：在這個時代，這家公司不大依賴基于用戶數(shù)據(jù)的純粹廣告模式，但也可能被認(rèn)為以此收集更多的個人數(shù)據(jù)。

數(shù)據(jù)和AI對隱私和社會帶來的影響方面的爭論顯然非常重要。不過，這是復(fù)雜的討論，涉及許多細(xì)微差別。

我們與隱私的關(guān)系仍然很復(fù)雜，矛盾的情況隨處可見。人們說他們關(guān)心隱私，但繼續(xù)購買各種隱私保護(hù)不可靠的聯(lián)網(wǎng)設(shè)備。他們說他們?yōu)镕acebook的隱私泄露感到憤怒，但Facebook繼續(xù)增加用戶數(shù)，業(yè)績繼續(xù)超預(yù)期（2018年第四季度和2019年第一季度都如此）。

同樣，我們?nèi)绾螞Q定處理AI要做出許多權(quán)衡和取舍。與所有技術(shù)一樣，AI本質(zhì)上是中立的，它為社會帶來好處還是壞處最終是人類的決定。以人臉識別為例：它可能是國家監(jiān)控的工具，但也可以幫助找到性交易的受害者。決定如何監(jiān)管或遏制AI會帶來各種難以預(yù)測的后果。比如說，如果你在西方國家監(jiān)管AI，最終會不會較之中國，失去長期的競爭優(yōu)勢（中國有一套不同的規(guī)則）？

數(shù)據(jù)技術(shù)：充滿活力但不斷發(fā)展的領(lǐng)域

雖然在2019年不可能忽視圍繞數(shù)據(jù)和AI的隱私、安全和監(jiān)管這些更廣泛的問題，但數(shù)據(jù)技術(shù)和產(chǎn)品組成的生態(tài)系統(tǒng)與過去一樣令人興奮。

生態(tài)系統(tǒng)也出現(xiàn)了幾處有意思的演變，Hadoop等一些開創(chuàng)性技術(shù)可能日漸式微，取而代之的是云計算和Kubernetes，而商業(yè)智能等整個領(lǐng)域似乎在快速合并。

我們會深入地鉆研解讀那些趨勢，不過先看一下我們的2019年數(shù)據(jù)和AI領(lǐng)域生態(tài)圖：

誰進(jìn)誰出？

從市場退出的角度來看，上一年很活躍。

有幾家公司已上市。Crowdstrike（納斯達(dá)克股票代碼：CRWD）和Elastic（紐約證券交易所股票代碼：ESTC）在IPO時達(dá)到很高的估值：分別是70億美元和50億美元。其他IPO包括PagerDuty（18億美元）、Anaplan（18億美元）和Domo（5億美元）。

去年發(fā)生了幾起規(guī)模非常大的收購：

包括Qualtrics（被SAP以80億美元收購）

Medidata（IPO后被達(dá)索以58億美元收購）

Hortonworks（與Cloudera達(dá)成涉資52億美元的合并）

Imperva（被Thoma Bravo以21億美元收購）

AppNexus（被AT&T以20億美元收購）

Cylance（被黑莓以14億美元收購）

Datorama（被Salesforce以8億美元收購）

Treasure Data（被Arm以6億美元收購）

Attunity（IPO后被Qlik以5.6億美元收購）

Dynamic Yield（被麥當(dāng)勞以3億美元收購）

Figure Eight（被Appen以3億美元收購）

商業(yè)智能領(lǐng)域：

Tableau（被Salesforce以157億美元收購）

Looker（被谷歌以26億美元收購）

Periscope Data（被Sisense以1億美元收購）

ClearStory Data（被Alteryx以2000萬美元收購）

Zoomdata（被Logi Analytics收購）

出現(xiàn)在2018年行情報告中的其他許多公司以較低金額被收購：Alooma（谷歌）、Bonsai（微軟）、Euclid Analytics（WeWork）、Sailthru（Campaign Monitor）、Data Artisans（阿里巴巴）、GRIDSMART（Cubic）、Drawbridge（LinkedIn）、Citus Data（微軟）、Quandl（納斯達(dá)克）、Connotate（import.io）、Datafox（Oracle）、Market Track（Vista Equity Partners）、Lattice Engines（鄧白氏）、Blue Yonder（JDA Software）和SimpleReach（Nativo）。

同樣值得注意的是，2016年至2017年常出現(xiàn)的各大互聯(lián)網(wǎng)公司進(jìn)行AI人才收購并未完全消失：比如說，Twitter收購了Fabula AI，以夯實其機器學(xué)習(xí)專長。

在投資方面，大數(shù)據(jù)和AI初創(chuàng)公司繼續(xù)看到巨額融資。針對中國的投資不像去年那么大，去年多家公司融資金額超過10億美元。今年完成巨額融資的中國公司包括人臉識別公司Face ++（7.5億美元D輪）、AI芯片制造商地平線機器人（6億美元B輪）、車隊管理公司G7（3.2億美元F輪）和在線輔導(dǎo)平臺猿輔導(dǎo)（3億美元F輪）。

在美國，巨額資金投入到了自動駕駛汽車公司，包括Cruise（2018年和2019年兩輪19億美元）、Nuro（9.4億美元B輪）和Aurora（6億美元B輪）。機器人流程自動化（RPA）公司也出現(xiàn)了巨額融資：UiPath（2018年和2019年兩輪8億美元）和Automation Anywhere（2018年兩輪5.5億美元）。

其他完成巨額融資的美國公司包括：Verily Life Sciences（10億美元私募股權(quán)融資）、Cambridge Mobile Telematics（5億美元）、Clover Health（5億美元E輪）、Veeam Software（5億美元）、Snowflake Computing（4.5億美元F輪）、Compass（4億美元F輪）、Zymergen（4億美元C輪）、Dataminr（3.92億美元E輪）、Lemonade（4億美元D輪）、Rubrik（2.6億美元E輪）、Databricks（2.5億美元E輪）和MediaMath（2.25億美元D輪）。

2019年數(shù)據(jù)和AI領(lǐng)域的主要趨勢

數(shù)據(jù)和AI生態(tài)系統(tǒng)仍是技術(shù)界最令人興奮的領(lǐng)域之一。它不僅有自己的井噴發(fā)展勢頭，還推動和加快其他許多領(lǐng)域（消費者應(yīng)用、游戲和交通出行等）的創(chuàng)新。因此，該生態(tài)系統(tǒng)的整體影響力很大，遠(yuǎn)遠(yuǎn)超出下面的技術(shù)討論。

當(dāng)然，重大趨勢不會在短短一年內(nèi)出現(xiàn)，以下許多趨勢經(jīng)歷了數(shù)年的醞釀。我們將重點討論在2019年加快發(fā)展的趨勢。

我們看到基礎(chǔ)設(shè)施方面的三大趨勢：

第三波浪潮？從Hadoop到云服務(wù)再到Kubernetes

數(shù)據(jù)治理、數(shù)據(jù)編目和數(shù)據(jù)沿襲：數(shù)據(jù)管理越來越重要

側(cè)重于AI的基礎(chǔ)設(shè)施堆棧大行其道

數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域繼續(xù)快速發(fā)展。這里的主要變化是從Hadoop到云服務(wù)再到混合/ Kubernetes環(huán)境的分三個階段的轉(zhuǎn)變。

Hadoop好比是大數(shù)據(jù)領(lǐng)域的“保守派”。這是一種使用計算機網(wǎng)絡(luò)，分布式存儲和處理海量數(shù)據(jù)的框架，它在數(shù)據(jù)生態(tài)系統(tǒng)的爆炸式增長中起到了絕對重要的作用。

然而在過去幾年，行業(yè)觀察人士紛紛預(yù)言Hadoop已死。由于Hadoop供應(yīng)商遇到各種各樣的麻煩，今年這個趨勢進(jìn)一步加速。撰寫本文時，MapR處于關(guān)門大吉的邊緣，可能已找到了買家。最近合并的Cloudera和Hortonworks剛完成了52億美元的大手筆交易，由于季度盈利令人失望，股價暴跌40%。雖然Cloudera宣布了眾多云產(chǎn)品和混合產(chǎn)品，但還沒有推出。

由于直接面臨云平臺的競爭，Hadoop面臨越來越大的阻力。Hadoop是在云并不是重要選擇的時期開發(fā)的，那時大多數(shù)數(shù)據(jù)放在企業(yè)內(nèi)部，網(wǎng)絡(luò)延遲是嚴(yán)重瓶頸，因此將數(shù)據(jù)和計算放在同一地方很有意義。但今非昔比。

然而，Hadoop不太可能很快就會消失。Hadoop的采用率可能在減慢，但部署在企業(yè)界的數(shù)量龐大，因而在未來幾年會保持慣性和持久力。

不管怎樣，向云轉(zhuǎn)變的步伐顯然在加快。順便提一下，我們在與《財富》1000強企業(yè)高管的談話中發(fā)現(xiàn)，2019年迎來了大轉(zhuǎn)變。在過去幾年，這幾乎是公開的秘密：盡管大家在熱議云，但真正的好戲出現(xiàn)在企業(yè)內(nèi)部，尤其是在受監(jiān)管行業(yè)。許多同樣的《財富》1000強企業(yè)高管積極轉(zhuǎn)向云，使用微軟產(chǎn)品的傳統(tǒng)部門紛紛轉(zhuǎn)向Azure。

因此，盡管規(guī)模已經(jīng)很龐大，但云提供商仍在繼續(xù)迅猛發(fā)展。AWS在2018年創(chuàng)收257億美元，比2017年的175億美元猛增46.9%。微軟Azure的收入未單獨披露，但截至2019年3月的季度同比猛增73%。同一季度AWS的收入同比增長41%。

隨著云的使用日益廣泛，客戶開始對成本猶豫不決。在許多地方的董事會會議室，高管突然留意到云支出迅速增多。云確實提供了靈活性，但常常需要高昂的費用，如果客戶未注意度量，或者未準(zhǔn)確預(yù)測計算需求，更是如此。Adobe和Capital One等AWS客戶的云支出在2017年到2018年僅僅一年內(nèi)就增加了60%，遠(yuǎn)高于2億美元。

成本以及擔(dān)心被供應(yīng)商鎖定加快了向結(jié)合公共云、私有云和本地環(huán)境的混合方法演變的步伐。面對眾多選擇，企業(yè)將日益選擇最適合特定工作的工具，以優(yōu)化性能和成本。隨著云提供商更積極地與眾不同，企業(yè)隨之采用多云戰(zhàn)略，充分利用每家云提供商最擅長的方面。在一些情況下，最好的做法是將一些工作負(fù)載留在本地以優(yōu)化成本，對于非動態(tài)工作負(fù)載而言更是如此。

值得關(guān)注的是，面對企業(yè)計算出現(xiàn)在混合環(huán)境中的現(xiàn)實，云提供商紛紛提供AWS Outposts之類的工具。這類工具讓客戶可以在本地環(huán)境運行計算和存儲，并將本地工作負(fù)載與AWS云端的其余應(yīng)用軟件無縫集成。

在這個新的多云和混合云時代，Kubernetes無疑是崛起的超級巨星。Kubernetes是2014年由谷歌開源的一種用于管理容器化工作負(fù)載和服務(wù)的項目，與幾年前的Hadoop一樣受到了熱捧，8000人出席了KubeCon大會，介紹它的博文和播客不計其數(shù)。許多分析師認(rèn)為，Red Hat在Kubernetes界的顯赫地位很大程度上促使IBM斥資340億美元大舉收購它。除了在一個或幾個公共云運行工作負(fù)載外，Kubernetes還有望幫助企業(yè)在自己的數(shù)據(jù)中心和私有云運行工作負(fù)載。

作為一個特別擅長管理復(fù)雜混合環(huán)境的編排框架，Kubernetes還正成為機器學(xué)習(xí)界越來越有吸引力的選擇。Kubernetes為數(shù)據(jù)科學(xué)家提供了靈活性，可以隨意選擇自己青睞的任何語言、機器學(xué)習(xí)庫或框架，并且訓(xùn)練和擴展模型，實現(xiàn)比較快的迭代和強大的可重復(fù)性，沒必要成為基礎(chǔ)設(shè)施專家，同一基礎(chǔ)設(shè)施為多個用戶提供服務(wù)。Kubernetes的機器學(xué)習(xí)工具包Kubeflow發(fā)展勢頭正猛。

Kubernetes仍處于相對新興的階段，但值得關(guān)注的是，這可能標(biāo)志著離云機器學(xué)習(xí)服務(wù)漸行漸遠(yuǎn)，因為數(shù)據(jù)科學(xué)家更喜歡Kubernetes的整體靈活性和可控性。我們可能正進(jìn)入到數(shù)據(jù)科學(xué)和機器學(xué)習(xí)基礎(chǔ)設(shè)施的第三個范式轉(zhuǎn)變，從Hadoop（直到2017年？）到數(shù)據(jù)云服務(wù)（2017年至2019年），再到由Kubernetes和Snowflake等下一代數(shù)據(jù)倉庫主導(dǎo)的世界（2019年至？）。

這種演變的另一面是復(fù)雜性增加。無疑有機會提供一個完整的平臺，可以抽取出云底層基礎(chǔ)設(shè)施的眾多復(fù)雜性，并使一群更廣泛的數(shù)據(jù)科學(xué)家和分析員更容易享受這個新世界。

Serverless是這種簡化的一種嘗試，盡管角度不一樣。這種執(zhí)行模式使用戶能夠編寫和部署代碼，無需擔(dān)心底層基礎(chǔ)設(shè)施。云提供商處理所有后端服務(wù)，根據(jù)客戶實際使用的資源向客戶收費。Serverless在過去幾年一直是重要的新興話題，這是我們?yōu)榻衲甑臄?shù)據(jù)和AI領(lǐng)域添加的另一個新類別。然而，Serverless在機器學(xué)習(xí)和數(shù)據(jù)科學(xué)方面的適用性仍在完善之中，像Algorithmia和Iguazio/Nuclio這些公司是早期的進(jìn)入者。

在企業(yè)界數(shù)據(jù)環(huán)境日益呈混合特性的另一個結(jié)果是，需要加大力度來控制企業(yè)的數(shù)據(jù)。

當(dāng)下一些數(shù)據(jù)駐留在數(shù)據(jù)倉庫中，一些數(shù)據(jù)駐留在數(shù)據(jù)湖中，還有一些數(shù)據(jù)駐留在其他各種環(huán)境，橫跨本地環(huán)境、私有云和混合云，你如何查找、篩選、控制和跟蹤數(shù)據(jù)？這些努力有著各異的相關(guān)形式和名稱，包括數(shù)據(jù)查詢、數(shù)據(jù)治理、數(shù)據(jù)編目和數(shù)據(jù)沿襲，所有這些都越來越重要、越來越搶眼。

在混合環(huán)境查詢數(shù)據(jù)本身面臨挑戰(zhàn)，其解決方案屬于存儲和計算相分離這個大趨勢。

數(shù)據(jù)治理是迅速備受企業(yè)關(guān)注的另一個方面。數(shù)據(jù)治理的大體思路是管理一家企業(yè)的數(shù)據(jù)，確保數(shù)據(jù)在整個數(shù)據(jù)生命周期中都具有高質(zhì)量。數(shù)據(jù)治理涉及數(shù)據(jù)的可用性、完整性、易用性、一致性和安全性等方面。值得注意的是，2019年初，Collibra融資1億美元，估值超過10億美元。

數(shù)據(jù)目錄是另一種日益重要的數(shù)據(jù)管理方式。數(shù)據(jù)目錄實際上是綜合企業(yè)各種數(shù)據(jù)資產(chǎn)的字典。它們使用戶（包括數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析員、開發(fā)人員和業(yè)務(wù)用戶）能夠在自助環(huán)境下發(fā)現(xiàn)和使用數(shù)據(jù)。

最后，數(shù)據(jù)沿襲可能是最新出現(xiàn)的數(shù)據(jù)管理類別。數(shù)據(jù)沿襲旨在捕獲整個企業(yè)的“數(shù)據(jù)旅程”。它可以幫助公司搞清楚如何收集數(shù)據(jù)、數(shù)據(jù)在整個生命周期內(nèi)如何改動和共享。這一塊的增長受到許多因素的推動，包括合規(guī)、隱私和道德越來越重要，以及需要機器學(xué)習(xí)管道和模型具有可重復(fù)性和透明度。

今年勢頭越來越猛的最后一個關(guān)鍵趨勢是側(cè)重于AI的基礎(chǔ)設(shè)施堆棧不斷涌現(xiàn)。

需要管理AI管道和模型促使MLOps（或AIOps）這個類別迅猛發(fā)展。鑒于這個新趨勢的勢頭，我們在今年的生態(tài)圖中添加了兩個新方框，一個在基礎(chǔ)設(shè)施下面（有眾多早期階段的初創(chuàng)公司，包括Algorithmia、Spell和Weights & Biases等），另一個在開源下面（有眾多項目，通常也處于早期階段，包括Pachyderm、Seldon、Snorkel和MLeap等）。

機器學(xué)習(xí)工程師需要能夠進(jìn)行實驗、快速迭代，需要時訪問GPU等資源。許多早期階段的初創(chuàng)公司提供這種基礎(chǔ)設(shè)施，包括 Spell、Comet和Paperspace。

AI對基礎(chǔ)設(shè)施產(chǎn)生了深遠(yuǎn)的影響，甚至在堆棧的較低層面也是如此，GPU數(shù)據(jù)庫大行其道，新一代AI芯片（Graphcore和Cerebras等）涌現(xiàn)出來。AI可能迫使我們重新思考計算的整個本質(zhì)。

在分析方面，我們將重點介紹幾個主要趨勢：

熱點轉(zhuǎn)向企業(yè)AI平臺

橫向AI繼續(xù)非?；钴S

商業(yè)智能（BI）在合并

企業(yè)界部署機器學(xué)習(xí)/AI仍處于早期階段。

對于該領(lǐng)域的大多數(shù)公司而言，明確的目標(biāo)是在機器學(xué)習(xí)/AI人才一向短缺繼續(xù)是阻礙廣泛采用的嚴(yán)重瓶頸這種環(huán)境下，促進(jìn)機器學(xué)習(xí)/AI的大眾化，惠及更廣大的用戶和公司。然而不同的玩家有不同的策略。

一種方法是AutoML。它使機器學(xué)習(xí)生命周期的所有環(huán)節(jié)實現(xiàn)自動化，包括一些最繁瑣的環(huán)節(jié)。視產(chǎn)品而定，AutoML可以處理任何任務(wù)：從特征生成和特征工程、算法選擇，到模型訓(xùn)練、部署和監(jiān)控，不一而足。自我們發(fā)布2018年生態(tài)圖以來，DataLobot這家AutoML專業(yè)公司已完成了1億美元的D輪融資。

該領(lǐng)域的其他公司（Dataiku、H20和RapidMiner）不僅提供具有AutoML功能的平臺，還提供更廣泛的功能。比如說，自發(fā)布2018年生態(tài)圖以來，Dataiku已完成約1.01億美元的C輪融資，總體理念是助力整個數(shù)據(jù)團隊（包括數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析員），并擯棄處理整個數(shù)據(jù)生命周期過程中的諸多復(fù)雜和繁瑣事務(wù)。

云提供商當(dāng)然很活躍，包括微軟的Learning Studio、谷歌的Cloud AutoML和AWS Sagemaker。盡管這些云提供商實力強大，但那些產(chǎn)品的范圍仍相當(dāng)狹窄——通常難以使?6?7?6?7用，主要針對精通技術(shù)的高級用戶。它們還處于初期階段。亞馬遜的云機器學(xué)習(xí)平臺Sagemaker在2018年起步緩慢，在商業(yè)領(lǐng)域的銷售額僅1100萬美元。

一些云提供商正與該領(lǐng)域的專業(yè)玩家積極合作：微軟參投了Databricks 2.5億美元的E輪融資，這可能是未來收購的前奏。

除了企業(yè)AI平臺外，橫向AI（包括計算機視覺、NLP和語音等）領(lǐng)域繼續(xù)異?；钴S。

AI的一些主要趨勢包括：

NLP方面的重大改進(jìn)，尤其是通過運用遷移學(xué)習(xí)（指對大量數(shù)據(jù)訓(xùn)練模型，并針對企業(yè)正在處理的具體問題來移植和微調(diào)模型），使其能夠適用于較少的數(shù)據(jù)，比如ELMO、ULMFit和谷歌AI的BERT。

使AI適用于少量數(shù)據(jù)的更多項目，包括一次性學(xué)習(xí)（1-shot learning）。

將深度學(xué)習(xí)與強化學(xué)習(xí)相結(jié)合

GAN繼續(xù)取得進(jìn)展

應(yīng)用方面的幾個關(guān)鍵趨勢如下：

機器學(xué)習(xí)/AI達(dá)到部署階段

企業(yè)自動化和RPA大行其道

我們試圖將機器學(xué)習(xí)/AI做入到適合它的幾乎任何企業(yè)應(yīng)用中，現(xiàn)在已有三四個年頭。無疑有一些拙劣的早期產(chǎn)品（第一代聊天機器人）和一些營銷噱頭不切現(xiàn)實（尤其是試圖將機器學(xué)習(xí)/AI做入到現(xiàn)有產(chǎn)品中的老牌公司），總體而言仍處于早期階段。許多開發(fā)機器學(xué)習(xí)/AI應(yīng)用的初創(chuàng)公司仍在摸索從研發(fā)模式進(jìn)入到完全投產(chǎn)所面臨的挑戰(zhàn)。

但今后幾年的趨勢似乎很明顯：拿來某個問題，看看機器學(xué)習(xí)/AI能否大有作為，如果有幫助，構(gòu)建一款A(yù)I（或AI驅(qū)動的）應(yīng)用軟件更有效地解決問題。經(jīng)過幾年的評估和試驗后，我們正完全進(jìn)入AI的部署階段。今后幾年，機器學(xué)習(xí)/AI產(chǎn)品會部署在整個企業(yè)，這一點很顯然且不可避免。

一些產(chǎn)品將由內(nèi)部團隊使用上述企業(yè)AI平臺構(gòu)建和部署。其他產(chǎn)品將是各供應(yīng)商提供的嵌入AI的全棧式產(chǎn)品，其中AI部分可能在很大程度上對客戶不可見。還有一些產(chǎn)品由提供產(chǎn)品和服務(wù)組合的供應(yīng)商來提供。

無論技術(shù)復(fù)雜程度方面還是產(chǎn)品方面，成熟度都在逐步提高。目前狀態(tài)下的機器學(xué)習(xí)/AI能做什么、不能做什么，這點越來越清晰；我們開始對任務(wù)在機器和人類之間的正解分配有了更好的認(rèn)識。比如說，下一代客戶服務(wù)聊天機器人在機器人/AI與可配置性和透明度之間提供了極其智能化的組合，最終造福最終用戶。

展望未來，隨著機器學(xué)習(xí)/AI逐漸普及起來，并支持性能越來越高的數(shù)據(jù)堆棧，我們是否看到了完全自動化企業(yè)的曙光？

自IT出現(xiàn)以來，企業(yè)一直備受孤島現(xiàn)象的困擾，各個系統(tǒng)和數(shù)據(jù)散布于各部門，無法彼此聯(lián)系（這催生了龐大的系統(tǒng)集成服務(wù)行業(yè)），人類充當(dāng)之間的“粘合劑”。在數(shù)據(jù)和系統(tǒng)日益整合的世界，機器學(xué)習(xí)/AI能夠逐漸讓人類從某些業(yè)務(wù)職能解放出來，現(xiàn)在比以往更有可能讓企業(yè)以越來越自動化、系統(tǒng)化的方式運作。

比如設(shè)想一家自動化企業(yè)：需求的增加（通過機器學(xué)習(xí)來預(yù)測）自動觸發(fā)供應(yīng)商增加供貨，這將自動記錄在財務(wù)系統(tǒng)中（財務(wù)系統(tǒng)可自動計算和支付補償獎金等）；或預(yù)期的需求減少可能自動觸發(fā)績效營銷支出相應(yīng)增加。

在將來，企業(yè)不僅成為完全自動化的組織，最終還會是自愈合、自主的。然而，我們離那個階段還遠(yuǎn)著呢，今天基本上專注于RPA。這個類別炙手可熱，如上所述，UI Path和Automation Anywhere等領(lǐng)導(dǎo)公司的發(fā)展非?？欤瓿闪司揞~融資。

RPA的全稱是機器人流程自動化（不過它不利用任何實際的機器人），是指拿來通常很簡單的工作流程——通常是手動（人類執(zhí)行）且重復(fù)的流程，用軟件取而代之。許多RPA出現(xiàn)在后臺職能部門（比如發(fā)票處理）。

RPA得益于如火如荼的數(shù)字化轉(zhuǎn)型（這個領(lǐng)域的幾個領(lǐng)導(dǎo)品牌已存在多年，但是數(shù)字化轉(zhuǎn)型成為熱門話題時，突然迎來井噴式發(fā)展）。它還提供了豐厚的投資回報率，因為其實施可以直接與人類執(zhí)行相同任務(wù)的成本進(jìn)行比較。RPA對技術(shù)服務(wù)巨頭們也很有吸引力，因為它涉及大量的實施服務(wù)（因為需要為無數(shù)不同的工作流程配置軟件）；因此，RPA初創(chuàng)公司得益于與那些大型服務(wù)公司的密切合作關(guān)系。

有理由對RPA持懷疑態(tài)度。一些人認(rèn)為RPA是基本上非智能的“創(chuàng)可貼”，或者某種權(quán)宜之計——拿來人類執(zhí)行的低效工作流程，就讓機器來執(zhí)行。從這個角度來看，RPA可能只是帶來了下一級技術(shù)債務(wù)，不清楚周圍環(huán)境變化時自動化的RPA職能會發(fā)生什么變化。

上述的原因在于RPA更強調(diào)自動化而不是智能，更強制基于規(guī)則的解決方案而不是AI（盡管RPA供應(yīng)商在提供AI時大搞營銷噱頭），至少在這個階段如此。

應(yīng)將RPA與智能自動化區(qū)分開來，后者是以機器學(xué)習(xí)/AI為中心的更新穎的類別。智能自動化還以企業(yè)流程和工作流為目標(biāo)，但它以數(shù)據(jù)為中心而不是以流程為中心，最終能夠?qū)W習(xí)、改進(jìn)和治愈。

智能自動化的一個例子是智能文檔處理（ADP），這個類別是指：可以利用機器學(xué)習(xí)/AI來解讀文檔（表格、發(fā)票和合同等），其理解能力不遜于人類，解讀大規(guī)模文檔除外。

今后幾年這些領(lǐng)域值得觀察，RPA和智能自動化可能會合并，除非后者的發(fā)展非?？?，以至于限制了對前者的需求。

在商業(yè)智能（BI）領(lǐng)域，過去幾個月的明顯趨勢是前面提到的合并不斷，Tableau、Looker、Zoomdata和Clearstory被收購，SiSense與Periscope合并。

BI界會有更多的合并嗎？微軟憑Power BI占有強大地位，但當(dāng)整個細(xì)分市場合并、每家公司都積極參與其中時，并購市場會呈現(xiàn)自己的狀況?？紤]到QuickSight BI通常被認(rèn)為有點落后，AWS可能需要更強大的產(chǎn)品。

事后分析一下，BI界的合并在某種程度上不可避免，因為數(shù)據(jù)可視化和自助分析領(lǐng)域已商品化，有大量的專業(yè)供應(yīng)商。無論大小，每家供應(yīng)商都面臨著實現(xiàn)多樣化、增強功能的壓力。對于云收購者而言，這些新產(chǎn)品線無疑會增加收入，但更重要的是，它們有增值能力，這是幫助創(chuàng)造核心平臺收入的另一個工具。

云頭條注意到近幾年來，國內(nèi)企業(yè)對數(shù)據(jù)的重視也有了指數(shù)級的提升，不論是從數(shù)據(jù)本身的價值發(fā)現(xiàn)還是和新技術(shù)的結(jié)合去挖掘更多的價值。這使得國內(nèi)的BI市場也越來越完善，市場內(nèi)的供應(yīng)商則也頂著企業(yè)數(shù)字化需要發(fā)展的壓力再奮力前行。帆軟就是其中一家具有代表性的公司，從2016年銷售額近2億到2018年的4.62億，企業(yè)規(guī)模也從不到300人發(fā)展到現(xiàn)在的近1100人。

IDC發(fā)布的《IDC2018年中國商業(yè)智能軟件市場追蹤報告》，顯示：帆軟軟件以14.88%的市場占有率高居第一，延續(xù)了2017年的市場地位，并且領(lǐng)先第二名SAP公司4.6%。

類比于每年國外專業(yè)的商業(yè)智能領(lǐng)域大會，小編注意到2018年，帆軟就擔(dān)起了國產(chǎn)BI軟件的責(zé)任，在南京舉辦了第一屆智數(shù)大會，共計700家企業(yè)近1400名信息化高管參與。今年年初，帆軟又發(fā)起了對第二屆智數(shù)大會的籌備工作，經(jīng)過一輪又一輪的話題甄選，第二屆的時間確認(rèn)在8月15到17日在南京召開。本次大會以“數(shù)據(jù)有引力”為主題，討論國內(nèi)的商業(yè)智能行業(yè)發(fā)展及數(shù)據(jù)對企業(yè)的價值，探討如何讓沉睡的企業(yè)負(fù)資產(chǎn)變現(xiàn)，展現(xiàn)出它本身應(yīng)有的價值。