谷歌首席決策智能工程師Cassie Kozyrkov最近寫了一篇AI/機(jī)器學(xué)習(xí)項(xiàng)目構(gòu)建“終極指南”。既然是入門級(jí)，文中對算法、模型等技術(shù)內(nèi)容幾乎沒提，而是從尋找合適項(xiàng)目負(fù)責(zé)人開始，講到用戶案例、性能指標(biāo)、再到團(tuán)隊(duì)招募、測試標(biāo)準(zhǔn)制定等，洋洋灑灑而又條理清晰，值得初涉AI項(xiàng)目的人士參考。

目前，許多團(tuán)隊(duì)正在試圖通過深入研究算法和數(shù)據(jù)來啟動(dòng)一個(gè)應(yīng)用型AI項(xiàng)目，然后再確定期望的輸出和目標(biāo)。

不幸的是，這個(gè)過程就好比在公寓里養(yǎng)了幾年小狗，然后驚訝地發(fā)現(xiàn)它不能幫你放羊。

相反，你需要在養(yǎng)小狗（ML/AI系統(tǒng)）之前，明確自己的目標(biāo)或需求是什么，然后再有計(jì)劃地對其進(jìn)行訓(xùn)練。

這篇指南就深入的研究了如何正確的開展ML/AI系統(tǒng)，并將從以下五個(gè)方面進(jìn)行講解：

明確項(xiàng)目負(fù)責(zé)人

識(shí)別用戶案例

做一些事實(shí)核查

制定性能指標(biāo)

設(shè)定測試標(biāo)準(zhǔn)，來消除認(rèn)知因素產(chǎn)生的偏差

本指南使用人群：決策者、倫理學(xué)家、ML/AI工程師、分析師、定性專家、經(jīng)濟(jì)學(xué)家、心理學(xué)家、可靠性工程師、人工智能研究員、領(lǐng)域?qū)＜?、用戶體驗(yàn)專家、統(tǒng)計(jì)學(xué)家、人工智能控制理論家。

明確項(xiàng)目負(fù)責(zé)人：找到說了算的人！

在機(jī)器學(xué)習(xí)和人工智能項(xiàng)目中，第一步應(yīng)該是明確正確的領(lǐng)導(dǎo)人選

我們將要解決的問題是誰來當(dāng)項(xiàng)目負(fù)責(zé)人，也就是說，該由誰來發(fā)號(hào)施令。

如果你選擇了一個(gè)博士研究員來擔(dān)任這個(gè)職位，那可能是由于這個(gè)人的決策能力和對你的業(yè)務(wù)的深刻理解。如果你打算讓他們擔(dān)任這個(gè)角色，事后再對他們的能力進(jìn)行評定，那么你選錯(cuò)人了。我們所稱的決策者(可以是個(gè)人或委員會(huì))是應(yīng)該擁有最終決定權(quán)的實(shí)體。

如果決策者不精通決策的藝術(shù)和科學(xué)，有一個(gè)解決辦法：將他們和定性專家進(jìn)行配對。

識(shí)別用戶案例

關(guān)注輸出

ML/AI不是魔法，它不能解決所有問題。它們只是一個(gè)標(biāo)簽，你需要自己去弄清楚你要往上面貼什么標(biāo)簽。

事物標(biāo)簽不僅僅意味著分類。這里的標(biāo)簽是指輸出。它可以是一個(gè)類別，一個(gè)數(shù)字，一個(gè)句子，一個(gè)波形，一組ID，一個(gè)單一動(dòng)作，一個(gè)操縱桿運(yùn)動(dòng)，一個(gè)動(dòng)作序列等等。

如果你讀了我最近一篇關(guān)于算法如何工作的文章，你就會(huì)注意到這篇文章想當(dāng)然地認(rèn)為有必要給一杯茶貼上Cassie喜歡或不喜歡的標(biāo)簽。

誰會(huì)同意浪費(fèi)每個(gè)人的時(shí)間去做這樣的用例呢？！它將如何幫到企業(yè)？那個(gè)分類器甚至應(yīng)該存在嗎？假設(shè)它可以工作，那它值得花時(shí)間和精力去建造嗎?

現(xiàn)在談“輸入”并不是一個(gè)好時(shí)機(jī)

決策者中有很多人對數(shù)據(jù)非常熟悉。有些人可以同時(shí)談?wù)撦斎牒洼敵龇矫娴氖虑椤５业慕ㄗh是：不要談?wù)摗拜斎搿保≡蛉缦拢?/p>

原因1：會(huì)錯(cuò)失良機(jī)

這是非常顯而易見的。有些利益相關(guān)者對數(shù)據(jù)并不會(huì)像你那樣熟悉，他們很容易混淆。在早期，你可能會(huì)向他們介紹你的想法，希望為你的項(xiàng)目獲得資源。但不要讓他們對此產(chǎn)生困惑！要告訴他們項(xiàng)目是做什么的，而不是怎么做的。

很多對數(shù)據(jù)比較熟悉人都會(huì)遇到一個(gè)問題，那就是他們會(huì)想當(dāng)然的認(rèn)為別人對數(shù)據(jù)也是非常敏感、熟悉的。而讓我干到非常震驚的是，科技界許多絕頂聰明的人對數(shù)據(jù)并不了解，所以我現(xiàn)在知道不應(yīng)該將這件事情看得那么理所當(dāng)然。

原因2: 我們默認(rèn)的情形不一定是最優(yōu)的

作為一名有著多年經(jīng)驗(yàn)工程師，我發(fā)現(xiàn)我們這些人越來越喜歡關(guān)注細(xì)節(jié)，去他的大局觀。這實(shí)際上一種是風(fēng)險(xiǎn)很大的選擇：比如當(dāng)你花了6個(gè)小時(shí)與你的伙伴討論，變量x是否是一個(gè)很好的輸入，是否可以作為預(yù)測輸出y的適當(dāng)記錄，這時(shí)其實(shí)你已經(jīng)默認(rèn)y是值得尋求的產(chǎn)出了。你已經(jīng)確信了這一點(diǎn)，最后可能會(huì)做出并不需要的東西。

你可能還沒有為機(jī)器學(xué)習(xí)做好準(zhǔn)備

仍在忙著尋找用戶實(shí)例嗎？先停下來分析一下吧，分析的目標(biāo)是為決策者創(chuàng)造靈感。一旦你受到了啟發(fā)，你就可以回到ML /AI過程中并重新開始。分析（比如數(shù)據(jù)挖掘）對于每個(gè)項(xiàng)目而言都是一個(gè)好主意，而ML / AI僅適用于利用數(shù)據(jù)自動(dòng)化標(biāo)記的項(xiàng)目。

雖然它們之間的數(shù)學(xué)基礎(chǔ)通常是相同的，但具體過程有很大差異。數(shù)據(jù)挖掘就是最大限度地提高發(fā)現(xiàn)速度，而機(jī)器學(xué)習(xí)是實(shí)現(xiàn)高性能的自動(dòng)化過程。在數(shù)據(jù)挖掘中，你的團(tuán)隊(duì)只會(huì)犯一個(gè)錯(cuò)誤，而后者可能犯的錯(cuò)誤不勝枚舉。只有處理確實(shí)值得投入資源的實(shí)例時(shí)，再著手處理這些令人頭疼的問題。

讓我們想象一下這個(gè)用例，標(biāo)記圖片是不是一杯茶。首先要確保不是僅僅考慮標(biāo)記一兩個(gè)杯子。 ML/AI對于自動(dòng)執(zhí)行許多重復(fù)決策很有意義，它不是一次性的。

拿一支筆，寫下你自己判斷的標(biāo)記，（本例中只涉及是/否，很容易）。寫下你如何判斷出這個(gè)結(jié)果的，寫下標(biāo)記錯(cuò)誤會(huì)是什么樣子的。然后預(yù)計(jì)機(jī)器學(xué)習(xí)中會(huì)出現(xiàn)的錯(cuò)誤。

核對事實(shí)很重要

一旦你能清楚地表達(dá)出你所尋求的標(biāo)記，就可以快速檢查一下：你手頭關(guān)于這個(gè)商業(yè)問題的數(shù)據(jù)嗎？

這些數(shù)據(jù)必須具有相關(guān)性。你不能使用大數(shù)據(jù)的模式來預(yù)測你的血糖水平。顯然，無用的數(shù)據(jù)是不算數(shù)的。你不必分析數(shù)據(jù)（這事放在項(xiàng)目的后期來做），但應(yīng)該確定在時(shí)機(jī)成熟時(shí)需要進(jìn)行分析的內(nèi)容。因?yàn)闆]有數(shù)據(jù)，AI項(xiàng)目就不復(fù)存在了。

此外，你還需要確認(rèn)是否具備處理數(shù)據(jù)的計(jì)算力。

沒有數(shù)據(jù)支持，AI項(xiàng)目就會(huì)像這頭牛一樣

在組建團(tuán)隊(duì)之前，有必要檢查以下事實(shí)。確保以下問題的答案都是肯定的，下面是這些問題的概覽：

適當(dāng)?shù)娜蝿?wù):你是否在自動(dòng)進(jìn)行許多決策和標(biāo)記過程？是否無法每次都完美找到答案？

合理的期望:你的系統(tǒng)可能會(huì)很優(yōu)秀，但并不是完美無瑕的，你能否接受偶爾會(huì)出錯(cuò)的系統(tǒng)？

潛在的有用輸入是否存在？你能否獲取到這些輸入（目前沒有這些數(shù)據(jù)也沒問題，未來制定計(jì)劃可以拿到這些數(shù)據(jù)就行）

充足的實(shí)例:當(dāng)有機(jī)會(huì)和統(tǒng)計(jì)學(xué)家或機(jī)器學(xué)習(xí)工程師一起喝酒時(shí)，記得提一嘴現(xiàn)在自己手頭有多少實(shí)例可用，想要獲得什么樣的輸出。

計(jì)算機(jī)性能:你是否擁有足夠的計(jì)算力來應(yīng)對你使用的數(shù)據(jù)集？有了云技術(shù)，這一點(diǎn)其實(shí)不再是什么大問題了。

團(tuán)隊(duì):你是否足夠自信，認(rèn)為一定可以招募到擁有必要技能的隊(duì)友？

基本事實(shí):除非從事非監(jiān)督式學(xué)習(xí)研究，你能夠正確獲取輸出嗎？如果不能，是不是要花錢請人為你完成這項(xiàng)任務(wù)？

可以開始組建團(tuán)隊(duì)了！

明智地確定衡量標(biāo)準(zhǔn)

如果你是個(gè)新手，下一步可能會(huì)有點(diǎn)棘手。你要決定每個(gè)標(biāo)記結(jié)果的價(jià)值。被標(biāo)記為“是”的令人作嘔的一杯茶的味道比一杯被標(biāo)記為“否”的美味的茶的爛多少倍？ 全都由你決定！

如果你已經(jīng)頭大了，可以找一些對數(shù)字敏感的人一起頭腦風(fēng)暴。如果你想要最好的幫助者，可以向一些經(jīng)濟(jì)學(xué)家求助。經(jīng)濟(jì)學(xué)家為AI項(xiàng)目提供了很多有用的意見。

在搞清楚如何把握單一輸出結(jié)果的權(quán)衡問題之后，就該考慮如何處理幾千個(gè)結(jié)果的問題了。使用平均值是一個(gè)一般選擇，但不一定非要取平均值。

制定指標(biāo)

制定指標(biāo)的方法有很多種。在本文中上面的例子里，你可以選擇一個(gè)非常簡單的標(biāo)準(zhǔn)：準(zhǔn)確性！也就是說“不要出錯(cuò)?！奔僭O(shè)每個(gè)錯(cuò)誤都同樣糟糕（取值為0），每個(gè)正確反應(yīng)的作用都一樣好（取值為1），然后取平均值。

也許你不想浪費(fèi)自己的時(shí)間，你要確保當(dāng)系統(tǒng)判定為美味時(shí)，它真的值得喝喝看，但你可能因此錯(cuò)過非常好喝的茶。嗯，這個(gè)度量標(biāo)準(zhǔn)稱為精度。

遇到問題需要幫助了？你之前找來的經(jīng)濟(jì)學(xué)家已經(jīng)走了？沒問題！或者你有喜歡設(shè)計(jì)游戲的朋友嗎？游戲愛好者在不知不覺中在整個(gè)生命中都在進(jìn)行訓(xùn)練！如果你和這類人沒那么深的交情，你可以打電話給你的分析專家，他們的工作就是幫助決策者確認(rèn)對這類事情的觀點(diǎn)。

咨詢專家意見

在涉及到重大問題的應(yīng)用中，請多咨詢專家，確認(rèn)不會(huì)以某種不正當(dāng)和有害的方式對某些指標(biāo)打了高分。

應(yīng)該請哪些專家？你是否聽說過一個(gè)笑話，說一位決策者、倫理學(xué)家，AI控制理論家，統(tǒng)計(jì)學(xué)家，用戶體驗(yàn)研究員，行為經(jīng)濟(jì)學(xué)家，領(lǐng)域?qū)＜液涂煽啃怨こ處熞黄鹱哌M(jìn)酒吧......

當(dāng)然，這種情況對于無害的商業(yè)應(yīng)用程序來說可能有點(diǎn)過分，因此您求助的專家對這些學(xué)科的熟悉程度非常重要。

創(chuàng)建業(yè)績指標(biāo)！

當(dāng)你完成上面的步驟后，就已經(jīng)創(chuàng)建了業(yè)務(wù)績效指標(biāo)！

與損失函數(shù)不同，在績效指標(biāo)方面，存在的可能是無窮無盡的，要由決策者決定哪些指標(biāo)才是真正重要的。如果您對解決這個(gè)問題感到焦慮，我正在醞釀更多文章來幫助您掌握這些指標(biāo)的開發(fā)。

損失函數(shù)是用于優(yōu)化的，不是用來測試的

“在AI應(yīng)用中，損失函數(shù)應(yīng)該用于優(yōu)化，而不是用于統(tǒng)計(jì)測試。統(tǒng)計(jì)測試中應(yīng)該問的問題是：“模型的性能是否足以構(gòu)建和啟動(dòng)？”

為方便起見，您可以使用標(biāo)準(zhǔn)化的損失函數(shù)進(jìn)行優(yōu)化，前提是該函數(shù)與你的領(lǐng)導(dǎo)想象中的函數(shù)相同（可通過分析或模擬執(zhí)行相關(guān)性檢查），但測試時(shí)，請使用自己的損失函數(shù)。

針對目標(biāo)人群設(shè)置測試標(biāo)準(zhǔn)

明確你感興趣的目標(biāo)人群

在指定打算使用哪些實(shí)例之前，談?wù)撓到y(tǒng)是否能夠“正常工作”是沒有意義的。是的，這意味著你需要指定對那些特定的人群感興趣。

設(shè)置測試系統(tǒng)的標(biāo)準(zhǔn)是決策者的責(zé)任，應(yīng)該引起重視。

預(yù)先設(shè)定標(biāo)準(zhǔn)是保護(hù)我們避免打造出可怕的機(jī)器學(xué)習(xí)和人工智能系統(tǒng)的重要一步。

這個(gè)標(biāo)準(zhǔn)不是唯一的。你也可以制定一個(gè)團(tuán)隊(duì)可以達(dá)到的性能水平，但這不是測試標(biāo)準(zhǔn)的，測試時(shí)請使用最低限度的標(biāo)準(zhǔn)。

克服固有認(rèn)知偏見的影響

事實(shí)證明，作為人類的一員，我們都存在一些可愛的認(rèn)知偏見，可以簡單歸結(jié)為：當(dāng)我們?yōu)槟臣峦度肓藭r(shí)間和精力，我們就會(huì)愛上它，即使產(chǎn)生的是一堆有毒的垃圾！

所以，趁著你現(xiàn)在仍然清醒，在將大部分時(shí)間和精力投入某個(gè)項(xiàng)目之前，應(yīng)該對業(yè)務(wù)項(xiàng)目中問題進(jìn)行冷酷而嚴(yán)格的審視，并能夠達(dá)到：“如果這個(gè)項(xiàng)目達(dá)不到最低要求，我保證砍掉它！”

不要太苛刻

如果你總是要求AI模型的表現(xiàn)比人類更好，那你可能會(huì)讓你錯(cuò)過機(jī)會(huì)。這有點(diǎn)像說，你只愿意聘請奧運(yùn)會(huì)金牌得主來為你家的裝修鋪地磚。也許奧林匹克運(yùn)動(dòng)員比普通人的能力更強(qiáng)，但采用如此嚴(yán)格的招聘標(biāo)準(zhǔn)可能會(huì)讓你無人可招。

應(yīng)該適當(dāng)?shù)亟档蜆?biāo)準(zhǔn)，使其能夠滿足業(yè)務(wù)需求即可，但不低于最低標(biāo)準(zhǔn)。正如經(jīng)濟(jì)學(xué)家所說，將標(biāo)準(zhǔn)放低至最低限度是具有激勵(lì)作用的。

有時(shí)自動(dòng)化生產(chǎn)的產(chǎn)品的單位質(zhì)量會(huì)低于手工制品，但機(jī)器制造的規(guī)模和速度使其具備了商業(yè)上的價(jià)值。這對你的業(yè)務(wù)有價(jià)值嗎？嘿，負(fù)責(zé)人是你，不是我。祝你好運(yùn)！

以上就是AI/機(jī)器學(xué)習(xí)項(xiàng)目搭建的第一步指南！如果你發(fā)現(xiàn)本指南中的任何觀點(diǎn)還算有價(jià)值，請分享給身邊的人中最有可能負(fù)責(zé)決策的人。讓我們建立一支技術(shù)嫻熟、負(fù)責(zé)任的人工智能領(lǐng)導(dǎo)者團(tuán)隊(duì)，共創(chuàng)AI的美好未來！