機器學習系統(tǒng)現(xiàn)在已經成為各種大數(shù)據(jù)應用中的標配，系統(tǒng)中沒有機器學習環(huán)節(jié)都不好意思跟人打招呼。

教你如何做機器學習的資料也有很多，但是本文有所不同，本文的重點在于告訴你不要如何去做，也可以說是機器學習中的“反模式”。

機器學習系統(tǒng)就如同熱帶雨林，極其容易迷失其中，踩到各種大坑，讓你遍體鱗傷。本文摘選了我們團隊在實踐中踩過的一些坑，以及總結出來的經驗教訓，希望能夠充當一份指南，減少大家迷失其中的幾率。

0號坑：只見模型，不見系統(tǒng)

機器學習系統(tǒng)的核心是各種機器學習模型，但并不能說模型是系統(tǒng)的全部，甚至都不一定是系統(tǒng)中最重要的部分。如果把一個完整的機器學習系統(tǒng)比喻成一輛汽車，那么模型可以算作是汽車的引擎，但是我們知道除了引擎以外，影響汽車最終性能的因素還有非常的多，從國外進口一臺高級引擎并不代表就能造出世界一流的車來。

在機器學習系統(tǒng)中也是一樣，要想模型充分發(fā)揮作用，需要在系統(tǒng)構建時具有充分的大局觀意識，把模型當做系統(tǒng)的一部分來看待。在這里我們強調其中一點，就是在注意優(yōu)化模型的同時，更要注意模型的提升是否對系統(tǒng)整體最終效果產生了提升，如果沒有，那么要從系統(tǒng)中模型以外的部分找問題。

下面舉一個廣告系統(tǒng)中的例子來說明問題。我們知道廣告展示的決策過程可以簡單分為物料召回和排序兩個部分，而機器學習經常被用來做排序部分的工作。但是最終的廣告點擊效果，不僅僅和排序模型的質量有關，同時和召回質量也有很大關系，如果召回的相關性不夠好，那么無論怎么排序，最終效果都不會好。這個時候如果眼睛只看到模型效果，是很難找到真正問題所在的。

所以在開發(fā)系統(tǒng)的過程中，不能只關注模型本身的好壞，例如AUC之類的評測指標，更重要的是要關注模型對系統(tǒng)最終影響，以調優(yōu)系統(tǒng)為目標，而不是僅僅調優(yōu)模型為目標。如果只看到模型而看不到系統(tǒng)，很可能會做出指標漂亮但是沒有實效的“花瓶系統(tǒng)”來。

1號坑：忽視模型過程和細節(jié)

很多人覺得機器學習模型是個神奇的黑盒子，只需要把樣本和特征喂進去，就會有好用的模型參數(shù)生產出來，就像馬三立相聲中的牛肉罐頭機器一樣。這種黑盒子思維會讓人習慣性地忽略模型的細節(jié)——例如某個參數(shù)為何是這個取值，這個取值是否合理，這個取值對應的樣本數(shù)據(jù)是什么樣子，等等——而是把精力都花在調一些外部參數(shù)之類的工作上。

這樣做的后果是，如果模型效果不好，不一定能夠通過調整外部參數(shù)來達到調優(yōu)效果。例如，在樣本收集處理過程中，摻入了一些噪音數(shù)據(jù)沒有去除，那么這些噪音數(shù)據(jù)會影響最終的模型參數(shù)，進而影響模型效果。這種問題通過調一些諸如正則化參數(shù)之類的參數(shù)是無法解決的，真正有效的解決方法是深入的具體參數(shù)中，找到表現(xiàn)異常的參數(shù)，然后深入到該參數(shù)對應的正負樣本及其特征，這樣逐層滲透地查找問題。典型的LR模型作為當今最流行的模型，很多人只看到了訓練速度和擴展性這些優(yōu)點，而沒有充分利用模型簡潔性這一特點。LR簡潔的參數(shù)形式非常適合使用上面描述的問題查找方法來定位問題。

當然，上面這個頗為復雜的查找流程，如果沒有趁手的工具幫助，是很難通暢執(zhí)行的。所以需要構建一套可視化工具，來輔助這個過程。具體地說，以LR模型為例，這個系統(tǒng)要能夠支持：對于每個預測的case，能看到起作用的參數(shù)及其取值，能看到參與訓練這個參數(shù)的樣本以及特征細節(jié)，等等。有了這樣一套系統(tǒng)，可能只需要點幾下鼠標就能夠定位到問題，降低了查找問題的難度，提高了使用的積極性，從而有利于系統(tǒng)的持續(xù)提升。

所以，對于機器學習模型，要敢于破除“黑盒迷信”，對其進行“解剖”，有針對性地優(yōu)化和查找問題，通過把控訓練過程細節(jié)來把控最終模型。

2號坑：不注重樣本精細化處理

大家都知道樣本是機器學習模型的“食物”，直接關系到模型效果的好壞。但是很多情況下，我們對待樣本的態(tài)度并沒有足夠認真，沒有像在乎特征那樣在乎樣本的質量。以二分類問題為例具體來講，有兩種情況會比較常見。

第一種情況，是對負樣本的界定不夠細致。負樣本的含義一般來說是曝光但是未點擊的樣本，但是“曝光”是一件需要仔細琢磨的事情。最粗暴的方式是用服務器后臺日志中的數(shù)據(jù)作為曝光，但是這樣做會帶來一個顯然的問題，就是日志中的item不一定全部真正“曝光”，也就是不一定真的被用戶看到了。更好的方式是通過頁面埋點來記錄真正曝光的東西，但是這種方法也會有問題，那就是即使頁面上曝光了，用戶也不一定真正看到了，或者說用戶的眼睛不一定掃到了曝光的區(qū)域，畢竟頁面那么大，用戶的注意力不一定在哪里。針對這種情況一種解決方法是把最后一個被點擊的商品以上的作為“真正曝光”的，因為用戶既然點擊了這一個，那么可以認為這個以上的用戶都是看到了的。

第二種情況，也是更底層的一個問題，就是對樣本這個概念的理解不到位。統(tǒng)計機器學習的根本思路是根據(jù)歷史行為學習模式，從而預測未來。所以“樣本代表歷史”是很容易被接受的定義，但是在實際工作中，更好的樣本代表的應該是“我們希望的歷史”，而不一定是“真實的歷史”。那么“我們希望的歷史”和“真實的歷史”之間差異在哪里呢？

舉一個電商系統(tǒng)的例子。在電商系統(tǒng)的訪問記錄中，有這么三種類型的數(shù)據(jù)：

有明確購買意圖用戶的數(shù)據(jù)
隨便逛逛用戶的數(shù)據(jù)
各種作弊用戶或爬蟲的數(shù)據(jù)

這三種用戶的行為模式是不一樣的，第一種目標明確，瀏覽的商品關聯(lián)性強；第二種目標不明確，看的東西相對發(fā)散；第三種在規(guī)律上明顯與正常人不同。這三種類型的數(shù)據(jù)夾雜在一起，格式完全相同，不做專門的分析是無法區(qū)分開的。三種數(shù)據(jù)混在一起進入模型訓練，當然也會得出一個模型，這個根據(jù)“真實數(shù)據(jù)”訓練出來的模型，其中的參數(shù)都在盡量擬合這三種數(shù)據(jù)的混合體。

但是讓我們現(xiàn)在停下來想一想，我們訓練模型出來，真正希望服務的用戶是哪種用戶？第三種肯定不是，第二種可能是，第一種一定是。如果我們真正希望服務的用戶只是第一種用戶，但是訓練數(shù)據(jù)中包含了另外兩種，那么第一種用戶的體驗一定會受到影響。而如果我們只用第一種用戶的數(shù)據(jù)訓練模型出來，那么這種“量身定做”的模型對目標用戶的效果一定是更好的。根據(jù)我們的實踐經驗證明，無論是AUC指標還是上線效果，都是有明顯提升的。

舉這兩個例子，目的是提醒大家，除了特征工程，樣本工程也同樣重要，在某些情況下甚至會更重要。所以在進行訓練之前，以及模型調優(yōu)的過程中，都要仔細思考樣本是否真正反映了你的需求，有必要時要對樣本做針對性選擇。

3號坑：過于依賴算法

機器學習系統(tǒng)的核心是模型和算法，基于模型和算法的可擴展性也是機器學習系統(tǒng)的核心競爭力之一。但是這并不代表系統(tǒng)中的每個環(huán)節(jié)都一定要用算法來處理，完全摒棄非算法的、甚至手工的方法。很多機器學習系統(tǒng)中都會有一些核心的基礎數(shù)據(jù)，這些數(shù)據(jù)的數(shù)據(jù)量談不上海量，但是純手工處理也是有一定工作量的，這個時候人們第一反應往往是用算法去處理這些數(shù)據(jù)，但是有的時候簡單粗暴的方法才是真正有效的方法。

我們在構建當當?shù)臋C器學習系統(tǒng)時，需要對圖書文本做一個主體模型聚類，在此之前需要得到一份“干凈”的原始文本數(shù)據(jù)。所謂“干凈”數(shù)據(jù)指的是去除了諸如SEO詞、商家亂填寫的內容等等之后的一個類似詞表的數(shù)據(jù)。為了達到去除噪音詞的目的，我們嘗試過很多方法，簡單的高級的都試過，都有效果，但都達不到我們要的效果。經過ROI衡量，我們決定人工來處理這些數(shù)據(jù)，大概花了三個人一周左右的時間，人工處理之后，效果確實非常好。

這個例子并不是在宣傳反算法，而是說要根據(jù)具體的問題選擇合適的方法。這個問題為什么可以用人工方法去做呢？原因有很多，其中之一就是這個數(shù)據(jù)的變化幅度非常小，人工處理一遍之后可以用很久，如果是一份每天在變的數(shù)據(jù)顯然就不適合用人工來做了。這個問題或許存在更高級的算法可以解決，但是考慮到數(shù)據(jù)的不變性，以及整體的ROI，從工程角度來講還是手工比較合算。

所以說，即使是在機器學習系統(tǒng)這種整體比較高大上的系統(tǒng)中，也要具體問題具體分析，需要搬磚的時候，該搬就得搬。

4號坑：核心數(shù)據(jù)缺乏控制

從數(shù)據(jù)流的角度來看，機器學習系統(tǒng)中的數(shù)據(jù)要經過樣本收集、特征生成、模型訓練、數(shù)據(jù)評測等等這樣一個流程，在這樣一個比較長的流程中，不一定每個環(huán)節(jié)都是自己可控的，那么在那些不可控的環(huán)節(jié)，就有可能出現(xiàn)風險，而更可怕的是，由于數(shù)據(jù)控制在別人手里，出現(xiàn)了問題自己還不知道。

以樣本收集為例，在大公司里，這樣的工作很可能是由統(tǒng)一負責日志收集的平臺部門來做的，而算法團隊只要拿來用就可以了。這種做法是把雙刃劍，好處很明顯，就是減輕了算法團隊的負擔，但是也會帶來隱患，就是你拿到的數(shù)據(jù)不一定真的是你要的數(shù)據(jù)。

正確的數(shù)據(jù)只有一種，但是錯誤的數(shù)據(jù)卻有很多種錯誤方法。在樣本收集方面，前臺發(fā)送過來的曝光數(shù)據(jù)也存在著多種可能性，例如可能是緩存起來的數(shù)據(jù)，也有可能是用來做SEO的數(shù)據(jù)，等等。這些數(shù)據(jù)在發(fā)送方來看，都是合理的數(shù)據(jù)，但對于算法模型來看，都不是用戶真正看到的數(shù)據(jù)，而用戶真正看到的數(shù)據(jù)才是我們真正想要的數(shù)據(jù)。那么作為這份數(shù)據(jù)的使用方，算法模型很有可能就會受到這種錯誤數(shù)據(jù)的影響。

最可怕的是，這種錯誤并不是那種能讓程序崩潰的錯誤，讓我們能在第一時間發(fā)現(xiàn)，而是完全隱藏在正常數(shù)據(jù)中，只有你栽了跟頭返回來找問題時或許才能發(fā)現(xiàn)。

這種錯誤數(shù)據(jù)出現(xiàn)的原因是什么呢？并不是一定日志收集團隊不負責任，關鍵在于收集日志的團隊不使用日志，或者說出數(shù)據(jù)的人不用數(shù)據(jù)，那么就很難要求他們來保證數(shù)據(jù)的質量。這種分離的狀態(tài)對于模型算法這種高度依賴數(shù)據(jù)的應用是有風險的，所以最好能夠加強這部分數(shù)據(jù)的控制能力，如果不能完全自己來做，那么就要有對應的監(jiān)控機制，做到有問題能及時發(fā)現(xiàn)、及時處理，而不是完全交給別人，自己只管拿來用。

5號坑：團隊不夠“全?！?/span>

全棧工程師是近年來很火爆的一個概念，在機器學習這樣一個復雜系統(tǒng)中，每個人都做到全棧未必現(xiàn)實，但是有一條基本要求應該努力做到，就是團隊級別的全棧。

機器學習系統(tǒng)的團隊一般主要由算法工程師和系統(tǒng)工程師組成，往往會忽略其他角色，比較典型的就是掌握前端技能的工程師。前端技能在機器學習系統(tǒng)中有很重要的作用，例如在效果評測時的可視化展示方面，但是更重要的是，能夠一定程度上加強對數(shù)據(jù)流程的控制能力。例如在上面那個坑的例子中，說到前端曝光收集的問題，如果團隊中沒有熟悉前端技術的人，是很難找到這種數(shù)據(jù)發(fā)送的隱藏問題的。

當然，技術全棧只是解決問題的手段，更重要的是能關注全部系統(tǒng)的全局性思維。

6號坑：系統(tǒng)邊界模糊/巨型系統(tǒng)

機器學習系統(tǒng)與其他軟件系統(tǒng)相比，有一個顯著的特點，就是它是建立在實驗性、探索性開發(fā)的基礎上的。尤其是在初次搭建系統(tǒng)的時候，很難做到在完整設計的指導下開發(fā)，而大多是一邊探索嘗試一邊開發(fā)，到最后達到上線要求的時候，系統(tǒng)也就隨之成型了。

但是這樣構建出的系統(tǒng)，有個很大的問題，就是很容易做成一個邊界模糊、模塊耦合、結構復雜的“巨型系統(tǒng)”，這種系統(tǒng)的典型特征包括：

模塊間不可拆分，樣本、特征、訓練等步驟都偶合在一起。
很多實驗性、探索性代碼遍布其中，搞不清楚哪些在用，哪些已失效。
pipeline特別長，其中包括一些可能已經無用的流程。

為什么會出現(xiàn)這樣的系統(tǒng)呢？重要原因之一就是前面提到過的，機器學習系統(tǒng)的探索式的本質。在剛開始做系統(tǒng)的時候，可能樣本處理、特征處理這些都比較簡單，所以就都寫在了一起。隨著各個流程處理的精細化、復雜化，每個步驟都在變復雜，但是由于這種變化是在慢慢發(fā)生的，很容易形成“溫水煮青蛙”的效應，導致系統(tǒng)慢慢變得不可控，從技術債的角度來講，系統(tǒng)就是在慢慢地、不知不覺地欠債，而且是利息很高的債。

這樣的系統(tǒng)必然是難以維護、難以優(yōu)化的，解決的方法就是逐步的重構，或者借鑒一些成熟的系統(tǒng)架構，然后再做適合自己的本地化。但這其中最關鍵的，還是要有一顆架構師的心，能夠時刻審視自己的系統(tǒng)，評估其健康狀況，并適時做出改變。關于機器學習系統(tǒng)技術債的更多詳細討論，可參見這篇文章[3]或這篇文章[4]。

7號坑：不重視基礎數(shù)據(jù)架構建設

數(shù)據(jù)是機器學習系統(tǒng)的血液，這里面包括各種樣本數(shù)據(jù)，原始特征數(shù)據(jù)，處理后的特征數(shù)據(jù)，支撐數(shù)據(jù)等等，那么提供這些數(shù)據(jù)的系統(tǒng)和架構就好比循環(huán)系統(tǒng)，循環(huán)系統(tǒng)的循環(huán)、代謝能力直接決定了這個系統(tǒng)的健康程度。

機器學習系統(tǒng)在構建初期，對待各種數(shù)據(jù)的態(tài)度往往是輔助性質的，認為這些數(shù)據(jù)只是為了模型服務的”燃料“，而沒有把它們本身作為嚴肅的子系統(tǒng)來對待，所以這些數(shù)據(jù)的架構往往缺乏設計，大多比較隨意，可能會有很多難以復用“一次性”代碼。這在初期沖模型效果的時候似乎是沒有問題的，但是到了系統(tǒng)搭建起來之后，需要頻繁地對各種數(shù)據(jù)進行調整、嘗試的時候，如果沒有經過精心設計的數(shù)據(jù)架構支持，每次數(shù)據(jù)調整都會非常耗費精力，工作量可能不亞于重新出一遍數(shù)據(jù)。尤其是在系統(tǒng)上線之后，修改數(shù)據(jù)變得不能那么隨意之后，問題就更加嚴重。

這是一個嚴肅而復雜的問題，也不是一兩個簡單方法就可以解決的，而是需要從數(shù)據(jù)源開始做仔細的設計，設計時充分考慮數(shù)據(jù)可能的用法，并留有一定擴展性，保證數(shù)據(jù)的可用性和可探索性。具體實踐起來可以考慮微服務的做法，微服務是個性化推薦領先的Netflix公司最早提出并實踐的概念，它們實踐的場景也是圍繞個性化推薦展開的。

其中一個比較有趣的例子，是他們構建了一套“特征時光機”系統(tǒng)[5]，以微服務的形式把不同時間維度的數(shù)據(jù)呈獻給算法和研究人員，就好像擁有時光機一樣，能夠在不同時間中容易穿梭，獲取數(shù)據(jù)。此外，在通用的數(shù)據(jù)基礎架構方面，可以參考Stitchfix的做法[6]，其核心是將數(shù)據(jù)流程根據(jù)職責進行劃分，以求達到最高的團隊協(xié)作效率。