【導(dǎo)讀】互聯(lián)網(wǎng)公司每天都面臨著處理大規(guī)模機(jī)器學(xué)習(xí)應(yīng)用程序的問(wèn)題，因此我們需要一個(gè)可以處理這種超大規(guī)模的日常任務(wù)的分布式系統(tǒng)。最近，以集成樹(shù)為構(gòu)建模塊的深度森林（Deep Forest）算法被提出，并在各個(gè)領(lǐng)域取得了極具競(jìng)爭(zhēng)力的效果。然而，這種算法的性能還未在超大規(guī)模的任務(wù)中得到測(cè)試。近日，基于螞蟻金服的參數(shù)服務(wù)器系統(tǒng)“鯤鵬”及其人工智能平臺(tái)“PAI”，螞蟻金服和南京大學(xué)周志華教授的研究團(tuán)隊(duì)合作開(kāi)發(fā)了一種分布式的深度森林算法，同時(shí)提供了一個(gè)易于使用的圖形用戶(hù)界面（GUI）。

為了滿(mǎn)足現(xiàn)實(shí)世界的任務(wù)需求，周志華團(tuán)隊(duì)等對(duì)原始的深度森林模型進(jìn)行了諸多改進(jìn)。針對(duì)超大規(guī)模的任務(wù)，如套現(xiàn)欺詐（cash-out fraud）行為的自動(dòng)檢測(cè) (擁有超過(guò)1億的訓(xùn)練樣本)，研究人員測(cè)試了深度森林模型的性能。實(shí)驗(yàn)結(jié)果表明，在不同的評(píng)估標(biāo)準(zhǔn)下，只需微調(diào)模型的參數(shù)，深度森林模型便能在大規(guī)模任務(wù)處理上取得當(dāng)前最佳的性能，從而有效地阻止大量套現(xiàn)欺詐行為的發(fā)生。即使和目前已經(jīng)部署的其他最佳模型相比，深度森林模型依然能夠顯著減少經(jīng)濟(jì)損失。

以下是論文內(nèi)容：

▌簡(jiǎn)介

對(duì)于螞蟻金融這樣的金融公司，套現(xiàn)欺詐行為是常見(jiàn)危害之一。買(mǎi)家通過(guò)螞蟻金融發(fā)行的螞蟻信用服務(wù)與賣(mài)家進(jìn)行交易支付，并從賣(mài)家處獲得現(xiàn)金。如果沒(méi)有合適的欺詐檢測(cè)手段，那么每天詐騙者就能夠從套現(xiàn)欺詐中獲取的大量現(xiàn)金，這對(duì)網(wǎng)絡(luò)信用構(gòu)成了一個(gè)嚴(yán)重的威脅。目前，基于機(jī)器學(xué)習(xí)的檢測(cè)方法，如邏輯回歸 (LR) 和多元加性回歸樹(shù) (MART)，能夠在一定程度上預(yù)防這種欺詐行為，但是我們需要更有效的方法，因?yàn)槿魏挝⑿〉母倪M(jìn)都將顯著地降低經(jīng)濟(jì)損失。另一方面，隨著數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)模型有效性的日益提高，數(shù)據(jù)科學(xué)家經(jīng)常與產(chǎn)品部門(mén)密切合作，為這些任務(wù)設(shè)計(jì)并部署有效的統(tǒng)計(jì)模型。對(duì)數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師來(lái)說(shuō)，希望通過(guò)一個(gè)理想的高性能平臺(tái)來(lái)處理大規(guī)模的學(xué)習(xí)任務(wù) (經(jīng)常有數(shù)百萬(wàn)或數(shù)十億的訓(xùn)練樣本)。此外，這個(gè)平臺(tái)的搭建過(guò)程要簡(jiǎn)單，并能運(yùn)行不同的任務(wù)以提高生產(chǎn)力。

基于樹(shù)結(jié)構(gòu)的模型，如隨機(jī)森林和多重加權(quán)回歸樹(shù)模型，仍然是各種任務(wù)的主要方法之一。由于這種模型的優(yōu)越性能，在 Kaggle 比賽或數(shù)據(jù)科學(xué)項(xiàng)目中大部分的獲勝者也都使用集成的多元加性回歸樹(shù)模型 (ensemble MART) 或其變體結(jié)構(gòu)。由于金融數(shù)據(jù)的稀疏性和高維性，我們需要將其視為離散建模或混合建模問(wèn)題，因此，諸如深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的模型并不適用于螞蟻金融這種公司的日常工作。

最近，周志華研究團(tuán)隊(duì)提出了一種深度森林算法，這是一種新的深層結(jié)構(gòu)，無(wú)需進(jìn)行微分求解，特別適合樹(shù)結(jié)構(gòu)。相比于其他非深度神經(jīng)網(wǎng)絡(luò)模型，深度森林算法能夠?qū)崿F(xiàn)最佳性能；而相較于當(dāng)前最佳的深度神經(jīng)網(wǎng)絡(luò)模型，它能實(shí)現(xiàn)極具競(jìng)爭(zhēng)力的結(jié)果。此外，深度森林模型的層數(shù)及其模型復(fù)雜性能夠自適應(yīng)于具體的數(shù)據(jù)，其超參數(shù)的數(shù)量還比深度神經(jīng)網(wǎng)絡(luò)模型要少得多，可視為是一些現(xiàn)成分類(lèi)器的優(yōu)秀替代品。

在現(xiàn)實(shí)世界中，許多任務(wù)都包含離散特征，當(dāng)使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行建模時(shí)，處理這些離散特征將會(huì)變得一個(gè)棘手的問(wèn)題，因?yàn)槲覀冃枰獙㈦x散信息進(jìn)行顯式或隱式地連續(xù)轉(zhuǎn)換，但這樣的轉(zhuǎn)換過(guò)程通常會(huì)導(dǎo)致額外的偏差或信息的丟失。而基于樹(shù)結(jié)構(gòu)的深度森林模型能夠很好地處理這種數(shù)據(jù)類(lèi)型問(wèn)題。這項(xiàng)工作中，我們?cè)诜植际綄W(xué)習(xí)系統(tǒng)“鯤鵬”上實(shí)施并部署了深度森林模型，這是分布式深度森林模型在參數(shù)服務(wù)器上的第一個(gè)工業(yè)實(shí)踐，能夠處理數(shù)百萬(wàn)的高維數(shù)據(jù)。

此外，在螞蟻金服的人工智能平臺(tái)上，我們還設(shè)計(jì)了一個(gè)基于 Web 的圖形用戶(hù)界面，允許數(shù)據(jù)科學(xué)家通過(guò)簡(jiǎn)單地拖動(dòng)和點(diǎn)擊就能自如地使用深度森林模型，而無(wú)需任何的編碼過(guò)程。這將方便數(shù)據(jù)科學(xué)家的工作，使得構(gòu)建和評(píng)估模型的過(guò)程變得非常有效且方便。

我們?cè)谶@項(xiàng)工作中的主要貢獻(xiàn)可以總結(jié)如下：

• 基于現(xiàn)有的分布式系統(tǒng)“鯤鵬”，我們實(shí)現(xiàn)并部署了第一個(gè)分布式深度森林模型，并在我們的人工智能平臺(tái) PAI 上為其搭建了一個(gè)易于使用的圖形界面。

• 我們對(duì)原始的深度森林模型進(jìn)行了許多改進(jìn)，包括 MART 作為基礎(chǔ)學(xué)習(xí)者的效率和有效性，諸如基于成本的類(lèi)別不平衡數(shù)據(jù)的處理方法，基于 MART 的高維數(shù)據(jù)特征選擇和不同級(jí)聯(lián)水平的評(píng)估指標(biāo)的自動(dòng)確定等任務(wù)。

• 我們?cè)谔赚F(xiàn)欺詐行為的自動(dòng)檢測(cè)任務(wù)上驗(yàn)證了深度森林模型的性能。結(jié)果表明，在不同的評(píng)估指標(biāo)下，深度森林模型的性能都明顯優(yōu)于現(xiàn)有的所有方法。更重要的是，深度森林模型強(qiáng)大的魯棒性也在實(shí)驗(yàn)中得到了驗(yàn)證。

▌系統(tǒng)介紹

鯤鵬系統(tǒng)

鯤鵬是一款基于參數(shù)服務(wù)器的分布式學(xué)習(xí)系統(tǒng)，該系統(tǒng)主要用于處理工業(yè)界出現(xiàn)的大規(guī)模任務(wù)。作為生產(chǎn)級(jí)別的分布式參數(shù)服務(wù)器，Kunpeng 系統(tǒng)具有如下幾大優(yōu)點(diǎn)：(1) 強(qiáng)大的故障轉(zhuǎn)移機(jī)制，保證大規(guī)模工作的高成功率; (2) 適用于稀疏數(shù)據(jù)和通用通信的高效接口; (3) 用戶(hù)友好型的 C ++ 和 Python 系統(tǒng)開(kāi)發(fā)工具(SDKs)。其結(jié)構(gòu)簡(jiǎn)圖如下圖1所示：

?

分布式 MART

多元加權(quán)回歸樹(shù)模型 (MART)，也稱(chēng)為梯度提升決策樹(shù)模型 (GBDT) 或梯度增強(qiáng)機(jī)模型 (GBM)，是一種在學(xué)術(shù)和工業(yè)領(lǐng)域廣泛使用的機(jī)器學(xué)習(xí)算法。得益于其高效而優(yōu)秀的模型可解釋性，在這項(xiàng)工作中我們?cè)诜植际较到y(tǒng)中部署 MART，并將其作為分布式深度森林模型的基本組成部分。此外，我們還結(jié)合了其他的樹(shù)結(jié)構(gòu)模型進(jìn)一步開(kāi)發(fā)深度森林模型的分布式版本。

深度森林模型結(jié)構(gòu)

深度森林模型是最近提出的一種以集成樹(shù)為構(gòu)建模塊的深度學(xué)習(xí)框架。 其原始版本由 ne-grained 模塊和級(jí)聯(lián)模塊 (cascading module) 構(gòu)成。在這項(xiàng)工作中，我們棄用了 ne-grained 模塊，并建立了多層的級(jí)聯(lián)模塊，每層由幾個(gè)基礎(chǔ)的隨機(jī)森林或完全隨機(jī)森林模塊構(gòu)成，其結(jié)構(gòu)如下圖2所示。 對(duì)于每個(gè)基礎(chǔ)模塊而言，輸入是由前一層產(chǎn)生的類(lèi)向量和原始的輸入數(shù)據(jù)組合而成的，然后再將每個(gè)基礎(chǔ)模塊的輸出組合得到最終的輸出。此外，對(duì)每一層進(jìn)行 K 倍驗(yàn)證，當(dāng)驗(yàn)證集的準(zhǔn)確率不在提高時(shí)，級(jí)聯(lián)過(guò)程也隨之自動(dòng)終止。

?

對(duì)于一般的工作部署策略，模型訓(xùn)練模塊需要在所有數(shù)據(jù)準(zhǔn)備工作完成后才能開(kāi)始工作，而模型測(cè)試模塊也必須在所有模型都訓(xùn)練成功后才能開(kāi)始預(yù)測(cè)，這樣顯著地降低了系統(tǒng)的工作效率。因此，在分布式系統(tǒng)上，我們采用有向無(wú)環(huán)圖 (DAG) 來(lái)提高系統(tǒng)工作的效率。有向無(wú)環(huán)圖，顧名思義就是一個(gè)沒(méi)有定向循環(huán)的有向圖，其結(jié)構(gòu)如下圖3所示。

?

我們將圖中的一個(gè)節(jié)點(diǎn)視為一個(gè)進(jìn)程，并且只連接彼此相關(guān)的進(jìn)程。兩個(gè)相關(guān)節(jié)點(diǎn)的先決條件是一個(gè)節(jié)點(diǎn)的輸出作為另一節(jié)點(diǎn)的輸入。只有當(dāng)一個(gè)節(jié)點(diǎn)的所有先決條件都滿(mǎn)足時(shí)，另一節(jié)點(diǎn)才會(huì)被執(zhí)行。每個(gè)節(jié)點(diǎn)都是分開(kāi)執(zhí)行的，這意味著一個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)并不會(huì)影響隨后的其他節(jié)點(diǎn)。如此，系統(tǒng)的等待時(shí)間將顯著地、縮短，因?yàn)槊總€(gè)節(jié)點(diǎn)只需要等待相應(yīng)節(jié)點(diǎn)的執(zhí)行完畢。更重要的是，這樣的系統(tǒng)設(shè)計(jì)為故障轉(zhuǎn)移提供了更好的解決方案。例如，當(dāng)一個(gè)節(jié)點(diǎn)因?yàn)槟承┰驅(qū)е卤罎?，那么只要因?yàn)樗那疤釛l件滿(mǎn)足了，我們就可以從這個(gè)節(jié)點(diǎn)開(kāi)始重新運(yùn)行，而不需要從頭開(kāi)始運(yùn)行整個(gè)算法。

圖形用戶(hù)界面（GUI）

如何有效地構(gòu)建并評(píng)估模型性能，對(duì)于生產(chǎn)力的提高是至關(guān)重要的。為了解決這個(gè)問(wèn)題，我們?cè)谖浵伣鸱娜斯ぶ悄芷脚_(tái) PAI 上開(kāi)發(fā)了一個(gè)圖形用戶(hù)接口 (GUI)。

下圖4展示了深度森林模型的 GUI 界面，其中箭頭表示數(shù)據(jù)流之間的序列相關(guān)性，圖中每個(gè)節(jié)點(diǎn)代表一個(gè)操作，包括加載數(shù)據(jù)，構(gòu)建模型，模型預(yù)測(cè)等。例如，一個(gè)深度森林模型的所有細(xì)節(jié)都被封裝成一個(gè)單一節(jié)點(diǎn)，我們只需要指定使用哪個(gè)基礎(chǔ)模塊，模塊中每層的數(shù)量及其他一些基礎(chǔ)配置。這里默認(rèn)的基礎(chǔ)模塊是前面提到的 MART。 因此，用戶(hù)只需要點(diǎn)擊幾下鼠標(biāo)就能在幾分鐘內(nèi)快速創(chuàng)建深度森林模型，并在模型訓(xùn)練結(jié)束后得到評(píng)估結(jié)果。

?

▌實(shí)驗(yàn)應(yīng)用

數(shù)據(jù)準(zhǔn)備

我們?cè)诂F(xiàn)金支付欺詐的自動(dòng)檢測(cè)任務(wù)上驗(yàn)證深度森林模型的性能。對(duì)于這個(gè)檢測(cè)任務(wù)，我們需要做的事檢測(cè)出欺詐行為的潛在風(fēng)險(xiǎn)，以避免不必要的經(jīng)濟(jì)損失。我們將這個(gè)任務(wù)視為二元分類(lèi)問(wèn)題，并收集四個(gè)方面的原始信息，包括描述身份信息的賣(mài)家特征和買(mǎi)家特征，描述交易信息的交易特征和歷史交易特征。如此，每當(dāng)一次交易發(fā)生時(shí)，我們就能收集到超過(guò) 5000 維的數(shù)據(jù)特征，其中包含了數(shù)值和分類(lèi)特征。

為了構(gòu)建模型的訓(xùn)練和測(cè)試數(shù)據(jù)集，我們對(duì)連續(xù)幾個(gè)月在 O2O 交易中使用螞蟻信用支付的用戶(hù)數(shù)據(jù)進(jìn)行采樣來(lái)得到訓(xùn)練數(shù)據(jù)，并將往后幾個(gè)月中相同場(chǎng)景下的數(shù)據(jù)作為測(cè)試數(shù)據(jù)。

數(shù)據(jù)集的詳細(xì)信息如下表1所示，這是一個(gè)大規(guī)模的且類(lèi)別不均衡任務(wù)。正如我們前面提到的，收集到的原始數(shù)據(jù)維度高達(dá) 5000 維，這其中可能包含一些不相關(guān)的特征屬性，如果直接使用的話(huà)，整個(gè)訓(xùn)練過(guò)程將非常耗時(shí)，同時(shí)也將降低模型部署的效率。因此，我們使用 MART 模型來(lái)計(jì)算并選擇我們所需的特征。

具體來(lái)說(shuō)，首先我們用所有維度的特征來(lái)訓(xùn)練 MART 模型，然后計(jì)算出特征的重要性分?jǐn)?shù)，以此選擇相對(duì)重要的特征。實(shí)驗(yàn)結(jié)果表明，使用前 300 個(gè)特征重要性分?jǐn)?shù)較高的特征，我們的模型能夠達(dá)到相當(dāng)有競(jìng)爭(zhēng)力的性能，且在驗(yàn)證過(guò)程中進(jìn)一步證明了特征的冗余性。因此，我們以特征重要性分?jǐn)?shù)來(lái)過(guò)濾原始特征，并保留前300個(gè)特征作為我們模型訓(xùn)練所需。

?

▌實(shí)驗(yàn)結(jié)果分析

我們?cè)诓煌脑u(píng)估標(biāo)準(zhǔn)下測(cè)試分布式深度森林模型的性能，并討論具體的分析結(jié)果。

通用評(píng)估標(biāo)準(zhǔn)

在通用的評(píng)估標(biāo)準(zhǔn)下，包括 AUC 分?jǐn)?shù)，F(xiàn)1 分?jǐn)?shù)和 KS 分?jǐn)?shù)，我們對(duì)比評(píng)估了 Logistic 回歸模型 ( LR)，深度神經(jīng)網(wǎng)絡(luò) (DNN)，多元加權(quán)回歸樹(shù)模型 (MART) 及我們的深度森林模型 (gcForest) 的性能，結(jié)果如下表2所示：

?

特定評(píng)估標(biāo)準(zhǔn) (Recall)

對(duì)于正樣本的回召率 ，我們對(duì)比評(píng)估了四種方法的性能，其結(jié)果如表3所示：

?

PR 曲線(xiàn)

為了更直觀(guān)地對(duì)比四種方法的檢測(cè)性能，我們繪制了 PR (Precision-Recall) 曲線(xiàn)，如圖5所示。我們能夠清楚地看到，深度森林模型的 PR 曲線(xiàn)包含了其他所有方法，這意味著深度森林模型的檢測(cè)性能要比其他方法的性能好得多，這進(jìn)一步驗(yàn)證了深林模型的有效性。

?

經(jīng)濟(jì)效益

在不同的評(píng)估標(biāo)準(zhǔn)下，我們已經(jīng)逐一分析了實(shí)驗(yàn)結(jié)果并驗(yàn)證了深度森林模型用于處理大規(guī)模任務(wù)的有效性。在套現(xiàn)欺詐行為的檢測(cè)任務(wù)上，與之前最好的 MART 模型相比 (由 600 個(gè)樹(shù)結(jié)構(gòu)構(gòu)成的 MART 模型)，深度森林模型 (以 MART 模型為基礎(chǔ)模塊，每個(gè) MART 模塊只需 200 個(gè)樹(shù)結(jié)構(gòu)) 能夠以更簡(jiǎn)單的結(jié)構(gòu)帶來(lái)更顯著的經(jīng)濟(jì)效益，大大降低了經(jīng)濟(jì)損失。

模型魯棒性分析

針對(duì)上述的評(píng)估標(biāo)準(zhǔn)，我們對(duì)不同的方法分別進(jìn)行了魯棒性分析，其結(jié)果如表4，表5 及圖6所示，分別對(duì)應(yīng)通用評(píng)價(jià)標(biāo)準(zhǔn)，特定評(píng)價(jià)標(biāo)準(zhǔn) (Recall) 及 PR 曲線(xiàn)的魯棒性分析結(jié)果。其中 gcForest-d 代表默認(rèn)設(shè)置下的深度森林模型，而 gcForest-t 代表微調(diào)后的深度森林模型。

?

?

?

我們可以看到，默認(rèn)設(shè)置下的 gcForest-d 模型的性能已經(jīng)遠(yuǎn)遠(yuǎn)優(yōu)于精調(diào)后的 MART 模型，而微調(diào)后的 gcForest-t 模型則能夠取得更好的性能。