據(jù)外媒報道，F(xiàn)acebook近日推出ReAgent強(qiáng)化學(xué)習(xí)（reinforcement learning）工具包，首次通過收集離線反饋（offline feedback）來實現(xiàn)策略評估（policy evaluation）。

目前ReAgent已與Microsoft Azure頂尖AI平臺實現(xiàn)合作。

一、“1+1+1”

Facebook AI Research近日推出了ReAgent，這是一種強(qiáng)化學(xué)習(xí)工具包，用于構(gòu)建可以接收反饋的決策AI（decision-making AI）。ReAgent可以給用戶行為評分，并將用戶的輸入行為（例如單擊推薦內(nèi)容）作為訓(xùn)練數(shù)據(jù)。

ReAgent是一個小型C ++庫，可從GitHub下載，并在任何應(yīng)用程序中嵌入。該工具包包含一組入門的決策AI模型，一個用于模型性能評估的離線模塊，以及一個使用TorchScript庫將AI部署到生產(chǎn)中的平臺。

Horizon是一個強(qiáng)化學(xué)習(xí)平臺，曾用于Facebook 2018年11月的開源生產(chǎn)中，現(xiàn)已成為ReAgent的一部分。

二、建立大規(guī)模實時決策AI模塊變得簡單

應(yīng)用研究負(fù)責(zé)人Srinivas Narayanan近日在Facebook的@Scale會議上說，ReAgent現(xiàn)在每天要將數(shù)十億個Facebook上的決定個性化（personalized），例如Facebook和Instagram上的用戶通知。

Facebook曾在博客中提到：“ReAgent是各類創(chuàng)建AI推理系統(tǒng)（AI-based reasoning systems）的開源平臺中最全面和模塊化的，并且是第一個通過收集離線反饋來實現(xiàn)策略評估，從而改進(jìn)模型的。”

“ReAgent讓建立大規(guī)模的實時決策模塊變得簡單，同時也讓創(chuàng)建和評估研究項目以及生產(chǎn)應(yīng)用中的策略變得平民化（democratized）。

三、與Microsoft Azure合作

為了繼續(xù)改進(jìn)ReAgent，F(xiàn)acebook發(fā)布了將其應(yīng)用在Microsoft Azure等云服務(wù)中的文檔。Microsoft Azure今年年初推出了自己的強(qiáng)化學(xué)習(xí)服務(wù)。

▲圖片來源：Microsoft，圖中為Microsoft Azure的全球服務(wù)地區(qū)

在今年夏天Transform會議上的一次對話中，OpenAI首席技術(shù)官Greg Brockman和首席科學(xué)家Ilya Sutskever認(rèn)為，未來AI發(fā)展的核心就是推理（ reasoning）和可解釋性（explainability）。

結(jié)語：開源是好事，也是大勢所趨

谷歌和微軟作為AI兩大巨頭，均有自己的開源AI開發(fā)平臺，如谷歌的Google Cloud Prediction API和微軟的Microsoft Azure Machine Learning。

如今Facebook也發(fā)布了自己的開源AI工具包。AI領(lǐng)域的研發(fā)門檻在不斷降低，一些中小創(chuàng)企得以加入這場競賽，也讓這個領(lǐng)域不斷注入新鮮的血液，充滿活力。

充分競爭，交流融合，才會有更多靈感的迸發(fā)。