AI Lab在一個(gè)公司應(yīng)當(dāng)是什么樣的角色？字節(jié)跳動(dòng)副總裁、人工智能實(shí)驗(yàn)室主任馬維英表示：AI Lab不僅是公司內(nèi)部的AI研究所，也是AI技術(shù)提供商與服務(wù)商，應(yīng)當(dāng)注重與高校和政府的合作，并強(qiáng)調(diào)人才培養(yǎng)的重要性。

AI Lab應(yīng)當(dāng)是公司的“廠牌”。

字節(jié)跳動(dòng)實(shí)現(xiàn)建設(shè)全球創(chuàng)作與交流平臺(tái)的愿景，以及取得當(dāng)前全球化進(jìn)展，都離不開(kāi)人工智能技術(shù)提供的關(guān)鍵支撐。字節(jié)跳動(dòng)一向重視人工智能技術(shù)的發(fā)展，而其AI Lab，最開(kāi)始是因NLP領(lǐng)域科學(xué)家李磊的加入而出名，隨后馬維英、李航等大佬也陸續(xù)入伙。

與此同時(shí)，今日頭條母公司字節(jié)跳動(dòng)，推出抖音、火山小視頻等一些列風(fēng)靡全球的產(chǎn)品，估值上升、用戶增長(zhǎng)。

而這一切背后提供支撐的人工智能實(shí)驗(yàn)室卻鮮少露面，這一年來(lái)字節(jié)跳動(dòng)的AI Lab究竟都做了什么呢？作為亞研院前常務(wù)副院長(zhǎng)的馬維英，所帶隊(duì)的字節(jié)跳動(dòng)AI Lab又有何不同呢？

11月11日，字節(jié)跳動(dòng)舉辦了2018 AI OPENDAY沙龍?；顒?dòng)展示了字節(jié)跳動(dòng)AI Lab在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音和視頻處理、機(jī)器學(xué)習(xí)等領(lǐng)域中取得的一些列成果。

而后字節(jié)跳動(dòng)副總裁、人工智能實(shí)驗(yàn)室主任馬維英，針對(duì)此次沙龍活動(dòng)做了主題演講，慢慢揭開(kāi)了字節(jié)跳動(dòng)AI Lab神秘的面紗。

馬維英談AI Lab吸引優(yōu)秀人才的秘籍：五大AI戰(zhàn)略資源是關(guān)鍵

相似于人才培養(yǎng)：給予自由，讓興趣成為自驅(qū)的動(dòng)力

馬維英表示，之前在微軟亞洲研究院時(shí)特別欣賞其培養(yǎng)人才的一個(gè)方式，就是當(dāng)新人剛?cè)肼殨r(shí)，不會(huì)立刻讓他們選擇具體研究方向，而是會(huì)給予他們足夠多的自由和空間，激勵(lì)他們尋求自己最為感興趣的一個(gè)領(lǐng)域。

在這個(gè)方面，字節(jié)跳動(dòng)也是如此的。馬維英很感謝微軟給他的成長(zhǎng)空間，因此到了字節(jié)跳動(dòng)之后，他也在新的團(tuán)隊(duì)延續(xù)了這樣的氛圍。字節(jié)跳動(dòng)AI lab特別喜歡自己有想法、能夠自驅(qū)、愿意不斷去學(xué)習(xí)且更加無(wú)所畏懼的研究人員；而不是害怕失敗，著重于眼前利益的人。

區(qū)別于數(shù)據(jù)與場(chǎng)景：微軟研究院專注于技術(shù)轉(zhuǎn)移，字節(jié)跳動(dòng)AI Lab鼓勵(lì)研究員直接參與到產(chǎn)品研發(fā)，利用豐富的應(yīng)用場(chǎng)景、大量的數(shù)據(jù)和用戶反饋推進(jìn)科研和技術(shù)創(chuàng)新

除了基礎(chǔ)研究這方面，微軟做的更多的是技術(shù)轉(zhuǎn)移。與微軟不同的是，字節(jié)跳動(dòng)擁有豐富的應(yīng)用場(chǎng)景。大量的數(shù)據(jù)和反饋對(duì)AI Lab的工作是有幫助的。就像在象牙塔里搞研究，有時(shí)反而解決不了問(wèn)題。只有解決真實(shí)的應(yīng)用場(chǎng)景問(wèn)題，才是所謂的Real Impact。

正如最近一位UC Berkeley的教授所述，要做“Use Inspired”的研究。而在字節(jié)跳動(dòng)，非常幸運(yùn)一點(diǎn)就是，人類所有的數(shù)據(jù)都在信息和內(nèi)容里。

再具體一點(diǎn)可總結(jié)為一句話：字節(jié)跳動(dòng)擁有做AI最重要的五個(gè)戰(zhàn)略資源。

大數(shù)據(jù)：最好這家公司能夠擁有全世界最大的數(shù)據(jù)資源，擁有數(shù)據(jù)才是“王道”；

應(yīng)用場(chǎng)景：在字節(jié)跳動(dòng)，研究人員每天都能夠從公司的應(yīng)場(chǎng)景中找到問(wèn)題，并想要去解決；

算力：而字節(jié)跳動(dòng)的Internet Data Center在國(guó)內(nèi)也是比較出眾的；

AI需閉環(huán)：其實(shí)很多用戶交互相當(dāng)于遞給了你一份大數(shù)據(jù)的，提供了更為細(xì)粒度的標(biāo)注數(shù)據(jù)，而字節(jié)跳動(dòng)每日全球活躍用戶所提供的數(shù)據(jù)之海量，堪稱一筆財(cái)富；

人才：最頂尖聰明的人才是非常關(guān)鍵的一點(diǎn)。不僅公司內(nèi)部要有這樣的人才，最好與之相關(guān)的學(xué)術(shù)界、產(chǎn)業(yè)界、社區(qū)都是頂級(jí)的人才。

在基礎(chǔ)研究方面，字節(jié)跳動(dòng)的AI Lab研究領(lǐng)域包括計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、機(jī)器學(xué)習(xí)、語(yǔ)音&音頻處理、數(shù)據(jù)&知識(shí)挖掘、計(jì)算機(jī)圖像學(xué)、系統(tǒng)&網(wǎng)絡(luò)、信息安全以及工程&產(chǎn)品。

馬維英表示，字節(jié)跳動(dòng)會(huì)在每個(gè)領(lǐng)域中，都會(huì)招聘最優(yōu)秀的人才，而在招聘后不會(huì)立即確定他們的方向，而是會(huì)讓他們摸索自己感興趣的方向，而后再做出選擇。

除了基礎(chǔ)研究，字節(jié)跳動(dòng)AI Lab也非常重視工程落地的能力，因此也倍加關(guān)注對(duì)這方面的人才招聘。將工程團(tuán)隊(duì)與科研研究人員混搭在一起，做更好的創(chuàng)新，并輸出核心技術(shù)，孵化產(chǎn)品，做到真正的AI應(yīng)用落地。

正因如此，字節(jié)跳動(dòng)吸引了一大批優(yōu)秀的“新鮮血液”。例如，來(lái)自字節(jié)跳動(dòng)AI Lab的一位90后研究人員，不僅論文被Transition of ACL收錄，還被邀請(qǐng)去了墨爾本做現(xiàn)場(chǎng)演講。

該論文中所提出的模型在中英，德英和英法三個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上可以顯著地提高基線系統(tǒng)的性能，相比于老一輩的「覆蓋率模型」擁有更好的翻譯質(zhì)量和對(duì)齊質(zhì)量。

該研究也已成功的應(yīng)用到了字節(jié)跳動(dòng)旗下多款國(guó)際產(chǎn)品中（如TopBuzz、Tik Tok等等），為全球上億的用戶們提供著內(nèi)容翻譯服務(wù)。

馬維英談?wù)衅笜?biāo)準(zhǔn)——三個(gè)關(guān)鍵字：

馬維英老師還透露了他在招聘人才時(shí)的標(biāo)準(zhǔn)，總結(jié)為三個(gè)關(guān)鍵字：

數(shù)學(xué)功底：能夠知曉問(wèn)題的本質(zhì)，對(duì)模型能夠有透徹的了解，而不是把它當(dāng)一個(gè)黑箱或者工具，簡(jiǎn)單的調(diào)調(diào)參數(shù)；

編程能力：有很好的想法，但是無(wú)法實(shí)現(xiàn)也是不行的；

態(tài)度：人際溝通、表達(dá)，對(duì)工作的態(tài)度也是非常重要的。

另外，馬維英老師也非常注重眼神的交流，“大概溝通十分鐘，我就能看出一個(gè)人特質(zhì)。”馬維英老師笑言，這可能是他在招聘中獨(dú)有的一種天賦。

字節(jié)跳動(dòng)AI Lab定位：公司內(nèi)部的研究所和技術(shù)服務(wù)商

國(guó)內(nèi)外各大巨頭與初創(chuàng)企業(yè)紛紛成立人工智能實(shí)驗(yàn)室，而各家企業(yè)人工智能實(shí)驗(yàn)室所關(guān)注與努力的側(cè)重有所不同。

字節(jié)跳動(dòng)人工智能實(shí)驗(yàn)室成立于2016年，依托字節(jié)跳動(dòng)的海量數(shù)據(jù)，專注于人工智能領(lǐng)域的前沿技術(shù)研究，并將研究成果應(yīng)用于字節(jié)跳動(dòng)的產(chǎn)品中，利用人工智能幫助內(nèi)容的創(chuàng)作、分發(fā)、互動(dòng)、管理。將人工智能最早大規(guī)模應(yīng)用于信息分發(fā)便是字節(jié)跳動(dòng)早期發(fā)展的核心。

AI時(shí)代下的4種管道連接人和信息，促進(jìn)交流和創(chuàng)作

這4種主要的方式分別是推薦、搜索、助理與社區(qū)/社交。推薦和助理都屬于比較被動(dòng)的方式，會(huì)根據(jù)用戶的所好進(jìn)行內(nèi)容的分發(fā)；搜索在今天也仍然重要，它是一種主動(dòng)獲取行為；新一代的語(yǔ)音助理能夠讓用戶更加自然地與計(jì)算機(jī)進(jìn)行交互，從而達(dá)到幫助用戶的目的；最后，類似轉(zhuǎn)發(fā)“朋友圈”這種社交式的信息傳播也是非常重要的。

新一代AI驅(qū)動(dòng)信息平臺(tái)，使得交流與創(chuàng)作方式更加智能

人工智能基礎(chǔ)設(shè)施、平臺(tái)與服務(wù)，基于大數(shù)據(jù)、人工智能學(xué)習(xí)數(shù)據(jù)流的語(yǔ)義表示，對(duì)信息進(jìn)行分析、處理、挖掘、理解和組織，使得內(nèi)容能夠在分發(fā)、搜索、互動(dòng)、過(guò)濾和運(yùn)營(yíng)方面變得更加智能，做到人工智能輔助消費(fèi)與生產(chǎn)。

所以，人工智能實(shí)驗(yàn)室所肩負(fù)的使命是艱巨而又重要的。

AI Lab賦能產(chǎn)品、服務(wù)人類

短視頻已然成為一個(gè)內(nèi)容形態(tài)的爆發(fā)點(diǎn)。特別是計(jì)算機(jī)視覺(jué)、智能語(yǔ)音賦予了每位用戶更強(qiáng)的創(chuàng)作能力。

抖音是字節(jié)跳動(dòng)風(fēng)靡全球的產(chǎn)品。這個(gè)產(chǎn)品背后有非常多的 AI 技術(shù)。比如，抖音是一個(gè)開(kāi)放共享的平臺(tái)，內(nèi)容審核方面的挑戰(zhàn)是非常大的。字節(jié)跳動(dòng)一直用人工智能輔助審核，過(guò)濾理解這些視頻內(nèi)容，進(jìn)行版權(quán)識(shí)別。

目前平臺(tái)上，每天有龐大數(shù)量的短視頻內(nèi)容被創(chuàng)作出來(lái)。而機(jī)器學(xué)習(xí)模型上線之后，也在持續(xù)不斷迭代完善。

在視頻內(nèi)容領(lǐng)域也希望能夠做出更好的搜索。視頻的搜索需要對(duì)視頻的內(nèi)容有更好的理解，包括動(dòng)作的理解、物體的檢測(cè)跟蹤，還有視頻里的環(huán)境識(shí)別。也希望針對(duì)每一個(gè)視頻，AI都能理解它的情感和情緒。

連接人跟信息是一個(gè)人類社會(huì)的基礎(chǔ)設(shè)施。在這個(gè)設(shè)施的運(yùn)作過(guò)程中，能夠利用大數(shù)據(jù)、豐富應(yīng)用的場(chǎng)景、大量的活躍用戶，去不斷完善和迭代，進(jìn)一步賦能。而技術(shù)的進(jìn)步最終是服務(wù)于人類的。

截至2018年10月24日，頭條尋人共彈窗52824尋人啟事，找到7401

字節(jié)跳動(dòng)將人工智能結(jié)合產(chǎn)品功能積極服務(wù)于公益，兩年半時(shí)間成功尋回7254名走失者的“頭條尋人”，這是一個(gè)典型的運(yùn)用人工智能促進(jìn)信息效率，進(jìn)而服務(wù)公益的產(chǎn)品機(jī)制：結(jié)合智能推薦和地理推送技術(shù)，以走失者走失地為圓心，根據(jù)走失者行走速度等信息進(jìn)行數(shù)據(jù)分析和計(jì)算，預(yù)估出可能的走失范圍，在此范圍內(nèi)推送尋人信息，實(shí)現(xiàn)每條尋人信息的精準(zhǔn)地理范圍覆蓋和人群觸達(dá)，從而大大提高尋人成功率。

9月底上線、目前已成功尋回30名走失者的“抖音尋人”和“頭條尋人”工作原理一致，只是推送的尋人信息變成了短視頻形式，運(yùn)用自動(dòng)生成視頻技術(shù)，一條文字版的尋人信息，不到10秒鐘，即可自動(dòng)生成為一條抖音尋人視頻。

馬維英對(duì)字節(jié)跳動(dòng)AI Lab的定義為：公司內(nèi)部的AI技術(shù)提供商和服務(wù)商，于未來(lái)將成為公司對(duì)外輸出AI能力的重要部門(mén)。

AI實(shí)力全方位展示：?jiǎn)柖VPR、NIPS、NAACL等頂會(huì)，榮獲吳文俊人工智能科學(xué)技術(shù)獎(jiǎng)

一個(gè)人工智能實(shí)驗(yàn)室的成功，少不了頂尖“智腦”的相聚與思想的碰撞。而字節(jié)跳動(dòng)AI Lab可謂是群賢畢至，包括大家熟知的馬維英、李航、李磊等。

除了擁有大量?jī)?yōu)秀的科學(xué)領(lǐng)軍人物之外，2018年字節(jié)跳動(dòng)AI Lab團(tuán)隊(duì)建設(shè)和成長(zhǎng)方面也是收獲頗豐。AI Lab團(tuán)隊(duì)總?cè)藬?shù)由去年的65人增長(zhǎng)至150人，計(jì)算機(jī)視覺(jué)、自然語(yǔ)言、機(jī)器學(xué)習(xí)、系統(tǒng)&網(wǎng)絡(luò)的團(tuán)隊(duì)人數(shù)比去年增加一倍之多，而語(yǔ)音&音頻、安全以及美國(guó)AI Lab的團(tuán)隊(duì)人數(shù)更是飛速增長(zhǎng)。

不僅在團(tuán)隊(duì)建設(shè)，字節(jié)跳動(dòng)AI Lab在學(xué)術(shù)和項(xiàng)目成果方面也可謂是碩果累累。

11月11日，在字節(jié)跳動(dòng)舉辦的2018 AI OPENDAY沙龍活動(dòng)中，展出了AI Lab許多優(yōu)秀的項(xiàng)目與研究。

Deep Understanding of Live Soccer Matches

已被CVPR 2018接收

項(xiàng)目介紹：基于計(jì)算機(jī)視覺(jué)技術(shù)，系統(tǒng)可以對(duì)足球比賽視頻進(jìn)行深度理解和信息挖掘，豐富球迷的觀賽體驗(yàn)。該系統(tǒng)在2018世界杯期間介入今日頭條客戶端直播間，實(shí)時(shí)提供精彩時(shí)刻剪輯動(dòng)畫(huà)、雙方進(jìn)攻防守統(tǒng)計(jì)、足球運(yùn)動(dòng)熱力圖等多種信息；并于賽后為自動(dòng)寫(xiě)作機(jī)器人Xiaoming Bot提供圖像素材，豐富文章內(nèi)容。

目標(biāo)檢測(cè)

軌跡跟蹤

生成鳥(niǎo)瞰視角

捕捉精彩瞬間

相關(guān)技術(shù)：

檢測(cè)&語(yǔ)義分割：基于SSD的目標(biāo)檢測(cè)，逐幀輸出球員和足球的位置；基于DeepSORT的多目標(biāo)跟蹤，使用Kalman Filter對(duì)球員和足球的運(yùn)動(dòng)進(jìn)行建模使用度量學(xué)習(xí)對(duì)球員外觀建模。

相機(jī)估計(jì)&語(yǔ)義分割：檢測(cè)球場(chǎng)上的關(guān)鍵點(diǎn)，計(jì)算單應(yīng)性變換參數(shù)，以此來(lái)估計(jì)相機(jī)的拍攝角度。

號(hào)碼識(shí)別&球員聚類：使用半監(jiān)督的空間變換網(wǎng)絡(luò)（STN）在檢測(cè)框內(nèi)提取號(hào)碼區(qū)域進(jìn)行識(shí)別。

精彩時(shí)刻檢測(cè)：對(duì)固定劃窗內(nèi)的片段進(jìn)行分類，包含射門(mén)、任意球、角球、受傷等多種類別。

統(tǒng)計(jì)分析：基于上述多種結(jié)構(gòu)化信息，輸出多種統(tǒng)計(jì)指標(biāo)，包括雙方控球率、足球運(yùn)動(dòng)熱力圖及控球區(qū)域分布等。

相比于人類作者，小明的效率和產(chǎn)量高，2秒就能成稿，每場(chǎng)比賽賽后發(fā)稿，2年內(nèi)生成12萬(wàn)粉絲和10億閱讀。過(guò)去頭條平臺(tái)上許多體育播報(bào)是由小明寫(xiě)的，他每天讀很多內(nèi)容，綜合網(wǎng)上文字描述理解和圖片例子和視頻理解能夠自動(dòng)生成一個(gè)內(nèi)容，分發(fā)給對(duì)某一類信息感興趣的讀者。

xiaomingbot寫(xiě)作機(jī)器人也因此獲得了吳文俊人工智能科學(xué)技術(shù)獎(jiǎng)。

BRITS：BidirectionalRecurrent Imputation for Time Series

NIPS 2018

項(xiàng)目介紹：

時(shí)間序列在許多分類、回歸任務(wù)中被廣泛用作信號(hào)。時(shí)間序列中存在許多缺失值，這是普遍存在的。給定多個(gè)相關(guān)時(shí)間序列數(shù)據(jù)時(shí)，該如何填補(bǔ)缺失值并預(yù)測(cè)其類標(biāo)簽呢？現(xiàn)有的歸一化方法往往對(duì)潛在的數(shù)據(jù)生成過(guò)程有很強(qiáng)的假設(shè)，比如狀態(tài)空間中的線性動(dòng)力學(xué)。

本文提出了一種新的基于遞歸神經(jīng)網(wǎng)絡(luò)的時(shí)間序列數(shù)據(jù)缺失值估計(jì)方法，BRITS算法。該方法直接學(xué)習(xí)雙向遞歸動(dòng)力系統(tǒng)的缺失值，沒(méi)有任何具體的假設(shè)。將賦值作為RNN圖的變量，在反向傳播過(guò)程中可以有效地進(jìn)行更新。

算法優(yōu)勢(shì)：

(a)可以處理時(shí)間序列中多個(gè)相關(guān)缺失值；

(b)推廣到具有非線性動(dòng)力學(xué)的時(shí)間序列；

(c)提供數(shù)據(jù)驅(qū)動(dòng)的估算程序，適用于缺少數(shù)據(jù)的一般設(shè)置。

實(shí)驗(yàn)結(jié)果：

在三個(gè)真實(shí)世界數(shù)據(jù)集上評(píng)估BRITS模型，包括空氣質(zhì)量數(shù)據(jù)集，醫(yī)療保健數(shù)據(jù)和人類活動(dòng)的本地化數(shù)據(jù)。實(shí)驗(yàn)表明，該模型在插補(bǔ)和分類/回歸精度方面都優(yōu)于最先進(jìn)的方法。

Reinforced Co-Training

NAACL 2018

項(xiàng)目介紹：

Co-Training是一種流行的半監(jiān)督學(xué)習(xí)框架，除了少量標(biāo)記數(shù)據(jù)外，使用大量的未標(biāo)記數(shù)據(jù)。Co-Training方法利用未標(biāo)記數(shù)據(jù)上的預(yù)測(cè)標(biāo)簽，并基于預(yù)測(cè)置信度選擇樣本來(lái)進(jìn)行增強(qiáng)訓(xùn)練。

然而，在現(xiàn)有的協(xié)同訓(xùn)練方法中，樣本的選擇是基于一種預(yù)先確定的策略，這種策略忽略了未標(biāo)記子集和標(biāo)記子集之間的抽樣偏差，并且無(wú)法挖掘數(shù)據(jù)空間。

本文提出了一種新的方法——強(qiáng)化Co-Training，來(lái)選擇高質(zhì)量的未標(biāo)記樣本，以便更好地進(jìn)行Co-Training。更具體地說(shuō)，該方法使用Q-learning學(xué)習(xí)一個(gè)帶有小標(biāo)記數(shù)據(jù)集的數(shù)據(jù)選擇策略，然后利用這個(gè)策略自動(dòng)訓(xùn)練聯(lián)合訓(xùn)練分類器。

實(shí)驗(yàn)結(jié)果：

實(shí)驗(yàn)結(jié)果表明，本文提出的方法能夠獲得更準(zhǔn)確的文本分類結(jié)果。

獨(dú)木難成林，AI Lab需產(chǎn)學(xué)研結(jié)合

AI Lab與高校合作

珠穆朗瑪計(jì)劃：征集來(lái)自計(jì)算機(jī)科學(xué)領(lǐng)域的相關(guān)研究提案，為學(xué)者的技術(shù)研究提供數(shù)據(jù)、資金等多維度支持。

校企協(xié)同，教學(xué)人員雙向流動(dòng)：一線工程師赴校宣講授課，舉辦AI競(jìng)賽開(kāi)放海量數(shù)據(jù)，頭條青年訪問(wèn)學(xué)者。

AI Lab與學(xué)術(shù)機(jī)構(gòu)合作

2018 Byte Cup：

2018 Byte Cup國(guó)際機(jī)器學(xué)習(xí)競(jìng)賽是一項(xiàng)面向全球的機(jī)器學(xué)習(xí)競(jìng)賽，旨在促進(jìn)機(jī)器學(xué)習(xí)的學(xué)術(shù)研究和具體應(yīng)用。Byte Cup 2018的主題是自動(dòng)生成文本標(biāo)題。

AI Lab與產(chǎn)業(yè)合作

字節(jié)跳動(dòng)人工智能實(shí)驗(yàn)室不僅與高校與學(xué)術(shù)機(jī)構(gòu)有合作，還與產(chǎn)業(yè)界有著密切的合作。

2018年人工智能與實(shí)體經(jīng)濟(jì)深度融合創(chuàng)新項(xiàng)目公示，字節(jié)跳動(dòng)申報(bào)的“基于分布式機(jī)器學(xué)習(xí)平臺(tái)的通用人工智能應(yīng)用解決方案項(xiàng)目”入選；

“面向移動(dòng)端的低功耗超時(shí)AR-VR開(kāi)放平臺(tái)項(xiàng)目”入選2018雙創(chuàng)周“顛覆性創(chuàng)新榜”TOP10；

北京市市長(zhǎng)陳寧領(lǐng)銜，北京市科委牽頭，集首都高校、科技專家及領(lǐng)軍科技企業(yè)智囊之力，為提高北京市新一代人工智能科技創(chuàng)新能力而集中建設(shè)的“北京智源研究院”，字節(jié)跳動(dòng)為智能研究院發(fā)起成立單位之一，字節(jié)跳動(dòng)技術(shù)戰(zhàn)略研究院院長(zhǎng)張宏江出任研究院理事長(zhǎng)。