作為人工智能領域的頂會，已經(jīng)有 30 年歷史的 NIPS 今年以來一直風波不斷。先是被爆出 NIPS 2017 出現(xiàn)了性騷擾行為，然后又被 diss 會議名稱太色情，需要改名。之后，又有人在網(wǎng)上爆出，一名剛剛畢業(yè)的本科生成為大會論文同行評審，立馬遭到新一輪的 diss。

不過，大家似乎都是口是心非。NIPS 并沒有因此而門前冷落，反而火爆異常。僅僅 11 分 38 秒，NIPS 正會門票就賣光了。不僅如此，今年的 NIPS 收到了 4856 篇論文投稿，比去年的 3240 篇增長了近 50%。本次大會接收的論文總共 1011 篇，去年只有 679 篇，不過接收率倒是維持在 20% 左右。

瘋狂的不只是論文總數(shù)，還有學術壟斷。

IBM 工程師 Inkit Padhi 統(tǒng)計的數(shù)據(jù)顯示，本屆 NIPS 大會 Google Research 以 107 篇論文位列第一，幾乎占據(jù)了接收論文總數(shù)的 10%，而去年這個數(shù)字還是 60。除此之外，MIT、斯坦福、CMU 等美國名校分別以 68、57、53 的位列前四。

通過下面的兩張圖可以發(fā)現(xiàn)，美國的幾大科技公司和幾大名校一如既往地占據(jù)了本屆 NIPS 的半壁江山，相比去年，并沒有任何改善的跡象。當然，這也與這些美國機構強大的經(jīng)濟和科研實力有關。

當然，國內的清華大學和騰訊也有不錯的表現(xiàn)，其中清華大學共有 21 篇論文被接收，騰訊的 AI Lab 共有 17 篇論文被接收。但是跟美國同行比，還是有很大的差距。

要知道，在 7 月份的 IJCAI 大會上，中國學者獲多篇 Distinguished Paper 獎，中國人論文46%，華人一作論文占總接收論文的 65.5%。而且南京大學教授周志華還當選 IJCAI 2021年 程序主席，成為 IJCAI 史上第二位華人大會程序主席。

不過，這并不代表中國沒有進步。在 NIPS 2017 上，清華大學還只有 12 篇論文被接收，而騰訊的 AI Lab 也只有 9 篇，今年雖然論文的絕對數(shù)量和美國同行還有差距，但增長迅速，未來可期。

與此同時，作為國內機器學習領域的領軍人物，南京大學的周志華教授本次也有 5 篇論文被接收。通過這些論文，讀者可以一窺目前 AI 領域比較前沿的研究方向。受文章篇幅所限，本文只對這 5 篇論文的摘要進行了介紹，想要詳細了解的可以查看完整論文。

1、Unorganized Malicious Attacks Detection

論文作者：Ming Pang · Wei Gao · Min Tao · Zhi-Hua Zhou

論文摘要：在過去十年里，推薦系統(tǒng)領域備受關注。許多攻擊檢測算法被開發(fā)，以便獲得更好的推薦系統(tǒng)，其中大部分研究主要是著眼于 shilling attacks。shilling attacks 主要是一類通過相同策略生成大量用戶配置文件以提升或降低推薦項目位置的攻擊。在本文中，我們考慮了不同攻擊方式：無組織的惡意攻擊，即攻擊者在無組織的情況下單獨使用少量的用戶配置文件來攻擊不同的項目。這種攻擊類型在許多實際應用中都非常常見，但對其的相關研究卻較少。我們首先將無組織惡意攻擊檢測構建為矩陣補全問題，并提出無組織惡意攻擊的檢測方法 (UMA) ，即近似交替分裂增廣拉格朗日法。在大量的實驗中，我們從理論和實證的角度分別驗證了所提方法的有效性。

2、Preference Based Adaptation for Learning Objectives

論文作者：Yao-Xiang Ding · Zhi-Hua Zhou

論文摘要：在許多實際的學習任務中，我們很難直接優(yōu)化真實的工作指標，也很難選擇正確的替代目標。在這種情況下，我們可以基于對真實測量值和目標之間進行弱關系建模，再將目標優(yōu)化過程融入到循環(huán)學習中。在本文，我們研究一種目標自適應的任務，其中學習者通過迭代的方式來適應來自于 oracle 的偏好反饋的真實對象。實驗證明，當目標可以進行線性參數(shù)化時，該學習問題能夠通過利用 bandit model 得到解決。此外，我們還提出了一種基于 DL^2M 算法的新穎采樣方法，用于學習優(yōu)化的參數(shù)，其具有較強的理論證明和有效的實踐應用。為了避免在每個目標函數(shù)更新后都要從頭開始學習理論假設，我們進一步提出了一種改進的自適應方法，來有效地將每個預學習的元素假設遷移到當前目標中。我們將以上的方法應用于多層標簽學習中，并證明了該方法在各種多標簽的工作指標下能夠展現(xiàn)出高效的性能。

3、Multi-Layered Gradient Boosting Decision Trees

論文作者：Ji Feng · Yang Yu · Zhi-Hua Zhou

論文摘要：多層表征方法被認為是深度神經(jīng)網(wǎng)絡的關鍵要素，尤其是類似于計算機視覺的感知任務。雖然，諸如梯度增強決策樹 (GBDT) 之類的非可微模型是針對離散或列表數(shù)據(jù)進行建模時所采用的主要方法，但是它們很難與這種表示學習能力相結合。本文，我們提出了一種多層的增強決策樹模型，該模型主要通過將多層回歸的 GBDT 模型疊加一起作為其構建模塊來研究學習層次表示的能力。在沒有進行反向傳播和可微分特性的情況下，該模型可以結合跨層目標傳播的變體進行訓練。實驗結果表明我們所提出的模型在性能和表示學習能力方面具有高效的性能。

4、Adaptive Online Learning in Dynamic Environments

論文作者：Lijun Zhang · Shiyin Lu · Zhi-Hua Zhou

論文摘要：在本文中，我們研究了動態(tài)環(huán)境下的在線凸優(yōu)化問題，旨在對任何比較器序列的 dynamic regret 進行界限。先前的工作表明，在線梯度下降算法具有的 dynamic regret 值為，其中 T 是迭代次數(shù)，P 代表的是比較器序列的路徑長度。然而，這個結果并不讓人滿意，因為這與我們論文中建立的 ?dynamic regret 的下界值存在很大差距。為了解決這一缺陷，我們提出了一種名為動態(tài)環(huán)境自適應學習算法 (Ader)， 旨在將下界與雙對數(shù)因子相匹配，以實現(xiàn) dynamic regret 值為。此外，我們還基于替代損失提出了一種改進的 Ader 算法，以這種方式，每輪訓練的梯度評估量會從 O(logT) 減少到1。最后，我們將 Ader 算法進一步擴展到一系列可用于表征比較器設置的動態(tài)模型中。

5、?1-regression with Heavy-tailed Distributions

論文作者：Lijun Zhang · Zhi-Hua Zhou

論文摘要：在本文中，我們探索了 heavy-tailed 分布下的線性回歸問題。與先前使用平方損失來評估性能的研究不同，我們采用了絕對值損失來評估性能，這能夠在預測誤差較大時展現(xiàn)更強的魯棒性。為了解決輸入和輸出都可能帶來的 heavy-tailed 問題，我們將其轉化為一個截斷最小化問題，并證明它具有的超額風險，其中 d 代表維度，n 代表樣本量。與傳統(tǒng)的在 l1?回歸上所做的工作相比，我們所提出的的方法能夠在輸入和輸出之間沒有指數(shù)矩的條件下，還能夠實現(xiàn)高概率的風險約束。此外，當輸入有界時，我們也能證明：我們的方法即使 heavy-tailed 輸出的情況下，經(jīng)驗風險最小化也能匹敵 l2?回歸。