瘋狂的不只是論文總數(shù)，還有學(xué)術(shù)壟斷

作為人工智能領(lǐng)域的頂會(huì)，已經(jīng)有 30 年歷史的 NIPS 今年以來一直風(fēng)波不斷。先是被爆出 NIPS 2017 出現(xiàn)了性騷擾行為，然后又被 diss 會(huì)議名稱太色情，需要改名。之后，又有人在網(wǎng)上爆出，一名剛剛畢業(yè)的本科生成為大會(huì)論文同行評(píng)審，立馬遭到新一輪的 diss。

不過，大家似乎都是口是心非。NIPS 并沒有因此而門前冷落，反而火爆異常。僅僅 11 分 38 秒，NIPS 正會(huì)門票就賣光了。不僅如此，今年的 NIPS 收到了 4856 篇論文投稿，比去年的 3240 篇增長(zhǎng)了近 50%。本次大會(huì)接收的論文總共 1011 篇，去年只有 679 篇，不過接收率倒是維持在 20% 左右。

瘋狂的不只是論文總數(shù)，還有學(xué)術(shù)壟斷。

IBM 工程師 Inkit Padhi 統(tǒng)計(jì)的數(shù)據(jù)顯示，本屆 NIPS 大會(huì) Google Research 以 107 篇論文位列第一，幾乎占據(jù)了接收論文總數(shù)的 10%，而去年這個(gè)數(shù)字還是 60。除此之外，MIT、斯坦福、CMU 等美國(guó)名校分別以 68、57、53 的位列前四。

通過下面的兩張圖可以發(fā)現(xiàn)，美國(guó)的幾大科技公司和幾大名校一如既往地占據(jù)了本屆 NIPS 的半壁江山，相比去年，并沒有任何改善的跡象。當(dāng)然，這也與這些美國(guó)機(jī)構(gòu)強(qiáng)大的經(jīng)濟(jì)和科研實(shí)力有關(guān)。

當(dāng)然，國(guó)內(nèi)的清華大學(xué)和騰訊也有不錯(cuò)的表現(xiàn)，其中清華大學(xué)共有 21 篇論文被接收，騰訊的 AI Lab 共有 17 篇論文被接收。但是跟美國(guó)同行比，還是有很大的差距。

要知道，在 7 月份的 IJCAI 大會(huì)上，中國(guó)學(xué)者獲多篇 Distinguished Paper 獎(jiǎng)，中國(guó)人論文46%，華人一作論文占總接收論文的 65.5%。而且南京大學(xué)教授周志華還當(dāng)選 IJCAI 2021年 程序主席，成為 IJCAI 史上第二位華人大會(huì)程序主席。

不過，這并不代表中國(guó)沒有進(jìn)步。在 NIPS 2017 上，清華大學(xué)還只有 12 篇論文被接收，而騰訊的 AI Lab 也只有 9 篇，今年雖然論文的絕對(duì)數(shù)量和美國(guó)同行還有差距，但增長(zhǎng)迅速，未來可期。

與此同時(shí)，作為國(guó)內(nèi)機(jī)器學(xué)習(xí)領(lǐng)域的領(lǐng)軍人物，南京大學(xué)的周志華教授本次也有 5 篇論文被接收。通過這些論文，讀者可以一窺目前 AI 領(lǐng)域比較前沿的研究方向。受文章篇幅所限，本文只對(duì)這 5 篇論文的摘要進(jìn)行了介紹，想要詳細(xì)了解的可以查看完整論文。

1、Unorganized Malicious Attacks Detection

論文作者：Ming Pang · Wei Gao · Min Tao · Zhi-Hua Zhou

論文摘要：在過去十年里，推薦系統(tǒng)領(lǐng)域備受關(guān)注。許多攻擊檢測(cè)算法被開發(fā)，以便獲得更好的推薦系統(tǒng)，其中大部分研究主要是著眼于 shilling attacks。shilling attacks 主要是一類通過相同策略生成大量用戶配置文件以提升或降低推薦項(xiàng)目位置的攻擊。在本文中，我們考慮了不同攻擊方式：無組織的惡意攻擊，即攻擊者在無組織的情況下單獨(dú)使用少量的用戶配置文件來攻擊不同的項(xiàng)目。這種攻擊類型在許多實(shí)際應(yīng)用中都非常常見，但對(duì)其的相關(guān)研究卻較少。我們首先將無組織惡意攻擊檢測(cè)構(gòu)建為矩陣補(bǔ)全問題，并提出無組織惡意攻擊的檢測(cè)方法 (UMA) ，即近似交替分裂增廣拉格朗日法。在大量的實(shí)驗(yàn)中，我們從理論和實(shí)證的角度分別驗(yàn)證了所提方法的有效性。

2、Preference Based Adaptation for Learning Objectives

論文作者：Yao-Xiang Ding · Zhi-Hua Zhou

論文摘要：在許多實(shí)際的學(xué)習(xí)任務(wù)中，我們很難直接優(yōu)化真實(shí)的工作指標(biāo)，也很難選擇正確的替代目標(biāo)。在這種情況下，我們可以基于對(duì)真實(shí)測(cè)量值和目標(biāo)之間進(jìn)行弱關(guān)系建模，再將目標(biāo)優(yōu)化過程融入到循環(huán)學(xué)習(xí)中。在本文，我們研究一種目標(biāo)自適應(yīng)的任務(wù)，其中學(xué)習(xí)者通過迭代的方式來適應(yīng)來自于 oracle 的偏好反饋的真實(shí)對(duì)象。實(shí)驗(yàn)證明，當(dāng)目標(biāo)可以進(jìn)行線性參數(shù)化時(shí)，該學(xué)習(xí)問題能夠通過利用 bandit model 得到解決。此外，我們還提出了一種基于 DL^2M 算法的新穎采樣方法，用于學(xué)習(xí)優(yōu)化的參數(shù)，其具有較強(qiáng)的理論證明和有效的實(shí)踐應(yīng)用。為了避免在每個(gè)目標(biāo)函數(shù)更新后都要從頭開始學(xué)習(xí)理論假設(shè)，我們進(jìn)一步提出了一種改進(jìn)的自適應(yīng)方法，來有效地將每個(gè)預(yù)學(xué)習(xí)的元素假設(shè)遷移到當(dāng)前目標(biāo)中。我們將以上的方法應(yīng)用于多層標(biāo)簽學(xué)習(xí)中，并證明了該方法在各種多標(biāo)簽的工作指標(biāo)下能夠展現(xiàn)出高效的性能。

3、Multi-Layered Gradient Boosting Decision Trees

論文作者：Ji Feng · Yang Yu · Zhi-Hua Zhou

論文摘要：多層表征方法被認(rèn)為是深度神經(jīng)網(wǎng)絡(luò)的關(guān)鍵要素，尤其是類似于計(jì)算機(jī)視覺的感知任務(wù)。雖然，諸如梯度增強(qiáng)決策樹 (GBDT) 之類的非可微模型是針對(duì)離散或列表數(shù)據(jù)進(jìn)行建模時(shí)所采用的主要方法，但是它們很難與這種表示學(xué)習(xí)能力相結(jié)合。本文，我們提出了一種多層的增強(qiáng)決策樹模型，該模型主要通過將多層回歸的 GBDT 模型疊加一起作為其構(gòu)建模塊來研究學(xué)習(xí)層次表示的能力。在沒有進(jìn)行反向傳播和可微分特性的情況下，該模型可以結(jié)合跨層目標(biāo)傳播的變體進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果表明我們所提出的模型在性能和表示學(xué)習(xí)能力方面具有高效的性能。

4、Adaptive Online Learning in Dynamic Environments

論文作者：Lijun Zhang · Shiyin Lu · Zhi-Hua Zhou

論文摘要：在本文中，我們研究了動(dòng)態(tài)環(huán)境下的在線凸優(yōu)化問題，旨在對(duì)任何比較器序列的 dynamic regret 進(jìn)行界限。先前的工作表明，在線梯度下降算法具有的 dynamic regret 值為，其中 T 是迭代次數(shù)，P 代表的是比較器序列的路徑長(zhǎng)度。然而，這個(gè)結(jié)果并不讓人滿意，因?yàn)檫@與我們論文中建立的 ?dynamic regret 的下界值存在很大差距。為了解決這一缺陷，我們提出了一種名為動(dòng)態(tài)環(huán)境自適應(yīng)學(xué)習(xí)算法 (Ader)， 旨在將下界與雙對(duì)數(shù)因子相匹配，以實(shí)現(xiàn) dynamic regret 值為。此外，我們還基于替代損失提出了一種改進(jìn)的 Ader 算法，以這種方式，每輪訓(xùn)練的梯度評(píng)估量會(huì)從 O(logT) 減少到1。最后，我們將 Ader 算法進(jìn)一步擴(kuò)展到一系列可用于表征比較器設(shè)置的動(dòng)態(tài)模型中。

5、?1-regression with Heavy-tailed Distributions

論文作者：Lijun Zhang · Zhi-Hua Zhou

論文摘要：在本文中，我們探索了 heavy-tailed 分布下的線性回歸問題。與先前使用平方損失來評(píng)估性能的研究不同，我們采用了絕對(duì)值損失來評(píng)估性能，這能夠在預(yù)測(cè)誤差較大時(shí)展現(xiàn)更強(qiáng)的魯棒性。為了解決輸入和輸出都可能帶來的 heavy-tailed 問題，我們將其轉(zhuǎn)化為一個(gè)截?cái)嘧钚』瘑栴}，并證明它具有的超額風(fēng)險(xiǎn)，其中 d 代表維度，n 代表樣本量。與傳統(tǒng)的在 l1?回歸上所做的工作相比，我們所提出的的方法能夠在輸入和輸出之間沒有指數(shù)矩的條件下，還能夠?qū)崿F(xiàn)高概率的風(fēng)險(xiǎn)約束。此外，當(dāng)輸入有界時(shí)，我們也能證明：我們的方法即使 heavy-tailed 輸出的情況下，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化也能匹敵 l2?回歸。