微軟研究院的Lin Xiao在NeurIPS上獲得時(shí)間測試獎

在NeurIPS本周在加拿大溫哥華被檢查1400余件人工智能研究為他們的新方法或突破-但這些論文的一個不同于所有的休息。

微軟研究院的林嘯本周被任命為“時(shí)間測試獎”的獲得者，該獎項(xiàng)授予人工智能研究，該獎項(xiàng)在過去10年中為人工智能領(lǐng)域做出了重要而持久的貢獻(xiàn)。

召集了一個特別委員會來回顧10年前在NeurIPS上發(fā)表的論文，并將列表縮小到對機(jī)器學(xué)習(xí)產(chǎn)生持久影響的18篇論文，在一定程度上衡量了這些論文在過去十年中獲得了最多引用。迄今為止，肖的論文被其他研究人員引用了600多次。

NeurIPS的組織者周日宣布了Xiao的工作，這是他的獲獎?wù)?，他在一個會議廳中詳細(xì)介紹了此后的結(jié)果和取得的進(jìn)展，參加會議的13,000名與會者中有1,000名。

肖在今天的舞臺上說：“十年前，這次會議規(guī)模很小，但是我覺得它和一個相對年輕的研究員一樣令人興奮。” “當(dāng)時(shí)幾個非常激動人心的主題相互碰撞，為這項(xiàng)工作創(chuàng)造了動力。”

該論文的標(biāo)題為“ 正則隨機(jī)學(xué)習(xí)和在線優(yōu)化的雙重平均方法 ”，于2009年發(fā)表，提出了一種新的在線算法，稱為正則雙重平均或RDA。

RDA專注于隨機(jī)梯度下降，它借鑒了1951年Robbins和Monro關(guān)于該主題的著作和“ 凸問題的原始對偶次梯度方法 ”。

肖說：“我想感謝尤里·內(nèi)斯特羅夫(Yurii Nesterov)教授在本文中的影響和啟發(fā)，以及我研究中的幾乎所有內(nèi)容。” “這項(xiàng)工作是他論文的簡單延伸。”

去年的時(shí)間測試獎得主，由Facebook AI Research的Leon Bottou和Google AI的Olivier Bousquet共同完成，其研究重點(diǎn)是用于大型機(jī)器學(xué)習(xí)的隨機(jī)梯度下降。

為了優(yōu)化RDA模型的性能，Xiao的工作結(jié)合了規(guī)則正則化，鼓勵通過在線學(xué)習(xí)來學(xué)習(xí)算法。稀疏正則化用于將模型中的某些權(quán)重設(shè)置為零，這是使隨機(jī)梯度下降更容易理解的一種方式。

“我相信RDA的動機(jī)在今天仍然有效，因?yàn)橐环矫?，我們知道在線算法由于其處理的數(shù)據(jù)量而處于機(jī)器學(xué)習(xí)的主要階段的可能性。另一方面，我認(rèn)為稀疏性對于使我們適應(yīng)越來越大的模型至關(guān)重要。不管怎么說，稀疏往往是有效的部分。”

本周早些時(shí)候，NeurIPS會議組織者還為新的AI研究授予了最高榮譽(yù)，其中包括分布式學(xué)習(xí)方面的杰出論文，以及認(rèn)為統(tǒng)一收斂可能無法解釋深度學(xué)習(xí)的普遍性的論文獲得了杰出新方向獎。可以在此NeurIPS Medium帖子中看到更多獲得最高榮譽(yù)的研究成果。