蕭簫 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
ICLR 2021杰出論文獎出爐！
今年共有2997篇投稿，接收860篇，最后共有8篇獲得杰出論文獎。
這8篇論文中，谷歌成最大贏家，共有4篇論文獲獎（包括DeepMind、谷歌大腦在內(nèi)）。
除此之外，AWS、Facebook等機構(gòu)，以及CMU、南洋理工等高校也紛紛上榜。
一起來看看都是哪些論文。
共有8篇論文上榜
1、Beyond Fully-Connected Layers with Quaternions: Parameterization of Hypercomplex Multiplications with 1/n Parameters
來自AWS、Google、南洋理工大學。
這篇論文提出了一種基于四元數(shù)的全連接層（Fully-Connected Layers with Quaternions），用四元數(shù)的哈密頓乘積（Hamilton products），替代了全連接層中的實值矩陣乘法，節(jié)省了1/4的可學習參數(shù)。
論文對超復數(shù)乘積進行了參數(shù)化，允許模型從數(shù)據(jù)中學習乘法規(guī)則，無需在意這些規(guī)則是否被預定義。與普通的全連接層方法相比，這種方法只需要使用1/n（n即維度）的可學習參數(shù)。
2、Complex Query Answering with Neural Link Predictors
來自UCL、阿姆斯特丹自由大學。
這篇論文提出了一種名為復雜查詢分解 （CQD）的框架，通過在嵌入空間實體集上的推理，來回答相對復雜的邏輯查詢——回答復雜查詢，被簡化為回答每個子查詢，并通過t-norm聚合所得分數(shù)。
只需要訓練原子查詢的神經(jīng)網(wǎng)絡鏈接預測模型，就可利用這一框架，來回答給定的復雜查詢，而不需要用大量生成的復雜查詢進行訓練。
同時，無論查詢的復雜性如何，這一框架還能對查詢回答過程的每一步進行解釋。論文所提出的方法與查詢類型無關(guān)，可以在不明確訓練特定類型查詢的情況下進行歸納。
3、EigenGame: PCA as a Nash Equilibrium
來自DeepMind、Google。
這篇論文提出了一種天然并行化的隨機梯度上升方法EigenGame（本征博弈），結(jié)合了Oja規(guī)則、Krasulina矩陣和Riemannian優(yōu)化方法的優(yōu)點，來計算Top-K主成分。
其中，PCA即博弈納什均衡、及序列化全局收斂主成分算法。
這種方法為大規(guī)模矩陣的PCA計算提供了一種可擴展方法，可計算出近200 TB的Imagenet的RESNET-200激活矩陣的前32個主成分。
4、Learning Mesh-Based Simulation with Graph Networks
來自DeepMind。
這篇論文介紹了MeshGraphNets，一個用圖神經(jīng)網(wǎng)絡進行網(wǎng)格仿真學習的框架。這一框架可以精確地預測各種物理系統(tǒng)的動力學，包括空氣動力學、結(jié)構(gòu)力學和織物的形狀等。
這種方法拓寬了神經(jīng)網(wǎng)絡模擬器可以運行的問題范圍，并有望提高復雜的、科學的建模任務的效率。
5、Neural Synthesis of Binaural Speech From Mono Audio
來自Facebook Reality Lab、CMU。
這篇論文提出了一種雙聲道合成的神經(jīng)繪制方法，可以實時生成逼真、空間精確的雙聲道聲音。所設(shè)計的網(wǎng)絡以單聲道音頻源為輸入，根據(jù)聽者相對于聲源的相對位置和方向，將雙聲道雙耳聲音合成為輸出。
論文從理論上分析了原始波形上l2損耗的不足，并介紹了克服這些局限性的改進損耗。
6、Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime
來自東京大學。
這篇論文分析了過參數(shù)化（overparameterized）的雙層神經(jīng)網(wǎng)絡回歸問題的平均隨機梯度下降的收斂性。
論文證明，平均隨機梯度下降可以通過利用目標函數(shù)的復雜性以及與神經(jīng)切線核（NTK）相關(guān)的再生希爾伯特空間（RKHS），在保證全局收斂的前提下，達到極小極大最優(yōu)收斂速度。
7、Rethinking Architecture Selection in Differentiable NAS
來自UCLA、理海大學、Amazon。
可微神經(jīng)結(jié)構(gòu)搜索(differential Neural Architecture Search，NAS)以搜索效率高、搜索過程簡單等優(yōu)點，成為當前最流行的神經(jīng)結(jié)構(gòu)搜索(Neural Architecture Search，NAS)方法之一。
這篇論文分析認為，架構(gòu)參數(shù)的大小，并不一定證明操作對貪心超網(wǎng)絡（supernet）性能的貢獻效果，并提出了一種可供選擇的、基于擾動的體系結(jié)構(gòu)選擇，直接測量每個操作對貪心超網(wǎng)絡的影響。
8、Score-Based Generative Modeling through Stochastic Differential Equations
來自斯坦福、谷歌、谷歌大腦。
論文提出了一種基于隨機微分方程(SDEs)的分數(shù)式生成模型框架。其中，SDE通過緩慢注入噪聲，平穩(wěn)地將一個復雜的數(shù)據(jù)分布轉(zhuǎn)換為一個已知的先驗分布，相應的逆時SDE通過緩慢去除噪聲將先驗分布轉(zhuǎn)換回數(shù)據(jù)分布。
逆時SDE只依賴于擾動數(shù)據(jù)分布隨時間變化的梯度場(分數(shù))，引入了預測-校正框架來糾正離散逆時SDE演化中的錯誤，推導了與SDE相同的分布采樣的等效神經(jīng)ODE，使精確的似然計算成為可能，并提高了采樣效率。
關(guān)于杰出論文獎評選
ICLR 2021杰出論文獎，主要從四個方向來考察論文質(zhì)量：技術(shù)質(zhì)量、影響潛力、是否提出新方向、以及是否解決了重要問題。
今年負責評獎的委員會，成員分別來自Facebook、DeepMind、德州奧斯汀分校、斯坦福大學、微軟等各高校和機構(gòu)。
值得一提的是，雖然ICLR表示：
評分最高的論文也入選了此次獎項。
然而，在這8篇論文中，卻并沒有見到平均分最高的論文身影。
按平均分來看的話，得分最高的論文名為「How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks」，來自MIT、馬里蘭大學、華盛頓大學。
它的論文評分是9、9、8、9，平均分8.75，卻并未入選此次的杰出論文獎。
相比于這篇論文，確實有幾篇入選杰出論文獎的論文，獲得過評委打出的10分。
但這兩篇論文，卻都收到過其他評審6、7分的打分，例如（9、6、6、10）和（7、10、7、7）等。
從打10分的評委評價來看，都是覺得這幾篇論文“提出了開創(chuàng)性的觀點”。
相比之下，評審在給MIT這篇論文打分時用得更多的評價是“有見解、有意思”。
關(guān)于ICLR
ICLR（International Conference on Learning Representations）又名“國際學習表征會議”，2013年舉辦第一屆，由Yoshua Bengio和Yann LeCun牽頭創(chuàng)辦。
雖然創(chuàng)立時間較晚，但相比于其他頂會，ICLR推行Open Review公開評審制度，所有論文都會公開學校、姓名等信息，并接受所有同行的評價及提問。
在公開評審結(jié)束后，作者也能夠?qū)φ撐倪M行調(diào)整及修改。
值得一提的是，ICLR歷年會議都只評選過最佳論文獎（Best Papers），今年應該是ICLR首次增加杰出論文獎。
這次ICLR 2021評選的杰出論文獎，國內(nèi)并沒有高校和研究機構(gòu)入選，但有3篇論文的1作為華人作者。
