綜述將主要總結(jié)增強(qiáng)學(xué)習(xí)的錄用論文

由全球最大中文IT社區(qū)CSDN與全球AI技術(shù)社區(qū)AICamp共同打造的千人技術(shù)盛會——2018 AI開發(fā)者大會將于10月25日-26日在北京舉辦。本次大會匯聚海內(nèi)外頂尖AI專家，面向全球AI開發(fā)者和科技企業(yè)，旨在搭建國際間的AI技術(shù)交流與學(xué)習(xí)平臺，探索AI技術(shù)的應(yīng)用實踐與發(fā)展方向。

一年一度的國際機(jī)器學(xué)習(xí)會議( ICML )，于7月15日在瑞典斯德哥爾摩閉幕，ICML 的會議日程之緊湊，會議內(nèi)容之豐富，令人目不暇接。今年從2,473份提交論文中接收了621篇，其中有63余篇強(qiáng)化學(xué)習(xí)相關(guān)論文，作者將這些論文分成了多個類別，并對每篇文章的核心貢獻(xiàn)做了精煉的總結(jié)，這些文章也是追蹤強(qiáng)化學(xué)習(xí)最前沿技術(shù)的絕佳材料，精煉的總結(jié)也也便于我們快速查找與自己研究相關(guān)的文章。

會議概述

從2,473份提交論文中接收了621份，論文接受率為25.1%。

有關(guān)增強(qiáng)學(xué)習(xí)的會議占據(jù)了最大的會議室，而且論文數(shù)量也是最多的，這篇綜述將主要總結(jié)增強(qiáng)學(xué)習(xí)的錄用論文。

強(qiáng)化學(xué)習(xí)分類

我將接受的所有RL論文分類為以下主題：

強(qiáng)化學(xué)習(xí)理論（Theory）--- 8篇

強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)（Network）---3篇

強(qiáng)化學(xué)習(xí)算法（Algorithms）6篇

強(qiáng)化學(xué)習(xí)優(yōu)化（Optimization）8篇

強(qiáng)化學(xué)習(xí)探索（Exploration）4篇

強(qiáng)化學(xué)習(xí)激勵（Reward） 4篇

基于模型的強(qiáng)化學(xué)習(xí)（Model-based）5篇

分布式強(qiáng)化學(xué)習(xí)（Distributed）3篇

層次強(qiáng)化學(xué)習(xí)（Hierarchical）5篇

多智能體（Multi-agent）6篇

元學(xué)習(xí)（Meta-learning）遷移（Transfer）終身學(xué)習(xí)(Lifelong Learning) 5篇

應(yīng)用及其它（Applications）6篇

▌1. RL Theory

Problem DependentReinforcement Learning Bounds Which Can Identify Bandit Structure in MDPs-> 非標(biāo)準(zhǔn)轉(zhuǎn)換模型，學(xué)習(xí)將MPDs轉(zhuǎn)換為MACs。

Learning with Abandonment-> 非標(biāo)準(zhǔn)轉(zhuǎn)換模型，一個想要為每個用戶學(xué)習(xí)個性化策略的平臺，但該平臺面臨用戶在不滿意平臺操作時放棄平臺的風(fēng)險。

Global Convergence ofPolicy Gradient Methods for the Linear Quadratic Regulator-> LQR證明

More Robust Doubly RobustOff-policy Evaluation-> 通過另一個策略生成的數(shù)據(jù)來估計策略的性能。

Best Arm Identification inLinear Bandits with Linear Dimension Dependency->利用全局線性結(jié)構(gòu)來提高對接近最優(yōu)臂的獎勵估計。

Convergent Tree Backup andRetrace with Function Approximation->穩(wěn)定高效的基于梯度的算法，使用二次凸凹鞍點公式

Time Limits inReinforcement Learning-> 正式解釋了在案例中如何有效地處理時間限制，并解釋了為什么不這樣做會引起經(jīng)驗重復(fù)的狀態(tài)混淆和失效，導(dǎo)致次優(yōu)策略和訓(xùn)練不穩(wěn)定。對于固定期限，由于時間限制的終止實際上是環(huán)境的一部分，因此剩余時間的概念應(yīng)該作為代理輸入的一部分，以避免違反Markov屬性。

Configurable MarkovDecision Processes-> 在許多現(xiàn)實問題中，有可能在一定程度上配置一些環(huán)境參數(shù)，以提高學(xué)習(xí)代理的性能。一種新的學(xué)習(xí)算法—安全策略模型迭代(SPMI)，聯(lián)合自適應(yīng)地優(yōu)化策略和環(huán)境配置。

▌2.RL Network

Structured Control Netsfor Deep Reinforcement Learning->提出的結(jié)構(gòu)化控制網(wǎng)將通用MLP分成兩個獨立的子模塊：非線性控制模塊和線性控制模塊。非線性控制用于前視和全局控制，而線性控制穩(wěn)定圍繞全局控制殘差的局部動態(tài)

Gated Path PlanningNetworks->將VINs重構(gòu)為遞歸卷積網(wǎng)絡(luò)，這表明VINs將周期性卷積與非傳統(tǒng)的最大池化激活相結(jié)合。門控循環(huán)更新方程可以緩解困擾VIN的優(yōu)化問題。

Universal Planning Networks:Learning GeneralizableRepresentations for Visuomotor Control->這個規(guī)劃計算在一個潛在的空間中展開一個正向模型，通過梯度下降軌跡優(yōu)化來推斷一個最優(yōu)的行動計劃，優(yōu)化一個監(jiān)督模擬學(xué)習(xí)目標(biāo)。在解決基于圖像的目標(biāo)描述的新任務(wù)時，學(xué)習(xí)到的表示還提供了使用圖像指定目標(biāo)的度量。

▌3.RL Algorithms

SBEED: ConvergentReinforcement Learning with Nonlinear Function Approximation->使用Nesterov的平滑技術(shù)和Legendre-Fenchel 變換將Bellman方程重構(gòu)為一個新的原始對偶優(yōu)化問題，開發(fā)一種新的算法，稱為平滑Bellman誤差嵌入，以解決這個優(yōu)化問題可以使用任何可微函數(shù)類。

Scalable Bilinear PiLearning Using State and Action Features->對于大規(guī)模馬爾可夫決策過程（MDP），我們研究近似線性規(guī)劃的原始對偶公式，并開發(fā)一種可擴(kuò)展的，無模型的算法，稱為雙線性pi學(xué)習(xí)，用于在提供采樣oracle時的強(qiáng)化學(xué)習(xí)。

Beyond the One-Step GreedyApproach in Reinforcement Learning->分析了多步超前策略改進(jìn)的情況;制定多步策略改進(jìn)的變體，使用這些定義推導(dǎo)出新的算法并證明它們的收斂性。

Importance WeightedTransfer of Samples in Reinforcement Learning->從一組源任務(wù)中收集的經(jīng)驗樣本的轉(zhuǎn)移，以改進(jìn)給定目標(biāo)任務(wù)中的學(xué)習(xí)過程。提出了一種基于模型的技術(shù)，該技術(shù)可以自動評估每個源樣本的相關(guān)性(重要性權(quán)重)來解決目標(biāo)任務(wù)。

Addressing Function ApproximationError in Actor- Critic Methods->算法建立在雙Q學(xué)習(xí)的基礎(chǔ)上，通過取一對批評者之間的最小值來限制過高估計;延遲策略更新以減少每次更新錯誤。

Policy Optimization withDemonstrations->利用可用的演示，通過在已學(xué)習(xí)的策略和當(dāng)前演示之間實施占用度量匹配來指導(dǎo)探索，以實現(xiàn)隱式動態(tài)獎勵形成。

▌4.RL Optimization

Policy Optimization asWasserstein Gradient Flows->在概率度量空間上，策略優(yōu)化在分布優(yōu)化方面變?yōu)橥?，解釋為Wasserstein梯度流。

Clipped Action PolicyGradient->利用被剪裁的動作的知識來減少估計的方差。

Fourier Policy Gradients->將期望策略梯度產(chǎn)生的積分重新整合為卷積并將其轉(zhuǎn)換為乘法。

Structured Evolution withCompact Architectures for Scalable Policy Optimization->通過使用結(jié)構(gòu)化隨機(jī)正交矩陣的梯度近似進(jìn)行黑盒優(yōu)化，提供比基線更準(zhǔn)確的估計，并具有可證明的理論保證。

StochasticVariance-Reduced Policy Gradient->利用重要性權(quán)重來保持梯度估計的無偏差。

The Mirage ofAction-Dependent Baselines in Reinforcement Learning->分解了策略梯度估計量的方差，數(shù)值模擬表明，在通常測試的基準(zhǔn)域中，學(xué)習(xí)的依賴狀態(tài)動作的基線實際上并沒有減少與狀態(tài)相關(guān)的基線的方差。

Smoothed Action ValueFunctions for Learning Gaussian Policies->一個由高斯平滑的期望Q值定義的行為值的新概念。由平滑Q值函數(shù)的梯度和Hessian可以恢復(fù)參數(shù)化高斯策略的預(yù)期獎勵的梯度和協(xié)方差。在訓(xùn)練過程中學(xué)習(xí)均值和協(xié)方差的能力可以顯著提高標(biāo)準(zhǔn)連續(xù)控制基準(zhǔn)的結(jié)果。

Soft Actor-Critic:Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor->提出了soft actor-critic，基于最大熵強(qiáng)化學(xué)習(xí)框架的非策略行動者-評論者（actor-critic）深度RL算法。行動者的目標(biāo)是最大化預(yù)期的回報，同時也最大化熵——在任務(wù)中盡可能隨機(jī)地成功。

▌5.RL Exploration

Self-Imitation Learning->利用過去的良好經(jīng)驗可以間接地推動深度探索。

Coordinated Exploration inConcurrent Reinforcement Learning->強(qiáng)化學(xué)習(xí)代理團(tuán)隊，該團(tuán)隊通過種子取樣，同時學(xué)習(xí)如何在一個共同的環(huán)境中操作。具有三個屬性- 適應(yīng)性，承諾和多樣性 – 是有效協(xié)調(diào)探索所必需的。

GEP-PG: DecouplingExploration and Exploitation in Deep Reinforcement Learning Algorithms->依次結(jié)合目標(biāo)探索過程和DDPG。兩階段方法：第一個探索階段發(fā)現(xiàn)一系列簡單的策略，最大化行為多樣性，忽略獎勵功能;然后是更標(biāo)準(zhǔn)的深度RL階段進(jìn)行微調(diào)，其中DDPG使用重播緩沖區(qū)，其中填充了GEP生成的示例。

Learning to Explore viaMeta-Policy Gradient->元策略梯度算法學(xué)習(xí)探索，使我們能夠自適應(yīng)地學(xué)習(xí)DDPG中的探索策略。訓(xùn)練不依賴于參與者策略的靈活的探索行為，從而產(chǎn)生一種全局性的探索，極大地加快了學(xué)習(xí)過程。

▌6.RL Reward

Learning byPlaying?—?Solving Sparse Reward Tasks from Scratch->計劃輔助控制(SAC-X)， 代理配備了一組通用輔助任務(wù)，它試圖通過非策略RL同時學(xué)習(xí)。主動（學(xué)習(xí)）調(diào)度和輔助策略的執(zhí)行允許代理有效地探索其環(huán)境 -使其在稀疏獎勵RL方面表現(xiàn)優(yōu)異。

Automatic Goal Generationfor Reinforcement Learning Agents->使用生成模型(在本例中為GANs)來學(xué)習(xí)生成理想的“目標(biāo)”(狀態(tài)空間的子集)，并使用生成模型而不是目標(biāo)的統(tǒng)一抽樣。使用基于生成模型的自動課程生成算法來解決多任務(wù)問題，該生成模型跟蹤學(xué)習(xí)代理的性能。

Learning the RewardFunction for a Misspecified Model->本文提出了一個新的誤差界限，用來解釋從模型中采樣的狀態(tài)下獎勵模型的行為。該界限用于擴(kuò)展現(xiàn)有的幻覺DAgger-MC算法，該算法在確定性的MDPs中提供了理論性能保證，而不是假設(shè)一個完美的模型可以被學(xué)習(xí)。

Mix & Match?—?AgentCurricula for Reinforcement Learning->一個自動形成代理課程的程序;通過有效地從簡單的代理中找到解決方案開始，逐步訓(xùn)練更復(fù)雜的代理;

▌7.Model-based RL

Lipschitz Continuity inModel-based Reinforcement Learning->提供了一個新的邊界，在這個邊界上，我們用Wasserstein度量來量化Lipschitz模型的多步預(yù)測誤差。

ProgrammaticallyInterpretable Reinforcement Learning->生成可解釋和可驗證的代理策略，可編程的解釋性強(qiáng)化學(xué)習(xí)使用一種高級的、特定于域的編程語言來表示策略。神經(jīng)導(dǎo)向的程序搜索通過首先學(xué)習(xí)使用DRL的神經(jīng)策略網(wǎng)絡(luò)，然后對程序策略執(zhí)行局部搜索，以盡量減少與神經(jīng)“oracle”之間的距離。

Feedback-Based Tree Searchfor Reinforcement Learning-> 提出了一種基于模型的強(qiáng)化學(xué)習(xí)技術(shù)，該技術(shù)迭代地將MCTS應(yīng)用于原始的無限大范圍的馬爾可夫決策過程中。MCTS過程生成的建議隨后作為反饋提供，以便通過分類和回歸改進(jìn)下一個迭代的葉子節(jié)點評估程序。多玩家在線戰(zhàn)斗競技場(MOBA)游戲之王的競爭代理。

Machine Theory of Mind->Theory of Mind（ToM）廣泛地指人類表達(dá)他人心理狀態(tài)的能力， 包括他們的欲望，信仰和意圖。ToMnet使用元學(xué)習(xí)來學(xué)習(xí)代理人未來行為的強(qiáng)大先驗?zāi)Ｐ?，并且僅使用少量的行為觀察，可以引導(dǎo)到更豐富的關(guān)于代理特征和心理狀態(tài)的預(yù)測。

Measuring abstractreasoning in neural networks->提出一個數(shù)據(jù)集和挑戰(zhàn)，旨在探索抽象推理，靈感來自一個著名的人類智商測試。為了在這一挑戰(zhàn)中取得成功，模型必須應(yīng)對訓(xùn)練和測試數(shù)據(jù)以明確定義的方式存在差異的各種歸納“機(jī)制”。提出WildRelation Network（WReN），多次應(yīng)用關(guān)系網(wǎng)絡(luò)模塊(Santoro et al.， 2017)來推斷小組間關(guān)系。

▌8.Distributed RL

Implicit Quantile Networksfor Distributional Reinforcement Learning->使用分位數(shù)回歸來近似風(fēng)險敏感策略的狀態(tài)-行為回報分布的完全分位數(shù)函數(shù);展示了57款A(yù)tari2600游戲的改進(jìn)性能。

RLlib: Abstractions forDistributed Reinforcement Learning->開源Ray項目中的一個庫，為RL提供可擴(kuò)展的軟件基元，該庫主張通過自頂向下的層次控制調(diào)整算法，以組合的方式分布RL組件，從而在短期運(yùn)行的計算任務(wù)中封裝并行性和資源需求。

IMPALA: ScalableDistributed Deep-RL with Importance Weighted Actor-Learner Architectures->IMPALA（重要性加權(quán)行動者學(xué)習(xí)者架構(gòu)）可擴(kuò)展到數(shù)千臺機(jī)器而不會犧牲數(shù)據(jù) 效率或資源利用率; 通過將解耦作用和學(xué)習(xí)與一種新的非策略修正方法V-trace相結(jié)合，實現(xiàn)高吞吐量下的穩(wěn)定學(xué)習(xí)。在DMLab-30(DeepMind Lab環(huán)境中的30個任務(wù)集(Beattie et al.， 2016))和Atari-57 (Arcade Learningenvironment中所有可用的Atari游戲(Bellemare et al.， 2013a)上進(jìn)行測試)。

▌9.Hierarchical RL

Latent Space Policies forHierarchical Reinforcement Learning->以自下而上的分層方式構(gòu)建層次表示;每一層都經(jīng)過訓(xùn)練，通過最大熵目標(biāo)來完成任務(wù)。每一層都增加了潛在隨機(jī)變量，這些變量是從該層訓(xùn)練期間的先驗分布中抽取的。最大熵目標(biāo)使這些潛在變量被納入到層的策略中，高層可以通過這個潛在空間直接控制下層的行為。

Self-Consistent TrajectoryAutoencoder: Hierarchical Reinforcement Learning with Trajectory Embeddings->層次結(jié)構(gòu)中學(xué)習(xí)較低層的問題轉(zhuǎn)化為學(xué)習(xí)軌跡級生成模型的問題。學(xué)習(xí)軌跡的連續(xù)潛在表示，這有效地解決了時間擴(kuò)展和多階段的問題。他的模型通過預(yù)測閉環(huán)策略行為的結(jié)果，提供了一個內(nèi)置的預(yù)測機(jī)制。

An Inference-Based PolicyGradient Method for Learning Options->為了使用選項自動學(xué)習(xí)策略，所提出的算法使用推理方法來同時改進(jìn)代理可用的所有選項，因此可以以非策略方式使用，而無需觀察選項標(biāo)簽。所采用的可微差別推理過程產(chǎn)生了易于解釋的選項。

Hierarchical Imitation andReinforcement Learning->分層指導(dǎo)利用底層問題的層次結(jié)構(gòu)來整合不同的專家交互模式。在Montezuma’sRevenge上測試過。

Using Reward Machines forHigh-Level Task Specification and Decomposition in Reinforcement Learning->獎勵機(jī)器是一種有限狀態(tài)機(jī)，支持獎勵函數(shù)的規(guī)范，同時將獎勵函數(shù)結(jié)構(gòu)暴露給學(xué)習(xí)者并支持分解。提出了獎勵機(jī)器的Q-Learning(QRM)，一種適當(dāng)分解獎勵機(jī)制的算法，并利用off-policy Q-Learning同時學(xué)習(xí)不同組件的子策略。

▌10.Multi-Agent

Learning to Coordinatewith Coordination Graphs in Repeated Single-Stage Multi-Agent Decision Problems->利用松散耦合，即代理之間的條件獨立性。預(yù)期獎勵可以表示為協(xié)調(diào)圖。

Learning to Act inDecentralized Partially Observable MDPs->首先接近最優(yōu)的協(xié)作多智能體，通過混合整數(shù)線性規(guī)劃替換貪婪最大化。來自文獻(xiàn)的許多有限域的實驗。

Learning PolicyRepresentations in Multiagent Systems->將代理建模作為表示學(xué)習(xí)的問題;構(gòu)建模仿學(xué)習(xí)和代理識別啟發(fā)的新目標(biāo)，設(shè)計一種代理策略表示的無監(jiān)督學(xué)習(xí)算法。

Competitive Multi-agentInverse Reinforcement Learning with Sub-optimal Demonstrations->當(dāng)已知專家證明不是最優(yōu)的時候，在零和隨機(jī)博弈中進(jìn)行逆強(qiáng)化學(xué)習(xí); 引入了一種新的目標(biāo)函數(shù)，直接將專家與納什均衡策略對立起來，以深度神經(jīng)網(wǎng)絡(luò)作為模型逼近，在逆強(qiáng)化學(xué)習(xí)的背景下求解獎勵函數(shù)。

▌11.RL Meta-learning, Transfer, Continuing and Lifelong Learning

Been There, Done That:Meta-Learning with Episodic Recall->提出了一種生成開放但重復(fù)的環(huán)境的形式主義，然后開發(fā)一個元學(xué)習(xí)體系結(jié)構(gòu)來解決這些環(huán)境。該架構(gòu)將標(biāo)準(zhǔn)的LSTM工作記憶與可微的神經(jīng)情景記憶融合在一起。

Transfer in Deep RL usingSuccessor Features in GPI->使用通用的策略改進(jìn)和繼承特性來進(jìn)行傳輸技能。以兩種方式擴(kuò)展SF和GPI框架。使用獎勵函數(shù)本身作為未來任務(wù)的特性，沒有任何表達(dá)性的損失，因此無需預(yù)先指定一組特性。

Policy and Value Transferin Lifelong Reinforcement Learning->使用先前的經(jīng)驗，在一系列從任務(wù)分配中抽取的任務(wù)實例中引導(dǎo)終身學(xué)習(xí)。對于基于值函數(shù)的傳輸，保留PAC的值函數(shù)初始化方法，同時最小化兩種學(xué)習(xí)算法所需的學(xué)習(xí)，從而產(chǎn)生MaxQInit。

State Abstractions forLifelong Reinforcement Learning->在終身強(qiáng)化學(xué)習(xí)中，代理必須有效地跨任務(wù)傳遞知識，同時解決探索，信用分配和一般問題。狀態(tài)抽象壓縮代理使用的表示，從而減少了學(xué)習(xí)的計算和統(tǒng)計負(fù)擔(dān)。提出新的抽象類：（1）傳遞狀態(tài)抽象，其最優(yōu)形式可以被有效地計算，以及（2）PAC狀態(tài)抽象，保證相對于任務(wù)的分布。

Continual ReinforcementLearning with Complex Synapses->通過為表格和深層強(qiáng)化學(xué)習(xí)代理配備合并了一種生物復(fù)雜性的突觸模型(Benna & Fusi,2016)，災(zāi)難性遺忘可以在多個時間尺度上得到緩解。整合過程與數(shù)據(jù)分布變化的時間尺度無關(guān)。

▌12.RL Applications and others

Spotlight: OptimizingDevice Placement for Training Deep Neural Networks->使用多階段馬爾可夫決策過程來模擬設(shè)備布局問題。

End-to-end Active ObjectTracking via Reinforcement Learning->ConvNet-LSTM函數(shù)逼近器用于直接幀到動作的預(yù)測。需要用獎勵函數(shù)來增強(qiáng)環(huán)境。

Deep ReinforcementLearning in Continuous Action Spaces: a Case Study in the Game of SimulatedCurling->基于內(nèi)核的MonteCarlo樹搜索學(xué)習(xí)游戲策略，該搜索在連續(xù)空間內(nèi)查找動作。為了避免手工特征，我們使用監(jiān)督學(xué)習(xí)來訓(xùn)練我們的網(wǎng)絡(luò)，然后使用高保真的冰壺奧林匹克運(yùn)動模擬器進(jìn)行強(qiáng)化學(xué)習(xí);贏得了國際數(shù)字冰壺比賽。

Can Deep ReinforcementLearning Solve Erdos- Selfridge-Spencer Games?->介紹了一個有趣的雙人零和游戲系列，具有可調(diào)的復(fù)雜性，稱為Erdos-Selfridge-Spencer游戲，作為RL的一個新域。作者報告了大量的實證結(jié)果，使用了各種各樣的訓(xùn)練方法，包括監(jiān)督學(xué)習(xí)和多種RL (PPO, A2C,DQN)以及 單代理 與多代理訓(xùn)練。

Investigating Human Priorsfor Playing Video Games->調(diào)查各種有助于人類學(xué)習(xí)的先驗知識，并發(fā)現(xiàn)對象的一般先驗在指導(dǎo)人類游戲玩法中起著最關(guān)鍵的作用。

Visualizing andUnderstanding Atari Agents->介紹一種生成有用的顯著性地圖的方法，并使用它來顯示1)強(qiáng)代理關(guān)注什么，2)代理是否出于正確或錯誤的原因做出決策，3)代理如何在學(xué)習(xí)過程中進(jìn)化。

總結(jié)

深度強(qiáng)化學(xué)習(xí)是最大和最熱門的話題之一，有著最多的論文數(shù)量和最大的會議場地。

除了訓(xùn)練算法，學(xué)習(xí)模型，信用分配，分層次，元學(xué)習(xí)和網(wǎng)絡(luò)架構(gòu)是RL流行的子方向。

考慮到網(wǎng)絡(luò)架構(gòu)上關(guān)于視覺問題的論文數(shù)量，對于RL在網(wǎng)絡(luò)架構(gòu)上的探索還有很大的空間，在已被接受的論文中只有少數(shù)是這一方面的。例如，StructuredControl Nets for Deep Reinforcement Learning and Gated Path Planning Networks。

ML的公平性和可解釋性是一個大主題。對于RL也應(yīng)該有更多的解釋和分析工作。一個好的方向是運(yùn)用控制理論。與此相關(guān)的是，BenRecth的《控制優(yōu)化教程》非常棒。主要思想是RL與控制理論之間應(yīng)該有更多的交叉。在已被接受的論文中，一個很好的例子是Structured ControlNets for Deep Reinforcement Learning。

附最佳論文總結(jié)

▌兩篇最佳論文（best papers）

1.“Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples”

[注]:也就是這篇在年初曾引起軒然大波，一作Anish Athalye質(zhì)疑ICLR2018中的7/8篇對抗防御的論文太渣，并引起Goodfellow圍追堵截要說法。Anish Athalye這篇打臉I(yè)CLR的文章在ICML上證明了自己的實力。

相關(guān)閱讀：

https://zhuanlan.zhihu.com/p/33554466

混淆梯度, 是一種梯度掩蔽,在防御對抗的例子中導(dǎo)致一種錯誤的安全感。

ICLR 2018的白盒安全防御系統(tǒng)，9種當(dāng)中的7種防御系統(tǒng)依賴于混淆梯度。

對于發(fā)現(xiàn)的三種類型的混淆梯度中的每一種，作者都開發(fā)了攻擊技術(shù)來克服它。

在每篇論文所考慮的原始威脅模型中，新的攻擊成功地完全繞過了6種，只有一個是部分繞過。

2.“DelayedImpact of Fair Machine Learning”

訓(xùn)練以盡量減少預(yù)測誤差的機(jī)器學(xué)習(xí)系統(tǒng), 往往會表現(xiàn)出基于種族和性別等敏感特征的歧視性行為。原因之一可能是由于數(shù)據(jù)中存在歷史偏差。

這項工作使機(jī)器學(xué)習(xí)的決策與長期的社會福利目標(biāo)保持一致。

下圖顯示了作者提出的結(jié)果模型, 以減輕機(jī)器學(xué)習(xí)算法的不良社會影響。

依賴于群體的閾值可能面臨法律挑戰(zhàn)，不可避免的是，它們錯失了固定閾值決策可能引發(fā)的差異結(jié)果。

公平約束（Fairnessconstraints）使群體之間的決策相等，以保護(hù)弱勢群體。但是，公平約束也會減少已經(jīng)處于不利地位的人群的福利。

構(gòu)建一個精確的模型來預(yù)測決策對人口結(jié)果的影響，可能有助于減輕應(yīng)用公平約束（fairness constraints）的潛在危害。

▌三篇最佳論文提名獎（Best Papers Runner-ups）

1. “The Mechanics of n-Player Differentiable Games”

開發(fā)新的技術(shù)來理解和控制一般游戲的動力學(xué)，例如GAN

關(guān)鍵的結(jié)果是將二階動力學(xué)分解為兩個分量:

第一個是與潛在的游戲有關(guān)，它會降低隱函數(shù)的梯度下降;

第二個與哈密頓博弈（Hamiltonian games）有關(guān)，哈密頓博弈是一種遵守守恒定律的新游戲，類似于經(jīng)典機(jī)械系統(tǒng)中的守恒定律。

分解激發(fā)了Symplecti梯度調(diào)整(SGA)，這是一種新的算法，用于在一般游戲中尋找穩(wěn)定的定點。

基本實驗表明，SGA與最近提出的在GANs中找到穩(wěn)定的固定點的算法相比是有競爭力的，同時在更多普通的游戲中也適用，并且有保證。

2. “Near Optimal Frequent Directions for Sketching Dense and SparseMatrices”

復(fù)旦大學(xué)的論文Near Optimal Frequent Directions forSketching Dense and Sparse Matrices十分引人注目，這篇斬獲“最佳提名獎”的論文由大數(shù)據(jù)學(xué)院副教授黃增峰獨立完成，研究的是流模型（streaming model）中的協(xié)方差情況。文章提出了一種新型空間優(yōu)化算法，把流模型運(yùn)行時間縮短到極致。

計算一個比給定的大矩陣小得多的草圖矩陣，使協(xié)方差誤差最小化。

我們考慮了流模型中存在的問題，該算法在有限的工作空間下只能對輸入進(jìn)行一次傳遞。

Liberty（2013）及其變體的Frequent Directions算法實現(xiàn)了最佳的空間誤差權(quán)衡。 但是，是否可以改善運(yùn)行時間仍然是一個懸而未決的問題。

在本文中，我們幾乎解決了這個問題的時間復(fù)雜度。 特別是，我們提供新的空間優(yōu)化算法，運(yùn)行時間更短。 此外，我們還證明了算法的運(yùn)行時間幾乎是最優(yōu)的，除非矩陣乘法的最先進(jìn)的運(yùn)行時間可以顯著提高。

3. “Fairness Without Demographics in Repeated Loss Minimization”

最小化平均損失導(dǎo)致表示差異 - 少數(shù)群體（例如，非母語人士）對訓(xùn)練目標(biāo)貢獻(xiàn)較少，因此往往遭受更大的損失。由于模型的準(zhǔn)確性會影響用戶保留率，少數(shù)群體的數(shù)目會隨著時間的推移而縮小。

作者指出，經(jīng)驗風(fēng)險最小化(ERM)隨著時間的推移會擴(kuò)大表征差異，這甚至?xí)棺畛醯墓侥Ｐ妥兊貌还健?/p>

開發(fā)一種基于分布魯棒優(yōu)化(DRO)的方法，該方法將經(jīng)驗分布附近所有分布的最壞情況風(fēng)險最小化。

演示了DRO在ERM失敗的示例上防止差異放大，并展示了在真實文本自動完成任務(wù)中少數(shù)群體用戶滿意度的改進(jìn)。