Uber AI 研究院近日连续发表5篇论文, 介绍了他们在基因算法(Genetic Algorithm)、突变方法(Mutation)和进化策略(Evolution Strategies, ES)等神经演化思路方面的研究成果, 同时结合实验证明了神经演化可以替代随机梯度下降(Stochastic Gradient Descent, SGD)等现有主流方法用来训练深度强化学习模型, 取得更好的表现。

  (1) 基因算法可作为训练深度神经网络的高效替代方案

  借助一项新技术高效进化深度神经网络, 研究发现, 一个极其简单的基因算法可以对带有超过400 万个参数的卷积网络进行训练。同时进一步证明一些基因改进算法不仅在大规模深度神经网络上效果显著, 也可以改进探索效果以解决局部最优解问题。

  (2) 通过计算梯度实现安全突变

  研究结合梯度和神经演化提升进化循环神经网络和极深深度神经网络的能力, 可以得到超过100 层的深度神经网络。

  (3) ES 与SGD 的相关性

  这项研究在MNIST 数据集上进行测试, 实验结果表明, 如果提供足够的计算资源以提高其梯度近似效果, ES 可以达到99%准确率。这同时也解释了ES 越来越成为深度强化学习中的一种重要方法的原因。

  (4) ES 不仅仅是一个传统的有限差分法

  研究证明, 在具有足够多的干扰参数时, ES 的表现和SGD 有所不同。这是由于ES 是由一个概率分布描述的策略群组(搜索空间中的一片云)的预期回报, 而SGD优化针对单一策略(搜索空间中的一个点), 这种区别使得结果无论好坏, ES将访问搜索空间中的不同位置。

  (5) 改进ES 的探索能力

  研究引入一种新方法, 有效地将ES 的优化能力和可拓展性与神经演化的独有方法相结合, 以提升其在强化学习任务中的探索能力。

  (编译自: http://eng.uber.com/deep-neuroevolution/)

(本刊讯)