学术界最近推出了两篇计算机视觉领域中有关图像合成的突破性论文, 能够创造非常自然的图像, 并且合成无比真实甚至同时保持面部信息的人脸图像。其中一篇论文题为《CVAE-GAN: 一种通过非对称训练的细粒度图像生成模型》, 是微软和中国科学技术大学的研究团队在威尼斯举办的ICCV 2017 上展示的一种方法, 这是一种基于变分自动编码器生成对抗网络的图像生成模型, 能够在特定细粒度类别中合成自然图像。特定细粒度的类别包括特定的人脸, 如名人；或者真实世界的物体, 如特定类型的花或者鸟。

  该论文的研究人员一直专注于研究如何构建更好更有效的自然图像生成模型。计算机视觉领域存在一个关键问题, 即:如何通过改变与世界上任何图片自然分布相关的有限数量的隐变量, 来生成多样化且逼真的图像。该问题的挑战主要在于找到一个生成模型能够捕捉到这些数据的分布。研究人员选择使用生成对抗网络与变分自动编码器相结合的方法作为学习框架。该方法将任何图像建模为概率模型中标签和隐属性的组合。通过改变输入生成模型细粒度类别的标签, 能够使用随机抽取的隐变量的值合成属于该类别的图像。微软研究员解释说: “直到最近, 才有深度学习模型能够从真实世界的图像中对某类物体的图像分布建模, 使得我们能够从模型中得到基本的图像合成方式。”

  该方法有两点创新: 首先, 对于判别网络即分类器, 使用交叉熵损失函数进行训练, 但是对于生成网络, 使用平均差值目标函数(Mean Discrepancy Objective)。由此产生的非对称损失函数及其对机器学习方面的影响很激动人心。非对称损失实际上使得GAN 的训练变得更加稳定, 这种非对称损失函数能够解决训练原始 GAN 中的不稳定的问题, 尤其能够解决匹配两个不重叠分布时遇到的数值难题。另一个创新在于采用一种新颖的编码器结构, 它能够学习到隐空间之间的关系, 并使用成对的特征匹配了保留合成图像的结构信息。

  在自然图像的实验中, 如真实的人脸、花朵和鸟类等, 研究人员展示了他们的机器学习模型在某个特定的类别中, 能够合成非常真实且多样性的图像。该模型的潜在应用方向覆盖了包括图像修复、数据增强和更好的人脸识别模型等所有方面。

  ( 编译自: https://www.microsoft.com/en-us/research/blog/believing-is-seeing-insightful-research-illuminates-the-newly-possiblein-the-realm-of-natural-and-synthetic-images/)

(本刊讯)