我们为“模拟+无监督”学习开发出新的方法，我们称之为SimGAN，它可以利用我们称之为“精炼器网络（refiner network）”的神经网络从模拟器中提炼合成图像。图二中展示了这种方法的概述：第一，黑盒子模拟器中生成合成图像，然后利用“精炼器网络”对其进行提炼。为了增加真实性，也就是“模拟+无监督”学习算法的首要需求，我们需要利用类似生成式对抗网络(GAN)来训练“精炼器网络”，进而产生判别网络无法区分真假的精炼图像。
第二，为了保留合成图像上的注释信息，我们需要利用“自正则化损失”弥补对抗性损失，在合成图像和精炼图像之间进行修改。此外，我们还利用完全卷积神经网络，在像素水平方面进行操作，并保留全局结构，而非整体修改图像的内容。
第三，GAN框架要求训练2个神经网络进行对抗，它们的目标往往不够稳定，倾向于产生伪影。为了避免漂移和产生更强的伪影，导致甄别更困难，我们需要限定鉴别器的接收区域为局部接收，而非整张图片接收，这导致每张图像都会产生多个局部对抗性损失。此外，我们还引入提高训练稳定性的方法，即通过使用精炼图像而非当前“精炼器网络”中的现有图像升级鉴别器。
1.1相关工作
GAN框架需要2个神经网络竞争损失，即生成器与鉴别器。其中，生成器网络的目标是在真实图像上绘制随机向量，而鉴别器网络的目标则是区分生成图像与真实图像。GAN网络是由古德弗罗（I. Goodfellow）等人首先引入的，它可以帮助生成逼真的视觉图像。自从那以来，GAN已经有了许多改进，并被投入到有趣的应用中。
（图2：SimGAN概观：我们利用“精炼器网络”提炼模拟器产生的输出图像，并最大限度地减少局部对抗性损失，并进行自正则化。对抗性损失可以欺骗鉴别器网络，从而令其将合成图像误认为真实图像。而自正则化则会最大限度减少合成图像与真实图像的差异，包括保留注释信息，并让精炼图像被用于训练机器学习模型。“精炼器网络”与鉴别器网络也会交替升级。）
王（X. Wang）与古普塔（A. Gupta）利用结构化GAN学习表面法线，然后将其与Style GAN相结合，以生成天然的室内场景。我们提议使用对抗性训练进行递归生成模型（recurrent generative model）训练。此外，最近推出的iGAN能够帮助用户以交互模式改变图像。刘（M.-Y. Liu）等人开发的CoGAN结合GAN可多模态联合分布图像，无需要求应对图像的元组，这有利于开发出联合发布解决方案。而陈（X. Chen）等人开发的InfoGAN是GAN信息理论的扩展，允许有意义的陈述学习。
恩杰尔图泽尔（Oncel Tuzel）等人利用GAN解决人脸图像超高分辨率问题。李（C. Li）和王（M. Wand）提议Markovian GAN进行有效的纹理合成。洛特尔（W. Lotter）等人在LSTM网络中利用对抗性损失进行视觉序列预测。于（L. Yu）等人提议SeqGAN框架，利用GAN强化学习。许多近来的问题都显示出与生成模型领域相关的问题，比如PixelRNN可利用RNN的softmax损失预测像素顺序。生成网络侧重于使用随机噪声矢量生成图像，与我们的模型相比，其生成的图像没有任何标注信息，因此也无法用于训练机器学习模型。
许多努力都在探索使用合成数据进行各种预测任务，包括视线评估、RGB图像文本检测与分类、字体识别、对象检测、深度图像中手部姿态评估、RGB-D场景识别、城市场景语义分割以及人体姿态评估等。盖伊登（A. Gaidon）等人的研究表明，利用合成数据训练深度神经网络，可以提高其表现。我们的工作是对这些方法的补充，我们使用未标记真实数据提高了模拟器的真实性。
嘉宁（Y. Ganin）与莱姆皮茨基（V. Lempitsky）在数据域适应设置中利用合成数据，了解合成图像与真实图像域的变化过程中保持不变的特征。王（Z. Wang）等人利用合成和真实数据训练层叠卷积码自动编码器，以便了解其字体检测器ConvNet的低级表示形式。张（X. Zhang）等人学习多通道编码，以便减少真实数据与合成数据的域的转变。与经典域适应方法相反，它采用与特定的特征以便适应具体的预测任务，而我们可通过对抗性训练，弥合图像分布之间的差距。这种方法使我们能够生成非常逼真的图像，可以用于训练任何机器学习模型，并执行潜在的更多任务。