深度增强学习:走向通用人工智能之路

什么是深度增强学习

深度学习

深度学习(deep learning)是机器学习拉出的分支,它试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 – 维基百科

根据维基百科的解释,深度学习是一种利用多层非线性变换处理网络结构来进行表征学习的通用框架。得益于计算机性能的提升,深度学习重新对人工神经网络方法进行品牌重塑。其核心解决问题是,如何用尽可能少的领域知识,给定输入 和输出 ,来学习从输入到输出的 映射 ,其中 是需要优化的参数, 在深度学习里由多层非线性网络结构进行表示(不同机器学习方法会有不同的刻画,比如随机森林、支持向量机等等),常见的架构方式包括深度神经网络(Deep Neural Networks),深度信念网络(Deep Belief Networks)、卷积神经网络(Convolutional Neural Networks)、递归神经网络(Recurrent/Recursice Neural Network)等等。下图直观的给出了这种逐层嵌套的网络结构,

(点击放大图像)

具体而言,映射学习的过程是寻找最优的参数来最小化 损失函数 。这个损失函数衡量了真实和预测输出值之间的差异,常见的比如说对数损失函数、平方损失函数、指数损失函数、Hinge损失函数、各类Norm的损失函数等等 [2] 。 同时为了提高模型的泛化能力,往往需要对损失函数进行 正则化 ( regularization )处理。一般需要尽量把损失函数转化为凸函数,如果函数不够光滑的话可以利用 Moreau-Yoshida regularization 进行处理以方便梯度的计算,最终利用 梯度下降法 来进行优化而得到 ,然后就可以利用 来进行预测了。下图展示了神经网络的一种架构,以及各个隐含层所学习到的表征,可以看到不同隐含层有不同层次的抽象学习。比如说,有的负责颜色,有的负责形状,有的负责部件等等。