基于深度学习的人脸自动美妆与深度哈希算法

雷锋网按:本文作者朱鹏飞,天津大学机器学习与数据挖掘实验室副教授,硕士生导师。分别于2009和2011年在哈尔滨工业大学能源科学与工程学院获得学士和硕士学位,2015年于香港理工大学电子计算学系获得博士学位。目前,在机器学习与计算机视觉国际顶级会议和期刊上发表论文20余篇,包括AAAI、IJCAI、ICCV、ECCV以及IEEE Transactions>IJCAI16会议介绍:

国际人工智能联合会议( International Joint Conference>导读:

本届会议的举办地在繁华喧嚣的纽约时代广场附近,正映衬了人工智能领域几年来的火热氛围。此次大会包括7场特邀演讲、4场获奖演讲、551篇同行评议论文的presentation,41场workshop、37堂tutorial、22个demo等。深度学习成为了IJCAI 2016的关键词之一,以深度学习为主题的论文报告session共计有3个。本期我们从中选择了两篇深度学习领域的相关论文进行选读,组织了相关领域的博士研究生,介绍论文的主要思想,并对论文的贡献进行点评。

Makeup Like a Superstar Deep Localized Makeup Transfer Network

在人脸分割的应用中,美妆是一个受众较广的问题。给出一张素颜正面照,如果能够给出其最适合的化妆风格并将其渲染到这张素颜脸上,可以让女孩子们更方便地找到适合的风格。中科院信工所刘偲博士等人的论文所解决的问题就是完成一个功能更完善的人脸自动美妆应用,不仅能够给素颜的图片上妆,而且可以为用户推荐最适合的妆容,达到更高的用户满意度。

文章采用端到端的方法完成风格推荐、五官提取、妆容迁移这三个步骤,同时在损失函数中还考虑平滑性与脸部对称性的约束,最终达到了state-of-the-art效果,本文方法的整体框架如下:

基于深度学习的人脸自动美妆与深度哈希算法

核心方法:

首先风格推荐,是从已上妆人脸数据库中挑选与当前素颜人脸最相近的图片。具体方法是选取与当前人脸特征的欧氏距离最小者作为推荐结果,该特征即网络输出的feature map。

然后是五官提取。五官提取是采用全卷积网络做图像分割实现face parsing,而已上妆数据库还要多一个眼影的部分,对于素颜图片则没有眼影部分的问题,因此要根据眉眼特征点定位给出眼影区域。由于妆容分割的部分相对于背景更重要,网络输出loss选择的是加权交叉熵,

基于深度学习的人脸自动美妆与深度哈希算法

权重为使验证集上F1 score最大的权重值。另一方面,数据库中的脸都为正面,具有对称性,因此加上了对称性的先验约束,具体方法为在输出每个像素点的类别概率预测值后,将这个值与它的对称点再取均值作为最终输出:

基于深度学习的人脸自动美妆与深度哈希算法

最后是妆容迁移。本文中的妆容包括粉底(对应面部),唇彩(对应双唇),眼影(对应双眼)。眼影的迁移比较特殊,因为它不是直接改变双眼的部分,文章针对此设计了一个loss:

基于深度学习的人脸自动美妆与深度哈希算法

意指给需要的人脸上妆后眼影部分与推荐的带妆人脸眼影的特征的L2 Norm (该特征为从五官提取部分用到的FCN第一层卷积特征conv1-1)。类似的,对面部、上唇与下唇的loss: 

基于深度学习的人脸自动美妆与深度哈希算法

不同的是它计算了conv1-1,conv2-1, conv3-1, conv4-1, conv5-1层特征的相似度。最后给出的使这个loss最小的A(即最终给出的妆后人脸)满足以下条件:

基于深度学习的人脸自动美妆与深度哈希算法