图3. SeetaFace Detector在FDDB上的ROC曲线
此外，与其他算法相比，SeetaFace Detector在速度上有一定优势。对于640x480大小的VGA图像，检测速度的对比情况如表1所示。其中，SeetaFace的速度在单个3.40GHz的i7-3770 CPU上测得，Cascade CNN[3]在CPU上的速度在2.0GHz的CPU上测得(引自原文)。而各方法在GPU上的速度在NVIDIA Titan Black GPU上测得。
特征点定位模块SeetaFace Alignment
面部特征点定位(人脸对齐)在人脸识别、表情识别、人脸动画合成等诸多人脸分析任务中扮演着非常重要的角色。由于姿态、表情、光照和遮挡等因素的影响，真实场景下的人脸对齐任务是一个非常困难的问题。形式上，该问题可以看作是从人脸表观到人脸形状的复杂非线性映射。为此，SeetaFace Alignment采用的是我们提出的一种由粗到精的自编码器网络(Coarse-to-Fine Auto-encoder Networks, CFAN [8])来求解这个复杂的非线性映射过程。如图 4所示，CFAN级联了多级栈式自编码器网络，其中的每一级都刻画从人脸表观到人脸形状的部分非线性映射。具体来说，输入一个人脸区域(由人脸检测模块得到)，第一级自编码器网络直接从该人脸的低分辨率版本中快速估计大致的人脸形状S 0 。然后，提高输入人脸图像的分辨率，并抽取当前人脸形状S 0 (相应提升分辨率)各特征点位置的局部特征，输入到下一级自编码器网络来进一步优化人脸对齐结果。以此类推，通过级联多个栈式自编码器网络，在越来越高分辨率的人脸图像上逐步优化人脸对齐结果。
图4. 基于由粗到精自编码器网络(CFAN)的实时人脸对齐方法[8]
此次开源的SeetaFace Alignment基于上述CFAN方法实现了5个面部关键特征点(两眼中心，鼻尖和两个嘴角)的精确定位，训练集包括23,000余幅人脸图像(标注了5点)。需要注意的是，为加速之目的，在基本不损失精度的情况下，开源实现中将CFAN级联的数目减少到了2级，从而可在单颗Intel i7-3770 (3.4 GHz CPU)上达到每个人脸5ms的处理速度(不包括人脸检测时间)。图5给出了一些用SeetaFace Alignment开源引擎定位面部5点的效果示例，可见其对表情、姿态、肤色等均具有较好的鲁棒性。在AFLW数据集上的量化评价和对比情况如图6所示，其中平均定位误差根据两眼中心距离做了归一化。不难看出，SeetaFace Alignment取得了state-of-the-art的定位结果。
图5. SeetaFace Alignment定位结果示例
图6. SeetaFace Alignment在AFLW数据集上的定位误差及对比情况
其中LE：左眼，RE：右眼，N：鼻尖，LM：左嘴角，RM：右嘴角
人脸特征提取与比对模块SeetaFace Identification
人脸识别本质上是要计算两幅图像中人脸的相似程度，其一为注册阶段(类比人的相识过程)输入系统的，另一幅为识别阶段(即再见时的辨认过程)的输入。为此，如图7所示，一套全自动的人脸识别系统在完成前述的人脸检测与人脸对齐两个步骤之后，即进入第三个核心步骤：人脸特征提取和比对。这个阶段也是深度学习风起云涌之后进步最大的模块，目前大多数优秀的人脸识别算法均采用卷积神经网络(CNN)来学习特征提取器(即图7中的函数F)。
图7.人脸识别系统的核心流程
SeetaFace开源的人脸特征提取模块也是基于卷积神经网络的。具体地说，其实现的是[9]中所描述的深度卷积神经网络VIPLFaceNet：一个包含7个卷积层与2个全连接层的DCNN。其直接修改自Hinton教授的学生Alex Krizhevsky等于2012年设计的AlexNet(即引爆CNN在视觉中广泛应用的网络)。如表2对比所示，与AlexNet相比，VIPLFaceNet将5x5的卷积核拆分为两层3x3的卷积核，从而增加了网络深度，而并没有增加计算量;VIPLFaceNet还减少了每个卷积层的kernel数目以及FC2层的节点数。同时，通过引入Fast Normalization Layer(FNL)，加速了VIPLFaceNet的收敛速度，并在一定程度上提升了模型的泛化能力。测试表明，在相同训练集情况下，VIPLFaceNet在LFW测试集上识别错误率比AlexNet降低了40%，而训练和测试时间分别为AlexNet的20%和60%。