2020
IJCAI2019 Computer Vision and Pattern Recognition
Bing Cao, Nannan Wang, Xinbo Gao, Jie Li, Zhifeng Li

一、简介

提出了一种深度神经网络方法，即基于多边缘的去相关学习(MMDL)，用于在超球空间中提取跨域人脸图像的去相关表示。

该框架可分为两个部分:异质表示网络和去相关表示学习。首先，我们使用大规模可访问的视觉人脸图像来训练异质表示网络。去相关层将第一分量的输出投影到去相关潜在子空间中，并获得去相关表示。此外，我们设计了一个多余量损失(MML)，它由四个余量损失(QML)和非均匀角余量损失(HAML)组成，以约束所提出的框架。

二、模型结构

Heterogeneous Representation Network（异质表示网络）：

对于异质人脸图像，相同身份的不同样本共享相同的不变特征表示。该网络旨在提取不变特征表示。

使用SE-LResNet50E-IR网络。在MS-celebe-1M数据库上进行预训练。所有的图像被五个面部标志对齐并裁剪成112 × 112。

Decorrelation Representation Learning（去相关表征学习）：

Decorrelation Layer（去相关层）实际上是一个全连接层，VIS和NIR图像共用一个全连接层。作用是去掉人脸相关的信息，比如光照，姿态，表情变化等。

三、损失函数

Multi-Margin Loss（多余量损失）

quadruplet margin loss（QML）：

称为四余量损失。重丢失对于提高传统人脸识别的准确性是有效的。然而，不同于传统的人脸识别，HFR匹配来自不同模态的人脸图像。约束人脸图像离同一个域的距离是没有意义的。

QML旨在增加类间跨域图像之间的距离，并减少类内跨域图像之间的距离。为加速收敛，引入了负样本对。

heterogeneous angular margin loss （HAML）：

不均匀角裕度损失。角度损失的变体。

总体损失：

四、具体流程

固定去相关层参数，使用MML损失更新异质表示网络。

然后固定异质表示网络，使用余弦相似度损失更新去相关层参数，具体损失见第二节。

五、实验

CASIA NIR-VIS 2.0 database：

Oulu-CASIA NIR-VIS database：