参考文献：**Jaderberg M, Simonyan K, Zisserman A. Spatial transformer networks[C]//Advances in Neural Information Processing Systems. 2015: 2017-2025.

摘要

卷积神经网络（CNN）已经被证明能够训练一个能力强大的分类模型，但与传统的模式识别方法类似，它也会受到数据在空间上多样性的影响。这篇Paper提出了一种叫做空间变换网络（Spatial Transform Networks， STN）,该网络不需要关键点的标定，能够根据分类或者其它任务自适应地将数据进行空间变换和对齐（包括平移、缩放、旋转以及其它几何变换等）。在输入数据在空间差异较大的情况下，这个网络可以加在现有的卷积网络中，提高分类的准确性。

——————
由于我之前的工作部分涉及到人脸对齐，所以看到这篇Paper异常激动。总觉得能用它做点什么。

算法介绍

1. 算法总流程

STN 主要可以分为三个部分：1）localisation network. 2) grid generator. 3) sampler. (中文我翻译不准确，大家意会下)。localisation network用来计算空间变换的参数 θ<script type="math/tex" id="MathJax-Element-1">\theta</script>，grid generator则是得到input map U∈RH×W×C<script type="math/tex" id="MathJax-Element-2">U \in R^{H\times W\times C}</script>到 output map 各位置的V∈RH′×W′×C<script type="math/tex" id="MathJax-Element-3">V \in R^{H'\times W'\times C}</script>对应关系 Tθ<script type="math/tex" id="MathJax-Element-4">\mathcal T_\theta</script>， sampler根据input map U<script type="math/tex" id="MathJax-Element-5">U</script> 和 对应关系 Tθ<script type="math/tex" id="MathJax-Element-6">\mathcal T_\theta</script>，生成最终的output map. 流程图如图所示：

1.1 Localisation Network

它的作用就是通过一个子网络（全连接或者卷积网，再加一个回归层），生成空间变换的参数θ<script type="math/tex" id="MathJax-Element-7">\theta</script>。θ<script type="math/tex" id="MathJax-Element-8">\theta</script> 的形式可以多样，如需实现2D仿射变换，θ<script type="math/tex" id="MathJax-Element-9">\theta</script> 就是一个6维（2x3）向量的输出。

1.2 Parameterised Sampling Grid

假设U<script type="math/tex" id="MathJax-Element-10">U</script> (不局限于输入图片，也可以是其它层输出的feature map)每个像素的坐标为(xsi,ysi)<script type="math/tex" id="MathJax-Element-11">(x_i^s, y_i^s)</script>， V<script type="math/tex" id="MathJax-Element-12">V</script> 的每个像素坐标为(xti,yti)<script type="math/tex" id="MathJax-Element-13">(x_i^t, y_i^t)</script>, 空间变换函数 Tθ<script type="math/tex" id="MathJax-Element-14">\mathcal T_\theta</script> 为仿射变换函数，那么 (xsi,ysi)<script type="math/tex" id="MathJax-Element-15">(x_i^s, y_i^s)</script> 和 (xti,yti)<script type="math/tex" id="MathJax-Element-16">(x_i^t, y_i^t)</script> 的对应关系可以写为：

<script type="math/tex; mode=display" id="MathJax-Element-17"> \begin{pmatrix} x_i^s \\ y_i^s \end{pmatrix} =\mathcal T_\theta(G_i)=\mathbf{A}_\theta \begin{pmatrix} x_i^t \\ y_i^t \end{pmatrix} </script>

当然，Aθ<script type="math/tex" id="MathJax-Element-18">A_\theta</script>也可以有其它形式，如3D仿射变换，透射变换等。

1.3 Differentiable Image Sampling

在计算得到 Tθ<script type="math/tex" id="MathJax-Element-43">\mathcal T_\theta</script> 后，就可以由以下公式 U<script type="math/tex" id="MathJax-Element-44">U</script> 得到 V<script type="math/tex" id="MathJax-Element-45">V</script> 了（省略推导公式若干，只放上最终形式）：

<script type="math/tex; mode=display" id="MathJax-Element-46"> V_i^c=\sum_n^{H}{\sum_m^{W}{ U^c_{nm} \max(0, 1-|x_i^s-m)|\max(0, 1-|y_i^s-n|)}} </script>

在求得 V<script type="math/tex" id="MathJax-Element-47">V</script> 后，当然少不了上述公式对 U<script type="math/tex" id="MathJax-Element-48">U</script>, xs<script type="math/tex" id="MathJax-Element-49">x^s</script> , ys<script type="math/tex" id="MathJax-Element-50">y^s</script>的求导，以便根据loss进行网络的后向传播：

<script type="math/tex; mode=display" id="MathJax-Element-27"> \frac{\partial{V_i^c}}{\partial{U^c_{nm}}}=\sum_n^{H}{\sum_m^{W}{ \max(0, 1-|x_i^s-m)|\max(0, 1-|y_i^s-n|)}} </script>

<script type="math/tex; mode=display" id="MathJax-Element-28"> \frac{\partial{V_i^c}}{\partial{x^s_i}}=\sum_n^{H}{\sum_m^{W}{ U^c_{nm} \max(0, 1-|x_i^s-m)|\max(0, 1-|y_i^s-n|)}} \begin{cases} 0, & \text{if $|m-x_i^s|\ge1$} \\ 1, & \text{if $m\ge{x_i^s}$}\\ -1 & \text{if $m\lt{x_i^s}$}\\ \end{cases} </script>

∂Vci∂ysi<script type="math/tex" id="MathJax-Element-29">\frac{\partial{V_i^c}}{\partial{y^s_i}}</script> 与 ∂Vci∂xsi<script type="math/tex" id="MathJax-Element-30">\frac{\partial{V_i^c}}{\partial{x^s_i}}</script> 类似。对 θ<script type="math/tex" id="MathJax-Element-31">\theta</script> 的求导为：

<script type="math/tex; mode=display" id="MathJax-Element-32"> \frac{\partial{V_i^c}}{\partial{\theta}}= \begin{pmatrix} \frac{\partial{V_i^c}}{\partial{x^s_i}} \cdot \frac{\partial{x^s_i}}{\partial{\theta}} \\ \frac{\partial{V_i^c}}{\partial{y^s_i}} \cdot \frac{\partial{y^s_i}}{\partial{\theta}} \end{pmatrix} </script>

而 ∂xsi∂θ<script type="math/tex" id="MathJax-Element-33">\frac{\partial{x^s_i}}{\partial{\theta}} </script>, ∂ysi∂θ<script type="math/tex" id="MathJax-Element-34">\frac{\partial{y^s_i}}{\partial{\theta}} </script> 根据具体的变换函数便可得到。

通过以上3个部分的结合，便形成了完整的 STN。

2. 算法分析

STN 计算较快，几乎没有增加原有网络模型的训练时间。由于它能够在训练过程中，学习到与任务相关的空间变换参数，因此能够进一步最小化网络的损失函数。STN 不只可以用在输入的图像层，也可以加入卷积层或者其它层之后。

3. 实验结果

这篇文章分别在手写文字识别、街景数字识别、鸟类分类以及共定位等方面做了实验， 这里我只列出比较有代表性的手写文字实验部分。

实验数据为MNIST，分别在经过不同处理（包括 旋转（R）、旋转、缩放、平移（RTS），透射变换(P）)，弹性变形（E））的数据上进行字符识别的实验。Baseline分别使用了两种网络结构FCN , CNN, 加入了 STN 的网络为 ST-FCN, ST-CNN。其中，STN 采用了以下几种变换方法：仿射变换（Aff )、透射变换（Proj )、以及薄板样条变换（TPS )。下表列出了 STN 与 baseline 在MNIST上的比较结果，表中数据为识别错误率：

可以看出，对不同的形式的数据，加入了STN 的网络均优于 baseline 的结果。以下为 STN 对数字图像进行变换后的结果，其中a列为原始数据，b列为变换参数的示意图，c列为最终变换后的结果：

总结

STN 能够在没有标注关键点的情况下，根据任务自己学习图片或特征的空间变换参数，将输入图片或者学习的特征在空间上进行对齐，从而减少物体由于空间中的旋转、平移、尺度、扭曲等几何变换对分类、定位等任务的影响。加入到已有的CNN或者FCN网络，能够提升网络的学习能力。