统计模式识别_综述

参考文献：Statistical Pattern Recognition: A Review

要点

模式识别的主要目标是有监督或无监督分类。在传统模式识别的各种框架中，统计方法得到了最深入的研究和实践应用。近年来，从统计学习理论中引入的神经网络技术和方法越来越受到人们的重视。识别系统的设计需要仔细关注以下问题：模式类的定义、感知环境、模式表示、特征提取和选择、聚类分析、分类器设计和学习、训练和测试样本的选择以及性能评估。

介绍

• 模式识别是研究机器如何观察环境，学会从背景中区分感兴趣的模式，并对模式的类别做出合理合理的决策。
• 模式识别系统的设计主要涉及以下三个方面：1）数据采集和预处理，2）数据表示，3）决策。
• 四种最著名的模式识别方法是：1）模板匹配，2）统计分类，3）句法或结构匹配，4）神经网络。这些模型不一定是独立的，有时相同的模式识别方法存在不同的解释。已经尝试设计涉及多个模型的混合系统。

模式识别方法

（1）模板匹配：最简单和最早的方法之一，匹配是模式识别中的一种通用操作，用于确定相同类型的两个实体（点、曲线或形状）之间的相似性，要识别的模式与存储的模板匹配，同时考虑所有允许的姿势（平移和旋转）和比例变化。相似性度量（通常是相关性）可以基于可用的训练集进行优化。
缺点：如果模式由于成像过程、视点变化或模式之间的大的组内变化而失真，那么它将失败。
（2）统计方法：在统计方法中，每个模式用d特征或测量值表示，并被视为d维空间中的一个点，目标是选择那些允许属于不同类别的模式向量在d维特征空间中占据紧凑和不相交区域的特征，表示空间（特征集）的有效性取决于不同类别的模式的分离程度。给定每个类别的一组训练模式，目标是在特征空间中建立决策边界，将属于不同类别的模式分开。
（3）句法方法：模式被视为由简单的子模式组成，这些子模式本身是由更简单的子模式构建而成的。要识别的最简单/基本的子模式称为基元，给定的复杂模式根据这些基元之间的相互关系来表示。模式被视为属于一种语言的句子，原语被视为该语言的字母表，句子是根据语法生成的。因此，大量复杂模式可以用少量的原语和语法规则来描述。必须从可用的训练样本中推断出每个模式类的语法。
（4）神经网络：模式分类任务中最常用的神经网络家族是前馈网络，它包括多层感知器和径向基函数（RBF）网络。这些网络被组织成层并在层之间具有单向连接。另一种流行的网络是自组织映射（SOM）或Kohonen网络，主要用于数据聚类和特征映射。学习过程涉及更新网络结构和连接权重，以便网络能够有效地执行特定的分类/聚类任务。

统计模式识别
识别系统以两种模式运行：培训（学习）和分类（测试）

预处理模块的作用是从背景中分割感兴趣的图案、去除噪声、规范化图案以及有助于定义图案紧凑表示的任何其他操作。在训练模式中，特征提取/选择模块找到用于表示输入模式的适当特征，并且训练分类器以划分特征空间。反馈路径允许设计者优化预处理和特征提取/选择策略。
设计一个识别系统的目标是对未来可能与训练样本不同的测试样本进行分类。因此，优化分类器以使其在训练集上的性能最大化可能并不总是在测试集上获得所需的性能。分类器的泛化能力是指其对训练阶段未使用的测试模式进行分类的性能。分类器泛化能力差可归因于以下任一因素：（1）特征的数量相对于训练样本的数量太大（维数灾难），（2）与分类器相关联的未知参数数量较大（例如，多项式分类器或大型神经网络），（3）分类器在训练集上过于密集优化（过度训练）；这类似于自由参数过多时回归中的过度拟合现象。
维度诅咒
维数诅咒：当面对有限的训练集时，系统设计者应该尝试只选择少量的显著特征。对于固定样本大小，生成的插件分类器的性能可能会随着特征数量的增加而降低。
特征提取
（1）（线性）主成分分析（PCA）：计算n个d维模式的d X d协方差矩阵的m个最大特征向量,线性变换定义为：Y=XH（X是nxd模式矩阵，Y是nxm模式矩阵，H是以列为特征向量的线性变换的dxm矩阵），由于PCA使用最具表现力的特征（具有最大特征值的特征向量），因此它使用均方误差准则通过线性子空间有效地逼近数据
（2）（线性）独立分量分析（ICA）：适合于非高斯分布，不依赖于数据的二阶特性。ICA已成功用于盲源分离；提取定义独立源的线性特征组合。
（3）（非线性）核主成分分析：首先通过非线性函数$\varphi$将输入数据映射到新的特征空间F（例如，p次多项式），然后在映射空间中执行线性PCA。F空间通常具有非常高的维数,为了避免显式计算映射$\varphi$，内核PCA只使用可以分解为点积的Mercer内核：$k(x,y)=\varphi (x)\ast \varphi (y)$。