模块1 课程导论

模式识别的定义：

Pattern：一类事物的共同特征 Recognition：对事物进行分类

Pattern recognition: 依据事物的特征进行分类。

模式识别的应用：

人脸识别，语音识别，翻译，手势识别，目标跟踪

学习目标：

基本原理和主要算法

1. 掌握模式识别的基础知识，分析设计模式识别的解决方法实现编程。
2. 基础性，实践性，趣味性。
3. 基本概念：训练方法，特征空间，紧致性和可分性；
4. 基本原理：分类与聚类，有监督和无监督，特征降维
5. 主要算法：线性分类器，贝叶斯分类器，模糊模式识别，神经网络模式识别。

学习方法和路径

基本概念和基本原理学习——>主要算法学习和编程练习——>项目分析、设计实现

板块2：模式识别的基本概念

学习目标：

1. 理解模式识别的基本概念：特征与特征空间，有监督与无监督学习，禁止性，维数宅男，泛化能力，过拟合
2. 理解模式识别的一般结构，并理解各个环节的主要任务。
3. 了解模式识别算法体系的全貌，理解算法之间的逻辑关系
4. 了解贯穿本课程的工程案例的主要任务和数据内容
5. 能够通过编程实现模块匹配算法来解决简单的模式识别问题。

模式识别的基本概念

特征空间的类型：向量空间，集合空间

向量空间：特征作为向量空间中的一个点，通过点与点之间的距离来定义分类，当今世界的统计模式识别就是通过这样的方法来实现的。

集合空间：样本的特征不能通过向量空间来表示，构成集合，集合的分类不能通过距离来表示，则可通过结构和拓扑关系来关联相似性。

模式识别的核心：分类器

分为两种模式：有监督学习和无监督学习

有监督学习：类别标签是人类给定的，从训练中学习到具体的分类决策规则，有监督学习是认识的过程，即她的上限也就是人脑

无监督学习：人类没有定义类别标签，按照一些规则，将样本进行分类，挖掘每一类的特征，从而形成分类决策规则。

无监督学习能更好的具有更高的智能，也是未来识别技术发展的主要方向。

图 1 无监督学习

紧致性和维数灾难

图 2 紧致性

相似性度量，可设置多种指标，最常用的是距离指标，满足以下三个条件：

正定性：距离是大于或等于0的正实数，当且仅当和自己计算时才为0.

对称性：样本之间的距离值和计算顺序无关。

传递性：三角不等式

非距离指标：如遇险相似度，相关系数相似度，布尔值度量的相似度。

维度：维度越大，紧致性就越好

维度不能无限增加，增加过大就会出现维度灾难：导致维度灾难的根本原因是：随着维度的无限增加，问题就越往高维特的特征空间影射，样本集中的样本本来就稀疏，从而导致样本的紧致性降低，分类器的性能反而越来越差。

图 3 维数增加的后果

泛化能力和过拟合

泛化能力：训练好的分类器对于未知新样本的识别能力称为泛化能力

过拟合：由于过分追求训练样本中的分类正确性，导致分类器泛化能力降低，称为分类器的过拟合

模式识别系统

图 4 模式识别系统

Feature extraction: 对原始的高维数据进行映射变换，生成一组维数更少的特征。

Feature selection: 在已有的特征中，选择一些特征，抛弃一些特征。

模式识别的算法体系

图 5 模式识别的算法体系

第一个模式识别算法案例

图 6

算法：从模板匹配开始

图 7

采用模板匹配算法，输入图片后，经过模式采集，预处理和特征生成后，得到一个784维的特征向量，特征向量与模板向量进行比较，通过欧氏距离决定所属类别。

Mnist 数据集简介：national institute of standard and technology,在Matlab深度学习模块有现成的

每张28*28图片均为单通道（灰度），包含784个数据点，每个数据点代表当前位置的灰度值，范围0-255