模式识别目的：利用计算机对物理对象进行分类， 在错误概率最小的条件下，使识别的结 果尽量与客观物体相符合

机器学习：研究如何构造理论、算法 和计算机系统，让机器通过从数据中 学习后可以进行如下工作：分类和识 别事物、推理决策、预测未来等。

模式识别的目标是在特征空间和解释空间中找到一种映射关系，称其为假说。
特征空间：从模式得到的对分类有用的度量、属性 或基元构成的空间。
机器学习的目标：针对某类任务T，用P衡量性 能，根据经验来学习和自我完善，提高性能。

监督学习

是从有标记的训练数据来推断或建立 一个模型，并依此模型推测新的实例。
• 训练数据包括一套训练实例。在监督学习中， 每个实例是由一个输入对象（通常为矢量）和 一个期望的输出值（也称为监督信号）组成。 一个最佳的模型将能够正确地决定那些看不见 的实例的标签。常用于分类和回归

无监督学习

无监督学习与监督学习的不同之处在于，事 先没有任何训练样本，需要直接对数据进行 建模，寻找数据的内在结构及规律，如类别 和聚类。 • 常用于聚类、概率密度估计。

半监督学习

主要考虑如何利用少量的标注样本和大量 的未标注样本进行训练和分类的问题。
主要算法有五类：基于概率的 算法；在现有监督算法基础上改进的方法； 直接依赖于聚类假设的方法；基于多视图的 方法；基于图的方法。

集成学习

机器学习中一 类学习算法，指联合训练多个弱分类器并通过集 成策略将弱分类器组合使用的方法。
常见的集成策略有：Boosting、Bagging、 Random subspace 、Stacking等。
• 常见的算法主要有：决策树、随机森林、 Adaboost、GBDT、DART等。

元学习

或者叫做“学会学 习”（Learning to Learn），它是要“学会如 何学习”，即利用以往的知识经验来指导新 任务的学习，具有学会学习的能力。 -----研究如何让元模型记忆理 解以往学习知识，使算法能在小样本训练的 情况下完成新任务的学习。

多任务学习

通过共享相关任务之间的表 征，联合训练多个学习任务的学习范式。
在通常的机器学习范式中，不同任务的学习 过程往往分别处理，任务间的关系完全被割 裂。而在**多任务学习范式中，联系学习机制 使不同任务的学习过程充分共享，可显著减 少每个任务所需的训练样本。主要形式有：联合学习、自主 学习和带有辅助任务的学习。
**

多标记学习

其所处理的数据集中的每个样本可同时 存在多个真实类标。
主要用于处理多种标签的语义重 叠，如预测歌曲的音乐流派，预测图书、商 品的属性标签。
多标记学习算法主要分为两类:
– 问题转换法：把多标签问题转为其它学习场景， 比如转为二分类、标签排序、多分类等。
– 算法改编法：通过改编流行的学习算法去直接处 理多标签数据，比如改编决策树、核技巧等。

对抗学习

对抗学习主要通过恶意输入来误导机器学习算 法或模型使其得到错误结果，并在该过程中暴 露机器学习算法存在的脆弱性，帮助设计适应 复杂环境的鲁棒学习方法。一个生成器一个判别器，固定一方，优化另一方，最后达到纳什平衡。判别准确率0.5.
常 见的对抗学习场景主要有：垃圾邮件过滤、身 份识别以及恶意软件检测等。

模式识别系统组成单元

– 测量空间：原始数据组成的空间 – 特征空间：分类识别赖以进行的空间 – 模式表示：维数较高的测量空间->维数较低的特征 空间

分类决策：在特征空间中用模式识别方法把被 识别对象归为某一类别 – 基本做法：在样本训练集基础上确定某个判决规则， 使得按这种规则对被识别对象进行分类所造成的错 误识别率最小或引起的损失最小。

下面一共分成十二章：

一维正态密度函数

多维正态就不是方差，而是协方差，多维正态密度函数由其均值m和协方差矩阵C确定。

协方差矩阵说明随机向量X的各分量的分散情况