2021.07.26

定义

1 机器学习

通过计算手段，利用经验来改善系统自身的性能。

2 基本术语

• 数据集 (data set)

  一堆有各种特征的西瓜
  数据集D ={x1, x2…xm}: 有m个西瓜

• 属性（attribute）或 特征（feature）

  比如 瓜的色泽状况，根蒂状况，敲打声响状况

• 维数（dimensionality)

  上面说的， 知道瓜的特征只有，色泽，根蒂，敲打声响，那么这批样本维数就是3维。
  $x_i=(x_{i1},x_{i2},...,x_{id})$:第i个样本 有1-d个特征（d维）

样本，特征，一起构成了特征向量

3 分类

4 假设空间

因为训练集有限，我们可能有多种假设均成立，那么这些假设集合叫做假设空间

5 归纳偏好

不同假设方法可能有不同“结果”，机器学习一定有归纳偏好，来告诉我们，目标样本的具体结果。

• 奥卡姆剃刀
  当多个假设均成立的方法中，通常选择最简单的方法。但这这种选择方案是惯例不并非绝对，可能还有更好的假设方案

• NFL定理
  在所有“问题”出现的机会相同、或所有问题同等重要的前提下，各个方案（假设）与误差没有直接关系。
  换句话说，在上面前提下，哪个方案都行，出错概论一样。

但因为有个样本空间，使得概率就有所不同，就有了算法的归纳偏好，所以要具体问题具体分析，再具体问题中，选取较好的算法（模型/方案），能够得到更准确的结果。