最近开始机器学习经典教材-西瓜书的学习，为了方便以后查看，在此记录下来。

什么是机器学习

通过计算的手段，利用经验来改善系统性能。
机器学习所研究的内容，是如何在计算机上从数据中产生模型的算法，即“学习算法”。

机器学习任务划分

根据训练样本是否有标签，可分为：

• 监督学习
  • 分类：预测离散值，如二分类任务
  • 回归：预测连续值
• 无监督学习
  • 聚类：训练样本没有标记信息，通过了解数据内在规律自动分类，常用于数据分析

学习效果的评估问题

错误率、精度、误差等是用于评估学习效果的指标。

在实际中，希望得到的是在新样本上能表现很好的学习器，而面临的关键阻碍是过拟合问题。

已有数据集$D$,得到训练集和测试集的方法有：

1. 留出法：按照比例将数据集划分为训练集和测试集
2. 交叉验证法：将数据集划分为$k$份，并进行$k$次训练和测试，每次留一份作为测试集，最终返回$k$次测试的均值。
3. 自助法：对数据集$D$重复放回采样$m$次，得到$D^{\prime }$，将$D^{\prime }$作为训练集， 余下部分作为训练集。