这套笔记是跟着七月在线机器学习中的数学第二期的学习而记录的，主要记一下我再学习机器学习的时候一些概念比较模糊的地方，具体课程参考七月算法官网：

七月

数理统计和参数估计部分

一. 概率与数理统计

首先，看一下概率与统计的关注点

1概率论问问题的方式：

已知总体的所有可能性，求某种事件发生的概率，如图所示：

已知小桶中小球的总数和白球和黑球的个数，从小桶中取球，求取出白球或黑球的概率

2 数理统计问问题的方式（相关资料）

已知总体服从某种分布，抽取样本，根据样本估计总体的分布方式，如图：

现在，我们不知道小桶中有多少个小球，我们从小桶中取出一些小球，根据这些小球中白球黑球的数据，估计小桶中黑球白球的分布情况。

3. 概率统计与机器学习之间的关系：

对于一个有监督的训练模型，如下图所示：

 

对于一个有监督的学习模型，我们已知一些有标签的样本，通过这些样本，构造出一个模型，来估计未被标记的样本，正如有图所示。

机器学习的训练过程，类似于统计的过程，预测过程，类似于计算概率的过程。

其次，在样本中，每个样本都用其自身的特征和对应的标签，假设每一行表示一个样本，如下图：

其中，每一列对应一个分布。标签也是一个分布。因此，可以基于各个分布的特性来苹果模型和样本

总结下概率统计和机器学习的关系

i. 统计估计的是分布，机器学习训练出来的是模型，模型可能包含了很多分布。

ii.训练与预测过程的一个核心评价指标就是模型的误差

iii. 误差本身就可以是概率的形式，与概率紧密相关

iv. 对误差的不同的定义方式就演化成不同损失函数的定义方式。

3. 协方差：(关于期望方差之类的内容，这里不再说明)

定义 Cov(X,Y) = E{[X-E(X)][Y-E(Y)]} =E(XY)-E(X)E(Y)

协方差评价两个随机变量之间的关系,是两个随机变量具有相同方向变化趋势的度量

Cov(X,Y)>0, 则其变化趋势相同

Cov(X,Y)<0, 其变化趋势相反

Cov(X,Y)=0. X与Y不相关

协方差的上界：|Cov(X,Y)| <=两个变量标准差的乘积

4. 独立与不相关：

不相关，是说明X,Y 没有线性关系，即线性不相关，但是他们有没有非线性关系是不能保证的。

5. 贝叶斯公式的思考

P(A|D) = P(D|A)P(A)/P(D)

P(A|D):在给定条件D的时候A发生的概率，

D为已知的样本，

因此P(A|D）表示给定样本之后，计算分布的参数, 哪组参数取的概率越大，哪组参数就是最有可能被我们估计的那个值。

即： 给定某些样本D,在这些样本中计算结论A1， A2,...An出现的概率，P(Ai|D)。

maxP(Ai|D) = maxP(D|Ai)P(Ai)/P(D) -------> max(P(D|Ai)P(Ai))       //P(D)为常数，样本本身发生的概率

                                                                 -------> max(P(D|Ai))      //假设在没有任何先验信息的情况下，P(Ai)近似等概率出现

 => maxP(Ai|D) --> maxP(D|Ai)  

说明，在样本给定的情况下，求哪个参数的概率最大等价于求哪个参数能够使得样本D出现的概率最大（最大可能发生）

因此，我们不再去求某种数据给定的时候，某个参数的可能值最大，而是求哪个参数能够使这个数据产生的概率最大，这个也是极大似然估计的基本思想。
 

转自：https://blog.csdn.net/thystar/article/details/51224733

 

参考资料：

七月算法：机器学习中的数学 http://edu.duolaimier.cn