这套笔记是跟着七月在线机器学习中的数学第二期的学习而记录的,主要记一下我再学习机器学习的时候一些概念比较模糊的地方,具体课程参考七月算法官网:

七月

数理统计和参数估计部分

一. 概率与数理统计

首先,看一下概率与统计的关注点

1概率论问问题的方式:

已知总体的所有可能性,求某种事件发生的概率,如图所示:

已知小桶中小球的总数和白球和黑球的个数,从小桶中取球,求取出白球或黑球的概率

2 数理统计问问题的方式(相关资料

已知总体服从某种分布,抽取样本,根据样本估计总体的分布方式,如图:

现在,我们不知道小桶中有多少个小球,我们从小桶中取出一些小球,根据这些小球中白球黑球的数据,估计小桶中黑球白球的分布情况。

3. 概率统计与机器学习之间的关系:

对于一个有监督的训练模型,如下图所示:

 

对于一个有监督的学习模型,我们已知一些有标签的样本,通过这些样本,构造出一个模型,来估计未被标记的样本,正如有图所示。

机器学习的训练过程,类似于统计的过程,预测过程,类似于计算概率的过程。

其次,在样本中,每个样本都用其自身的特征和对应的标签,假设每一行表示一个样本,如下图:

其中,每一列对应一个分布。标签也是一个分布。因此,可以基于各个分布的特性来苹果模型和样本

总结下概率统计和机器学习的关系

i. 统计估计的是分布,机器学习训练出来的是模型,模型可能包含了很多分布。

ii.训练与预测过程的一个核心评价指标就是模型的误差

iii. 误差本身就可以是概率的形式,与概率紧密相关

iv. 对误差的不同的定义方式就演化成不同损失函数的定义方式。

3. 协方差:(关于期望方差之类的内容,这里不再说明)

定义 Cov(X,Y) = E{[X-E(X)][Y-E(Y)]} =E(XY)-E(X)E(Y)

协方差评价两个随机变量之间的关系,是两个随机变量具有相同方向变化趋势的度量

Cov(X,Y)>0, 则其变化趋势相同

Cov(X,Y)<0, 其变化趋势相反

Cov(X,Y)=0. X与Y不相关

协方差的上界:|Cov(X,Y)| <=两个变量标准差的乘积

4. 独立与不相关:

不相关,是说明X,Y 没有线性关系,即线性不相关,但是他们有没有非线性关系是不能保证的。

5. 贝叶斯公式的思考

P(A|D) = P(D|A)P(A)/P(D)

P(A|D):在给定条件D的时候A发生的概率,

D为已知的样本,

因此P(A|D)表示给定样本之后,计算分布的参数, 哪组参数取的概率越大,哪组参数就是最有可能被我们估计的那个值。

即: 给定某些样本D,在这些样本中计算结论A1, A2,...An出现的概率,P(Ai|D)。

maxP(Ai|D) = maxP(D|Ai)P(Ai)/P(D) -------> max(P(D|Ai)P(Ai))       //P(D)为常数,样本本身发生的概率

                                                                 -------> max(P(D|Ai))      //假设在没有任何先验信息的情况下,P(Ai)近似等概率出现

 => maxP(Ai|D) --> maxP(D|Ai)  

说明,在样本给定的情况下,求哪个参数的概率最大等价于求哪个参数能够使得样本D出现的概率最大(最大可能发生)

因此,我们不再去求某种数据给定的时候,某个参数的可能值最大,而是求哪个参数能够使这个数据产生的概率最大,这个也是极大似然估计的基本思想。
 

转自:https://blog.csdn.net/thystar/article/details/51224733

 

参考资料:

七月算法:机器学习中的数学 http://edu.duolaimier.cn

 

Logo

CSDN联合极客时间,共同打造面向开发者的精品内容学习社区,助力成长!

更多推荐