eba638a6d5af7468845bd606f4fe93c7.png

本章先讨论概率密度函数的一般性质,再介绍高斯分布里对应的性质,解释部分内容的证明过程;

在引⼊概率和统计的基本概念时,我们将主要基于频率学派的基本思想,但对于状态估计问题,则采⽤贝叶斯学派的观点。

频率学派认为参数是虽然未知,但却是客观存在的固定值;
贝叶斯学派认为参数是随机值,服从某种分布;
频率学派最常关心似然函数(如传感器模型p(y|x)),而贝叶斯学派最常关心后验分布(如p(x|y))。后验分布等于似然函数乘以先验分布(p(x))再归一化。
因此,贝叶斯学派常应用于需要采样的复杂模型,如传感器;频率学派没有假设先验分布,则更加无偏,应用于一些保守的领域。

2.1 概率密度函数

为什么使用概率密度函数?系统的状态通常由一个随机变量描述,我们从它的分布情况了解系统的状态信息;

全概率公理:

cc6bc9a533b327ebb78c0eae3326b75b.png

条件概率、联合概率也满足全概率公理;

概率与似然的区别
概率(或然性):在 已知一些参数的情况下,预测接下来在观测上所得到的结果;
似然性:在 已知某些观测所得到的结果时,对有关事物之性质的参数进行估值。如 P(y|x)传感器模型为似然;

贝叶斯公式:联合=条件*边缘;

22843d58fce0e091da210240930f5a18.png

a6a9f0cc660921f3784611f387c52a8e.png

边缘p(y)难以直接计算,因为涉及所有传感器读书的分布

因此,实际当中不会直接描述p(x|y)的分布,通常取某些近似方式(高斯分布),使用一些简单的性质来刻画这个分布——矩(0阶矩为全事件的概率等于1,1阶矩称为期望,2阶矩称为协方差;)

如何估计某个随机变量的矩?

样本均值和样本方差

只用1阶和2阶矩刻画某个分布,等同于将它近似为高斯分布;每次传感器测量数据就是一个样本,计算随机变量的1和2阶矩;

1254091b9de369b37e71b6e1b2c60e8b.png

公式中贝塞尔修正1/N-1 作为对有偏估计的修正;因为 N 个样本的样本方差自由度是 N−1,其中⼀个自由度因为均值而消去,所以归⼀化系数是 1/(N−1)

统计独立

bb70b7c1df205e3d37d1e83f6e3eaa3c.png

不相关

8d67639e8f704a57f4a9e26007a48635.png

归一化积

df504790538a1ffdad7c78039401ce81.png

考虑状态x的多个估计分布融合(多传感器融合)

负熵/香农信息量:描述分布的混乱程度;(机器学习决策树就用的负熵);值越小代表越稳定;

互信息:已知⼀个随机变量的信息之后,另⼀个随机变量不确定性的减少了多少。

2.2 高斯概率密度函数

一维高斯分布

536941394419dda274933ee465f5aff1.png

证明高斯分布积分为1;

001bbb3a7bc29a9bae288bb9cf992687.png

多维高斯分布

多维高斯分布是如何由一维发展而来的?​www.zhihu.com
1a7272c2ecc5c2b3b0f516e1ec625570.png

89e103fe327105dcdc6ef09f7120bb26.png
协方差矩阵由方差和协方差组成;方差是用来度量单个随机变量的离散程度;协方差则一般用来刻画两个随机变量的相似程度;协方差矩阵描述了线性变换的情况,是对称正定的;

均值和协方差的证明

ae9cc2114be2b982dcf0f593c2a40529.png

594a4233bf78bf698f62112d0181e46e.png

联合高斯分布

高斯推断/边缘化:联合分布=条件概率*边缘概率

已知联合分布和边缘分布,求条件分布,这一过程称为高斯推断

书中2.50推导补充

135c96caa27a6a6cb040c7bea5a8cb7e.png

高斯分布的独立性和不相关性

高斯分布,独立性=不相关性(详细推导过程见书)

54ffdea5f7e282cdacaa8d84dd901f7f.png

高斯分布的线性变换

2da1a17da17fd17ed3dae8ef3c113e3a.png

高斯分布的归一化积

13ea564a5db0fb922e2b756f420c5330.png

ab82c7b44c8d6f40a466fcebcafbdf05.png

Sherman-Morrison-Woodbury 等式

278ec9310f5eb80165da8b001d5cfcc5.png
1,2对称(将2式D=A,C=B,A=D,B=C即为1式); 2,3对称

高斯分布的非线性变换

3953640cc719a9e2dd4856187dcdbdcc.png

Tips:

[1] 高斯推断是本章的核心,也是整本书最核心的内容;

其它概念参考:

如何理解二次型?_网络_马同学-CSDN博客​blog.csdn.net
ddfdb6314e687bf38e2a8c09ea784a35.png
清雅白鹿记:为什么高斯分布概率密度函数的积分等于1​zhuanlan.zhihu.com
6c66e9df216d14567f0f7d25ad6da9fa.png
Logo

CSDN联合极客时间,共同打造面向开发者的精品内容学习社区,助力成长!

更多推荐