不确定建模学习笔记
一、介绍:了解我们不知道的事物的重要性二、不确定性语言三、贝叶斯深度学习四、不确定性质量五、应用六、深入洞察七、研究展望第一节:知道我们所不知道的。1.1Aleatoric uncertainty and epistemic uncertainty 任意不确定性和认知不确定性认知不确定性也称model uncertainty(模型不确定性),包含unce...
一、介绍:了解我们不知道的事物的重要性
二、不确定性语言
三、贝叶斯深度学习
四、不确定性质量
五、应用
六、深入洞察
七、研究展望
第一节:知道我们所不知道的。
1.1 Aleatoric uncertainty and epistemic uncertainty 任意不确定性和认知不确定性
认知不确定性也称model uncertainty(模型不确定性),包含uncertainty in model parameters和structure uncertainty。
任意不确定性和认知不确定性可用于推导预测性不确定性(预测数据的置信水平)
第二节:不确定的语言
2.1 贝叶斯建模
变分推理
概率分布优化替代点估计
2.2 贝叶斯神经网络
对于普通的神经网络来讲,需要设计好损失函数,通过SDG、Adam等优化器进行优化求得最优参数,使得Loss最小,而对于贝叶斯神经网络,需要最小化的便是KL散度,我们需要将KL散度拆分成方便计算求解的项。
第三节 贝叶斯深度学习
3.1先进推断方法
目标函数最小化
为了降低计算量,采用子采样
MC 蒙特卡洛方法估计log 的期望
3种方法:Score function Pathwise deriative Chacracrer function
3.2实用推断
更多推荐
所有评论(0)