全部笔记的汇总贴：《机器学习》西瓜书-读书笔记汇总贴

一、隐马尔可夫模型

白板推导系列笔记（十四）-隐马尔可夫模型

隐马尔可夫模型（Hidden Markov Model，简称HMM）是结构最筒单的动态贝叶斯网（dynamic Bayesian network），这是一种著名的有向图模型，主要用于 时序数据建模，在语音识别、 自然语言处理等领域有广泛应用。

• 状态转移概率
• 输出观测概率
• 初始态度概率

二、马尔科夫随机场

马尔可夫随机场（Markov Random Field ，简称MRF）是典型的马尔可夫网， 这是一种著名的无向图模型。图中每个结点表示一个或一组变量， 结点之间的边表示两个变量之间的依赖关系．马尔可夫随机场有一组势函数（potential functions），亦称 “因子” （factor）， 这是定义在变量于集上的非负实函数，主要用于定义概率分布函数。

三、条件随机场

白板推导系列笔记（十七）-条件随机场

条件随机场（Conditional Random Field，简称CRF）是 一种判别式无向图模型。生成式模型是直接对联合分布进行建模，而判别式棋型则是对条件分布进行建模。前面介绍的隐马尔可夫模型和马尔可夫随机场都是生成式模型，而条件随机场则是判别式模型。

四、学习与推断

基于概率图模型定义的联合概率分布，我们能对目标变量的边际分布（marginal distribution）或以某些可观测变量为条件的条件分布进行推断。

概率图模型的推断方法大致可分为两类．第一类是精确推断方法，希望能计算出目标变量的边际分布或条件分布的精确值；遗憾的是，一般情形下，此类算法的计算复杂度随着极大团规模的增长呈指数增长，适用范围有限．第二类是近似推断方法，希望在较低的时间复杂度下获得原问题的近似解；此类方法在现实任务中更常用。

近似推断得两种方法：

• 变量消去
• 信念传播

五、近似推断

白板推导系列笔记（二十五）-近似推断

精确推断方法通常需要很大的计算开销，因此在现实应用中近似推断方法更为常用。近似推断方法大致可分为两大类：

• 采样（MCMC采样）：通过使用随机化方法完成近似；
• 推断（变分推断）：使用确定性近似完成近似推断。

六、话题模型

话题模型（topic model）是一种生成式有向图模型，主要用于处理离散型的数据（如文本集合），在信息检索、自然语言处理等领域有广泛应用。隐狄利克雷分配模型（Latent Dirichlet Allocation，简称LDA）是话题模型的典型代表。

下一章传送门：西瓜书读书笔记（十五）-规则学习