说明

此文章根据B站【机器学习】【白板推导系列】整理，当作备忘，视频链接：

https://www.bilibili.com/video/BV1aE411o7qd?p=1&vd_source=9ad5a4e3520c719387cbea5ab7ba26a3

一、 资料推荐

教材

1、李航《机器学习方法》

公式推理比较多，新版加入了现代神经网络和深度学习部分

2、周志华《机器学习》

比较硬核，讲述的是传统机器学习的基础模型，建议搭配《机器学习公式详解》一起使用

3、PRML

模式识别领域介绍较多

4、ESL

5、Deep Learning 圣经 （张志华团队翻译）

课程

1、台大 林轩田《基石》《技法》

2、张志华《机器学习导论》《统计机器学习》

3、CS229（2017年版）

4、徐亦达 概率模型和GitHub笔记

5、台大 李宏毅 ML 2021~2023，MLDS 2018

李老师现在还在更新课程，B站有链接和配套的PPT以及CoLab的作业链接。

二、对于机器学习任务的理解：频率派vs贝叶斯派

对于样本$X=(x_1,...,x_n{)}^{n\ast p}$以及参数$\theta$，有$X\sim P(X|\theta )$

频率派

$\theta$是位置的常量，可以通过极大似然求解，本质是一个求解优化Loss Function的问题：
${\theta }_{MLE}=argma{x}_{\theta }L(\theta )=argma{x}_{\theta }logP(X|\theta )$
其中，$x\sim P(x|\theta )$，$P(X|\theta )=\Pi p(x_i|\theta )$

贝叶斯派

$\theta$也是作为随机变量，且$\theta \sim P(\theta )$为先验，则后验分布的贝叶斯估计为：$P(\theta |X)=\frac{P(X|\theta )P(\theta )}{P(X)}$；
那么后验估计的核为：$P(\theta |X)\propto P(X|\theta )\cdot P(\theta )$；
相应的最大后验估计（MAP）：${\theta }_{MAP}=argma{x}_{\theta }P(X|\theta )\cdot P(\theta )$；
注意到后验分布中分母部分可以写作积分形式：${\int }_{\theta }p(X|\theta )p(\theta )d\theta$，带入${\theta }_{MAP}$求出后验分布，于是贝叶斯角度的任务本质是求解一个积分问题。