按照惯例先放课程视频连接：https://www.bilibili.com/video/BV1JE411g7XF?p=11

推荐丛书PRML《Pattern Recognition and Machine Learning》《模式识别与机器学习》

内容提要

本节课以三步骤讲解了逻辑回归，实现描述分类。
step1：Function Set
step2：Goodness of a Function (Loss函数)
step3： Find the best function（迭代过程）
其实这个思路看似简单，但是完全概括了DL的核心内涵。
之后又完成了逻辑回归和线性回归的对比，以及交叉熵和均方差的对比。

模型建立

建立逻辑回归自然离不开二分类的Sigmoid函数和多分类的Softmax函数。

逻辑回归和线性回归对比

Cross Entropy（交叉熵）

在二分类问题里最重要的交叉熵概念，在本节课进行了详细的引出和推导。公式最是本图中最后的公式，怎么来的可以复习视频好好学习，听一遍一般都能听懂，通俗易懂。

与Square Error（均方差对比）

针对分类问题，由于y=0/1，所以使用均方差的话，对均方差求导结果带入y和fx的话，导致无法区分最优和最差的结果，如下图所示。可以看出交叉熵的Loss函数空间可以有效的放大损失效果，提高较差参数的梯度，提高迭代效率。

描述分类与生成分类

本节课与上节课完成了描述和生成分类的教学，这里进行了总结对比。
两者使用的函数（model（模型））相同，但是找到w和b的方式不同，G的方式是正推，D的方式是直接由数据总结。由于真实数据不一定完全符合已知分布，所以两者求取的结果也不一定完全相同。

这里总结了D的效果更好，由于其不受限于已知的分布，解空间范围更大。

生成分类优势

1. · With the assumption of probability distribution, less training data is needed.
2. · With the assumption of probability distribution, more robust to the noise
3. · Priors and class-dependent probabilities can be estimated from different sources.
   总之就是生成模式更适用于，数据少的情况；数据噪声严重的情况；以及可以从不同角度获取数据分布的情况（当现实数据不是单纯的数，而有其他不可描述的分布信息的时候，可以采用生成模式进行分类）。

多分类

使用softmax将分布结果归一化到0~1之间，并使多个分布概率和为0。

多层嵌套

对于一次逻辑回归无法分类的问题，可以通过映射关系，使其可以被分类。

具体如何进行映射呢？就通过多层的逻辑回归进行分类。这里直接将多层映射直接引出为神经网络了，也是很流畅，666！