目录

一，深度学习

二，神经网络

1，完全连接前馈神经网络

2，神经网络的层次

三，神经网络的基本概念

1，特征提取

2，权重矩阵、偏差、超参数

3，激活函数

4，梯度下降

5，学习率

---

一，深度学习

深度学习是机器学习的一种方法。在过去几十年的发展中，它大量借鉴了我们关于人脑（神经网络）、统计学和应用数学的知识。近年来，得益于更强大的计算机、更大的数据集和能够训练更深网络的技术，深度学习的普及性和实用性都有了极大的发展。

深度学习的步骤：

• Step1：神经网络（Neural network）
• Step2：模型评估（Goodness of function）
• Step3：选择最优函数（Pick best function）

深度学习算法，是回归算法中的一种，

所以回归回归 Regression_nameofcsdn的博客-CSDN博客一文中的内容，对深度学习都适用。

二，神经网络

1，完全连接前馈神经网络

完全连接，指的是相邻两层之间，两两都有连接。

前馈（feedforward）也可以称为前向，从信号流向来理解就是输入信号进入网络后，信号流动是单向的，即信号从前一层流向后一层，一直到输出层，其中任意两层之间的连接并没有反馈（feedback）。

2，神经网络的层次

• 输入层（Input Layer）：1层
• 隐藏层（Hidden Layer）：N层
• 输出层（Output Layer）：1层

而隐藏层的层数N，其实就是深度学习模型的深度Deep

三，神经网络的基本概念

1，特征提取

深度学习的本质就是通过隐藏层进行特征提取。

隐藏层的每一层，都是一次特征提取。隐藏层的最后一层到输出层的转化，本质上也是特质提取。

如动物识别算法，两层的网络，隐藏第一层的特质是毛发，第二层是猫毛or狗毛，输出层是猫or狗，那么也可以说，猫和狗也是图片的一个特征，这属于比较高阶的特征。

那么，每一层的特征提取是怎么做的呢？这其实是相当于一个0层的神经网络，只有输入层和输出层，它可以怎么做？

2，权重矩阵、偏差、超参数

如动物识别算法，输入是32*32像素的3通道的图片，输出是动物分类（分10类）

 其中f一般是根据是现成的，别人研究出来的，W是算法需要计算出来的，而计算的过程中需要一些参数，即超参数。

常见的简单的网络：

 这里的W就是权重矩阵，如果再加上偏差向量b的话，那么W和b都是训练算法需要计算的。

而计算方法，就是根据损失函数进行梯度下降。

3，激活函数

我们用激活函数，来表示不同强度的信号是否激活了神经元。

激活函数

4，梯度下降

（1）逐个梯度下降

（2）批量梯度下降

（3）随机梯度下降

（4）小批量梯度下降法

5，学习率