深度学习

1. 什么是神经网络

如上图，神经网络就是一种处理过程，输入一系列特征x，可以得到一个预测结果y
例如： 想要知道房子的价格，通过房子大小、地理位置、附加价值（是否学区房）等因素进行评估后得到一个房价的估计。

2. 用神经网络进行监督学习

网络模型类别

1） 标准神经网络 SNN（standard neural network）

应用

广告推送：通过分析用户的年龄、性别、职业等信息，判断最可能吸引用户的广告

2） 卷积神经网络 CNN (convolutional neural network)

应用

图像识别：输入图片，输出一个判断指数（如与某种动物的相似度等）

语音识别：输入一段音频（具有声音特征），输出一个文本

3） 循环神经网络 RNN (recurrent neural network)

常用于具有时间序列的输入，如音频、语言
应用

翻译：输入语言序列，如一串英语（中文），输出中文（英文）

4） 混合神经网络 （hybrid neural network architecture）

无人驾驶：图像用CNN处理，雷达信息利用RNN等

基于不同数据

1） 机构化数据

基于数据库的数据：如年龄、数量等有清晰定义的数据

2） 非结构化数据

比如音频、原始音频、图像，想要识别图像或文本中的内容，特征是像素等，机器较难理解的数据

3. 为什么神经网络会兴起

当数据大到一定程度，我们才能看到神经网络的优势。

当前我们处理模型准确度的两种方法：

1. 增加数据集
2. 训练一个更大的网络模型

算法方面的创新都是为了让神经网络运行的更快

例如：两种激活函数
ReLU: 修正线性单元ReLU

Sigmoid

当sigmoid梯度下降到斜率接近0时，参数的变化将非常慢，所以需要修改激活函数为Relu。如此替换可以让梯度下降法更快。