---

是什么

深度学习：Deep Learning

是机器学习的一个分支，尝试自动的学习合适的特征 及其表征，尝试学习多层次的表征以及输出。

---

特点

• 和传统方法相比，深度学习的重要特点，就是用向量表示各种级别的元素。
  传统方法会用很精细的方法去标注，深度学习的话会用向量表示单词，短语，逻辑表达式和句子，然后搭建多层神经网络去自主学习。

---

应用

主要用于：计算机视觉、自然语言处理；比较少用于传统的数据挖掘。

例如：机器翻译，情感分析，问答系统等。

深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题。

---

历史

2009年 李飞飞发起收集图像，完成数据集 ImageNet；并举办 ImageNet 图像分类比赛；
2012年，Alex 使用深度学习算法赢得比赛，比传统集成算法正确率高很多。让深度学习发展起来。
发展主要靠：论文和比赛。

ImageNet : http://www.image-net.org
相关新闻：https://www.sohu.com/a/160232714_610300

---

深度学习 & 机器学习

机器学习流程：
1、数据获取
2、特征工程（最难）
3、建立模型
4、评估与应用。

• 深度学习解决了提取特征 的这一步；计算机会去学习，怎样的特征是最合适的（所以更接近人工智能）。
• 数据规模越大，深度学习算法更优于传统人工智能算法。（如 上百万数据）
  图像如何生成更多数据？可以将图像进行旋转、平移等。

---

特征工程的作用

• 数据特征决定了模型的上限
• 预处理和特征提取是最核心的
• 算法与参数选择决定了如何逼近这个上限

---

深度学习工作方式

深度学习是一类模式分析方法的统称，就具体研究内容而言，主要涉及三类方法：

1. 基于卷积运算的神经网络系统，即卷积神经网络(CNN)。
2. 基于多层神经元的自编码神经网络，包括自编码( Auto encoder)以及近年来受到广泛关注的稀疏编码两类( Sparse Coding)。
3. 以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络(DBN)。

---

• NN 传统神经网络
• CNN 卷积神经网络
• RNN 递归神经网络
  • LSTM

---

相关概念

神经网络

---

个人理解：神经网络不应该称作算法，而应该被当做特征提取的方法；因为所有AI任务，最终要的不只是算法，而是 数据层面。

---

核心元素

• 神经元
• 权重
• 偏差
• 激活函数
• softmax 函数

---

正向传播 & 反向传播（修正）

• 损失函数

• 梯度下降

• 学习率

• 丢弃
  是一种正则化方法，防止过度你和，在训练的时候，隐藏层中有一定的数量的神经元被随机丢弃。

---

框架及发展

• Pytorch（FB 买的）
• TensorFlow – Keras

---

相关资料

---

书籍

• 《深度学习入门》作者: [[ 日］ 斋藤康毅]
  https://book.douban.com/subject/30270959/

• 《深度学习》作者:Ian Goodfellow、Yoshua Bengio、Aaron Courville
  https://book.douban.com/subject/27087503/
  开源中文翻译：
  https://github.com/exacity/deeplearningbook-chinese

---

• 韩炳涛：零基础入门深度学习
  https://www.zybuluo.com/hanbingtao/note/433855