了解深度学习

深度学习可以做什么

• 深度学习就是利用深度人工神经网络来进行自动分类、预测和学习的技术
• 深度学习的本质需要从深度网络的超参数、架构和训练方式等方面剖析

深度学习的学科位置

• 人工智能>机器学习>人工神经网络>深度学习

• 人工神经网络：反向传播算法

• 机器学习：【结构化数据（数据库）】

• 深度学习：【非结构化数据： 图像及符号序列】

常见网络名称及其处理的数据

• 卷积神经网络(CNN)：处理图像数据（CNN可以应付图像数据中的平移、旋转等空间不变性）

• 循环神经网络(RNN)：处理序列数据（RNN可以应付序列中的长程依赖性，周期性）

• 神经计算机（神经图灵机）：神经计算机可以用于复杂的推理任务

影响深度学习的因素

• 大数据
• 深度网络架构
• GPU

深度网络架构

• 大数据时代到来，并不意味只要拥有海量的数据，随便调试模型，就可以获得好的预测结果
• 面对问题时，采用什么样的网络架构，如何选取超参数，如何训练网络依然是影响学习效率和解决问题的重要因素
• 所谓深度网络架构就是整个网络的构建方式和拓扑连接结构
• 深度网络架构目前主要为以下三种
  • 前馈神经网络（全连接网络）
  • 卷积神经网络：高层的一个神经元与低层多个神经元之间连接网络
  • 循环神经网络：针对的数据是前后输入有一定相关性的序列类型数据
  • 更多的新型网络架构：需要看相关论文文献不断学习
• 可微分计算机（神经图灵机）（先了解个大概，后续可以深入学习）
  • 融合了神经网络和冯诺依曼体系式计算机的计算架构
  • 整个网络由控制器，读写头，存储器，以及存储器运作中的临时链接
  • 这种装置可以用于复杂推理，阅读理解等高级计算任务，在问题求解、自然语言处理等任务上的能力已经超越了RNN

训练方式影响深层网络

• 我们先将少量的特定标签的数据输入网络，然后再用剩下的数据训练，比一次性把所有的标签数据输入更加有效
  • 该学习方式吸取人类学习的优点，提升机器的学习效果，协助跳出局部最优，获得更好的泛化能力
• 为了更有效的学习，我们可以通过迁移学习将训练好的神经网络迁移到新的小数据集中，从而获得更好的表现

GPU加速深度神经网络的训练

• GPU非常擅长大规模的张量运算，并且可以为这种运算加速，对包含多个数值的张量运算所需的平均时间远远低于对每个数字运算的时间
• GPU擅长矩阵运算

深度学习为何如此成功

• 深度学习的本质特色：海量数据中自动学习，抽取数据中的特征。

• 特征学习

  • 深度神经网络的一个特性是会把不同的信息表达到网络单元（权重）之中
  • CNN做图像识别时，低层（离输入端比较近）的神经元可以提取图像的边缘、棱角等小尺寸信息；中间层次单元可以提取数据中更高一层尺度的信息；而到了更高层，他就可以提取图像中大尺度信息（整张人脸）的特征

• 迁移学习

  • 神经网络可以在各个层编码表示数据的不同特征。可以把前几层的网络比作特征提取器，作用就是提炼特征，而后面部分的网络会根据这些特征进行分类或者预测
  • 我们训练好的前面特征提取的网络与其他网络拼接，来解决其他问题，这就是迁移学习
  • 例如：CNN+RNN拼接成看图说话网络

• 有了特征学习和迁移学习我们就能实现各种端到端（end-to-end）学习，也就是说可以直接输入原始数据，让网络输出最终的结果，所有的中间环节，都不需要关心，整个网络会自动学习到最优的模式，从而使模型精确的输出预测值

• 端到端学习迷人之处：可以通过不断吸收大量数据而表现的越来越专业，甚至在训练神经网络的过程中不需要所解决问题的领域知识，