Deep Learning

一、深度学习的发展史

• 1943年，神经科学家麦卡洛克**(W.S.McCilloch)** 和数学家皮兹（W.Pitts）在《数学生物物理学公告》上发表论文《神经活动中内在思想的逻辑演算》(A Logical Calculus of the Ideas Immanent in Nervous Activity)。建立了神经网络和数学模型，称为MCP模型。
• 1958年，计算机科学家罗森布拉特（ Rosenblatt）提出了两层神经元组成的神经网络，称之为**“感知器”(Perceptrons)**
• 1969年，美国数学家及人工智能先驱 Marvin Minsky 在其著作中证明了感知器本质上是一种线性模型（Linear model）
• 1986年，神经网络之父 Geoffrey Hinton 发明了适用于多层感知器（MLP）的BP（Backpropagation）算法，并采用Sigmoid进行非线性映射。
• 90年代时期，支持向量机算法诞生（SVM算法）等各种浅层机器学习模型被提出，SVM也是一种有监督的学习模型，应用于模式识别，分类以及回归分析等
• 发展期 2006年 - 2012年，2006年，加拿大多伦多大学教授、机器学习领域泰斗、神经网络之父—— Geoffrey Hinton 和他的学生 Ruslan Salakhutdinov 在顶尖学术刊物《科学》上发表了一篇文章，该文章提出了深层网络训练中梯度消失问题的解决方案：无监督预训练对权值进行初始化**+**有监督训练微调。
• 爆发期 2012 - 2017，2012年AlexNet参加ImageNet图像识别比赛，其通过构建的CNN网络一举夺得冠军，且碾压第二名（SVM方法）的分类性能，同时第一次用了GPU加速模型。2013、2014、2015、2016年，通过ImageNet图像识别比赛，DL的网络结构，训练方法，GPU硬件的不断进步，促使其在其他领域也在不断的征服战场。

注： sigmoid函数表达式如下:

图像如下：

二、深度学习的三个步骤

• Step1：神经网络（Neural network）
• Step2：模型评估（Goodness of function）
• Step3：选择最优函数（Pick best function）

类似于之前ML 的步骤，后续持续补充内容