目录

人工神经网络

人工神经元

 拓扑结构

 网络训练 


人工神经网络

- 人工神经网络是一个并行、分布式处理结构,由处理 单元及其称为联接的无向通道互连而成。

- 这些处理单元具有局部内存,可以完成局部操作,该 操作由输入至该单元的信号值和存储在该单元中的信 号值来确定。

- 每个处理单元有一个单一的输出联接,输出信号可以 是任何需要的数学模型。

是一种模仿生物神经网络的结构和功能的数学模型或计算模型。

Rumelhart等提出多层网络的学习算法—BP算法(1986)

加拿大多伦多大学教授,机器学习领域的泰斗 Geoffery Hinton 及其学生 Ruslan Salakhutdinov 在《科学》上发 表了一篇论文开启了深度学习在学术界和工业界的新浪潮!

深度学习:可整合大量能够基于相同方式训练 的模块和组件,并构建拥有学习能力的机器。

传统机器学习与深度学习主要区别:特征提取。 

人工神经元

处 理单元 的 功能

–对每个输入信号进行加权处理(确定其强度);

–确定所有输入信号的组合效果(求和);

–确定其输出(转移特性,即激励特性);

 

 拓扑结构

单 层网络
– 输入信号表示为向量: x  =  [ x 1 ,  x 2 , …,  x d ] T ,其中每一 分量通过加权连接到各个结 点 。
– 每一个结点均可产生一个加权 和 。
– 输入和结点间采用全连 接 , 并且都是前馈连 接 。
实际 的人 工神 经网 络和 生物 神经 网络 中有 些连 接 可能不存在。

 单层网络

将偏移(阈值)当成权值。

多层网络 

虽然目前有很多网络模型,但它们的结点基本上都是 按层排列的。这一点模仿了大脑皮层中的网络模块。

–多层网络是由单层网络进行级联构成的,即上一层的 输出作为下一层的输入。

接收输入信号的层称为输入层。

–产生输出信号的层称为输出层。

–中间层称为隐含层,不直接与外部环境打交道。

隐含层的层数可从零到若干 层。
实际情况中,层与层之间可能有部分连接的情 况。

–接收输入信号的层称为输入层。

–产生输出信号的层称为输出层。

–中间层称为隐含层,不直接与外部环境打交道。

隐含层的层数可从零到若干 层。
实际情况中,层与层之间可能有部分连接的情 况 。

 网络训练 

任 务:
– 给定 n  个观测数据 { x k } , 训练网络的各层结点之间的 连接权重 w ij ( 含偏置项 )
– 训练:相继加入训练样 本 , 并按预定规则调整网 络 各 权重 。

 

 

有 监督的 训 练
   – 希望 训 练 这 样一 个 网 络 ,对 每 个 训 练数 据, 通 过该 网 络计算之后 能尽可能输出其原先给定的 值 。
无 监督训练

–无监督的训练不要求有目标向量,网络通过自身的“经历”来学会某种功能。

–其目的是训练一个网络,使其产生的输出具有某种可 理解的规律性。

–从本质上讲,该训练过程是抽取样本所隐含的统计特征。

 

 

 
Logo

CSDN联合极客时间,共同打造面向开发者的精品内容学习社区,助力成长!

更多推荐