语音识别学习日志 2018-7-20 感知机PLA、多层感知机MLP
2018-7-20感知机,PLA多层感知机是由感知机推广而来,感知机的神经网络表示如下: 表达式:从上述内容更可以看出,PLA是一个线性的二分类器,但不能对非线性的数据并不能进行有效的分类。因此便有了对网络层次的加深,理论上,多层网络可以模...
2018-7-20
感知机,PLA
多层感知机是由感知机推广而来,感知机的神经网络表示如下:
表达式:
从上述内容更可以看出,PLA是一个线性的二分类器,但不能对非线性的数据并不能进行有效的分类。因此便有了对网络层次的加深,理论上,多层网络可以模拟任何复杂的函数。
多层感知机,MLP
多层感知机(Multi-Layer perception)的一个重要特点就是多层,我们将第一层称之为输入层,最后一层称之有输出层,中间的层称之为隐层。MLP并没有规定隐层的数量,因此可以根据各自的需求选择合适的隐层层数。且对于输出层神经元的个数也没有限制。 除了输入层外,其余的每层激活函数均采用 sigmod ,MLP 容易受到局部极小值与梯度弥散的困扰。
MLP神经网络结构模型如下,本文中只涉及了一个隐层,输入只有三个变量和一个偏置量,输出层有三个神经元。相比于感知机算法中的神经元模型对其进行了集成。 网络结构如下图:
MLP的前向传播
前向传播指的是信息从第一层逐渐地向高层进行传递的过程。以下图为例来进行前向传播的过程的分析。
假设第一层为输入层,输入的信息为。对于层,用表示该层的所有神经元,其输出为,其中第j个节点的输出为,该节点的输入为,连接第层与第层的权重矩阵为,上一层(第层)的第i个节点到第层第个节点的权重为。
结合之前定义的字母标记,对于第二层的三个神经元的输出则有:
将上述的式子转换为矩阵表达式:
将第二层的前向传播计算过程推广到网络中的任意一层,则:
其中为激活函数,为第层第个节点的偏置。
反向传播
使用反向传播来调整MLP模型中的参数。由于存在多层的网络结构,因此无法直接对中间的隐层利用损失来进行参数更新,但可以利用损失从顶层到底层的反向传播来进行参数的估计。反向传播的具体推倒明天再开一篇博客介绍。
更多推荐
所有评论(0)