深度学习笔记(五):SoftMax激活函数介绍
SoftMax激活函数介绍上次笔记介绍了一个新的Cost函数,改进了神经网络,这个笔记将介绍一张面向多输出的SoftMax激活函数SoftMax定义了神经网络新型的输出方法,他不改变神经网络的加权输入(即中间量Z):zLj=∑kwLjkaL−1k+bLjzjL=∑kwjkLakL−1+bjLz^L_j = \sum_{k} w^L_{jk} a^{L-1}_k + b^L_j回顾下...
SoftMax激活函数介绍
上次笔记介绍了一个新的Cost函数,改进了神经网络,这个笔记将介绍一张面向多分类的SoftMax激活函数
SoftMax定义了神经网络新型的输出方法,他不改变神经网络的加权输入(即中间量Z): zLj=∑kwLjkaL−1k+bLj z j L = ∑ k w j k L a k L − 1 + b j L
回顾下神经网络的输入输出流程
神经网络结构
神经元输入输出过程
前一层的输出值作为后一层的输入值,经过加权求和并加上偏向得到中间变量Z,然后通过激活函数(非线性转化)得到这个神经元的值
sigmoid函数公式:
新型激活函数SoftMax公式(向量形式表示的公式):
关于激活函数感觉没有什么好介绍的,纯粹的公式
需要注意的是:sigmoid一般用于二分类问题,而SoftMax用于多分类问题
更多推荐
所有评论(0)