GRU与LSTM的区别

前面说到过LSTM的出现是为了解决传统RNN无法解决的长距离依赖问题而出现的,而GRU也具有该功能,但是结构相对于LSTM来说相对简单,可以将GRU看作是LSTM的一种优化或变体。

GRU的结构图

在这里插入图片描述

前向传播公式

其中“*”代表矩阵乘法,“⋅”代表点乘(相应位置的元素乘相应位置的元素)
r t = s i g m o i d ( W r ∗ [ h t − 1 , x t ] + b r ) r_t = sigmoid(W_r*[h_{t-1},x_t] + b_r) rt=sigmoid(Wr[ht1,xt]+br)
z t = s i g m o i d ( W t ∗ [ h t − 1 , x t ] + b z ) z_t = sigmoid(W_t*[h_{t-1},x_t] + b_z) zt=sigmoid(Wt[ht1,xt]+bz)
h ~ t = t a n h ( W h ~ ∗ [ r t ⋅ h t − 1 , x t ] + b h ~ ) \widetilde h_t=tanh(W_{\widetilde h}*[r_t⋅h_{t−1},x_t]+b_{\widetilde h}) h t=tanh(Wh [rtht1,xt]+bh )
h t = ( 1 − z t ) ⋅ h t − 1 + z t ⋅ h ~ t h_t = (1-z_t)⋅h_{t-1} + z_t⋅{\widetilde h_t} ht=(1zt)ht1+zth t
y t = s i g m o i d ( W o ∗ h t + b y ) y_t = sigmoid(W_o*h_t + b_y) yt=sigmoid(Woht+by)

Logo

CSDN联合极客时间,共同打造面向开发者的精品内容学习社区,助力成长!

更多推荐