使用双向RNN

双向 RNN 是一种常见的RNN 变体,它在某些任务上的性能比普通 RNN 更好。它常用于自然语言处理,可谓深度学习
对自然语言处理的瑞士军刀。

我们先来看下双向RNN的工作原理:

1
这里注意,这里的逆序是指将样本集 逆序排列,每个样本的内容结构没有改变。

在keras中将一个双向RNN实例化,我们需要用到Bidirectional层。

下面我们将双向RNN运用与上一节的温度预测:

#训练一个双向 GRU
from keras.models import Sequential
from keras import layers
from keras.optimizers import RMSprop

model = Sequential()
model.add(layers.Bidirectional(
        layers.GRU(32),input_shape=(None,float_data.shape[-1])))
model.add(layers.Dense(1))
model.summary()
model.compile(optimizer=RMSprop(),loss='mae')

history = model.fit_generator(train_gen,
                              steps_per_epoch=500,
                              epochs=40,
                              validation_data=val_gen,
                              validation_steps=val_steps)

这个模型的表现与普通 GRU 层差不多一样好。其原因很容易理解:所有的预测能力肯定都来自于正序的那一半网络,因为我们已经知道,逆序的那一半在这个任务上的表现非常糟糕。

Logo

CSDN联合极客时间,共同打造面向开发者的精品内容学习社区,助力成长!

更多推荐