论文Recent Trends in Deep Learning Based Natural Language Processing
一:abstract。深度学习已经应用于很多领域,特别是在计算视觉和模式识别方面取得了突出的成绩。深度学习应用于NLP的一大优势是自动特征提取,而传统的NLP处理技术大多是通过手工提取特征,手工提取特征耗时、不完整。Natural Language Processing (Almost) from Scratch阐述了基于深度学习的框架和算法在词性标注、命名实体识别、语义角色标签等NLP任
一:abstract。
深度学习已经应用于很多领域,特别是在计算视觉和模式识别方面取得了突出的成绩。深度学习应用于NLP的一大优势是自动特征提取,而传统的NLP处理技术大多是通过手工提取特征,手工提取特征耗时、不完整。
Natural Language Processing (Almost) from Scratch阐述了基于深度学习的框架和算法在词性标注、命名实体识别、语义角色标签等NLP任务方面,性能优于其传统的方法。
已经有大量的深度学习算法应用于NLP任务,比如CNNS、RNNS、recursive neural network,在这些神经网络的基础上,又出现了记忆化增强策略、注意力机制、强化学习方法、深度生成模型。
A Primer on Neural Network Modelsfor Natural Language Processing 总结了通过深度学习distributed 表示NLP语义的研究,主要是word2vec和CNNS的变种。文章第二部分介绍了分布表示的概念、复杂的深度学习模型的基础,三、四、五描述了现在流行的深度学习模型,如卷积、循环、递归,应用于各种NLP任务中。第六部分描述了强化学习应用于NLP中句子表示,最后总结了各种深度学习模型在标准数据集上的NLP任务的性能。
二:NLP中的分布表示。
三:NLP中的卷积神经网络。
四:NLP中的循环神经网络。
五:NLP中的递归神经网络。
六:深度强化模型和深度非监督学习。
七:记忆增强网络。
八:NLP任务的总结。
更多推荐
所有评论(0)