T-Reader:A Multi-task Deep Reading Comprehension Model with Self-attention Mechanism

Abstract

该文介绍THUIR团队在"2018机器阅读理解技术竞赛"中的模型设计与实验结果.针对多文档机器阅读理解任务,设计了基于自注意力机制的多任务深度阅读理解模型T-Reader,在所有105支参赛队伍中取得了第八名的成绩.除文本信息外,提取了问题与段落精准匹配等特征作为模型输入;在模型的段落匹配阶段,采用跨段落的文档级自注意力机制,通过循环神经网络实现了跨文档的问题级信息交互;在答案范围预测阶段,通过进行段落排序引入强化学习的方法提升模型性能.

Publication
In Journal of Chinese Information Processing
Dan Li
Dan Li
Data Scientist