最近在研究问答系统,但是在查找资料的过程中一直处于懵逼状态,因为问答系统分类比较多,根据不同的依据可以分为不同种类,总是搞混,也没有找到资料详细全面的介绍,所以在一边学习查找资料的同时,自己也整理出一份总结,用于以后学习过程不至于思路混乱,如有错误请帮忙指出.
19世纪60年代最早:基于模板和规则
19世纪90年代:基于检索(IR)匹配-从问题中提取关键词,根据关键词在文本库中搜索相关文档,并进行降序排序,然后从文档中提取答案.
主要模型有: 单轮:DSSM,CLSM 多轮:Multi-Viem,DAM(state-of-art),Memory-Network2010年,知识图谱(结构化文本),基于知识库(KB-QA)-对问题进行解析,根据解析内容从知识库中推理出答案.
基于知识库的三大传统方法:语义解析,信息提取,向量建模. 1. 语义解析: 2. 信息提取:用实体命名技术获取到问题中的实体,然后在知识库中进行查询,得到关于问题实体的中心子图,子图的边和结点就是候选答案的集合.进一步,可以通过分析,规则模板提取除特征,将问题和答案的特征结合送入二分类器中,将答案分为正确答案和错误答案进行建模. 3. 向量建模:获取问题和答案的表示向量,然后做点乘求得分. 其他:Memory-Network也可用于KB-QA基于阅读理解的问答(MRC机器阅读理解):适用数据类型为-(给定一个问题 Q 和一个与 Q 相关的文档 D，自动得到 Q 对应的答案 A)非结构化文本,主要的方法有匹配式,抽取式和生成式
1.匹配式:给出文章,问题和答案集,从答案集中选出最高得分的答案,像选择题. 1)LSTM-reader(最简单的方法):把文档d和问题q合并建模后,喂到双向LSTM中,得到向量g 2)Attentive-reader:先使用LSTM对问题建模得到向量q,再对文档建模,然后用q对文档使用attention匹配得到向量r,结合q和r,相当于带着问题读文档. 3)Impatient-reader:同上,只不过是对每个token去计算attention,相当于先读每个字或者词,然后带着字或者词去读文档. 4)Gated-Attention Reader：相当于带着一个问题，反复读文档，读k遍。 2.抽取式:顾名思义就是从文档中抽取出答案,前提是文档中包括问题答案. 这样的数据集有:斯坦福的SQuAD数据集,难度比较高的 TriviaQA数据集. 抽取式的一般框架是,Embedder+Encoder+Interaction-layer+Answer Embedder:将输入embedding Encoder:分别对问题和文档用LSTM建模(也可以用其他方法) Interaction-layer:使用attention将问题和文档结合起来,对问题和文档进行交互,得到query-aware的文章表示.(个模型只要差别所在) Answer:对上面得到的query-aware文章表示进行抽取答案,通常有两种方法:一是使用两个模型分别预测出答案的起始和终止位置.二是把当然当成label序列(序列标注),预测出label. 抽取式主要模型有: 1).Match-LSTM:比较基础的模型,结构如下图(没看懂@_@), 模型结构: 原理: 2).BiDAF:比较出名的模型,论文地址: 模型结构: 原理: 3).R-Net:近似state-of-art的模型,论文地址:没找到--. 4).FastQAExt(轻量级), 5).GA-Reader,论文地址: 6).QA-Net(使用CNN),论文地址: 3.生成式:目前只有MSRA的MS MARCO数据集，答案形式是这样的：1）答案完全在某篇原文.2）答案分别出现在多篇文章中.3答案一部分出现在原文，一部分出现在问题中.4）答案的一部分出现在原文，另一部分是生成的新词.5）答案完全不在原文出现（Yes / No 类型) 常见模型: 1).改进R-Net 2).S-Net,论文地址: 3).R3-Net:集文档检索与答案生成于一身的模型,论文地址:其他知识:
1.transE模型:知识表示模型,最后训练出来的向量e符合如下规则:e(object)=e(subject)+e(relation),损失函数是最小正例距离最大负样本距离 2.IRGAN模型:检索 3.OpenIE:关系抽取工具 4.实体/关系链接:将OpenIE抽取的关系链接到知识库 5.检查关系是否正确,使用transE模型的思想e(object)和e(relation)+e(subject)的余弦距离小于阀值 6.pointer network参考文章:
https://www.zhihu.com/people/susht/posts 一份问答系统的小结
https://zhuanlan.zhihu.com/p/41217854 基于深度神经网络的自动问答系统概述
https://github.com/dapurv5/awesome-question-answering 领域经典论文，项目及数据集