江苏龙网

  1. 首页 > 资讯 > 科技 > >

|ACL2020 | 基于Knowledge Embedding的多跳知识图谱问答( 二 )


读到这里 ， 不禁疑惑该文对多跳问题的处理有什么特别之处？和单跳问题的处理是否有不同？我们发现问题嵌入和 KG 嵌入并没有特殊的设计 ， 而实际上多跳 QA 的能力就来源于嵌入方法本身的性质 。 作者在实验部分对此进行了解释 。
答案选择模块
在进行推断时 ， 模型根据 (head, question) 头实体-问题对 ， 对所有可能的答案 计算分数 。 对于较小的知识图谱 ， 例如后文实验部分所述的 MetaQA ， 该模块直接选择具有最高分数的实体作为答案 ， 即从整个知识图谱的所有实体中选择最高分数的实体 。 此处实际上已经通过嵌入的方式 ， 完全避免了任何形式的检查某个结点的邻居结点的过程 ， 或者说克服了生成某种局部子图的方法的弊端 ， 实现了多跳 。
然而对于较大的知识图谱 ， 作者认为需要对候选实体进行修剪以提升性能 。 修剪的方式即关系匹配 。
关系匹配：为了在众多实体中选择符合期望的候选答案实体并计算分数 ， 作者利用了知识图谱中实体之外的信息 ， 即关系 。 作者利用类似于 PullNet[3]的方法 ， 学习一个评分函数 ， 它能够在给定一个问题时对所有关系进行排序 。
首先 ， 对于一个自然语言问题， 将它作为输入得到它在 RoBERTa 最后一个隐藏层的输出：
然后 ， 根据 KG 嵌入模块学习到的关系嵌入， 我们可以计算一个度量关系和问题二者的评分：
在所有的关系中 ， 作者选择分数 的关系 ， 将这个关系集合记为 . 这些关系是我们认为的与问题比较相关的关系 。
然后 ， 对于每个候选实体， 我们找到头实体 和 之间的最短路径的关系 ， 将这个关系集合称为 . 这些关系是我们认为的与头实体最相关的关系 。 每个候选答案实体在给定问题时的关系分数可以通过这两个集合的交集的大小来计算：
通过线性组合关系分数和 ComplEx 分数 ， 我们就可以找到答案实体 。
值得注意的是 ， 这里的候选答案实体仅仅是， 而其具体含义并未被作者直接说明 。
效果
数据集:实验所用数据集是 MetaQA 和 WebQuestionsSP 。
MetaQA 是一个大规模多跳 KGQA 数据集 ， 包含电影领域中超过四十万个问题 。 在 QA 之外 ， 该数据集包含 13.5 万项三元组和 4.3 万个实体 ， 以及 9 种关系 。
WebQuestionSP 是一个较小的 QA 数据集 ， 包含 4737 个问题 ， 问题为 1 跳或 2 跳 ， 可通过 Freebase 回答 。 作者选取了 Freebase 的子集用于该数据集的实验 ， 其中包含 180 万个以上的实体和 570 万项以上的三元组 。
显然 ， 后者所用的知识图谱规模要远大于前者 。 在实验部分中重点关注后者 ， 可以窥见该模型能否良好地适应较大规模的知识图谱 。
竞争算法：作者将 EmbedKGQA 与 Key-Value Memory Network[4]、VRN[5]、GraftNet[6]、PullNet[7]进行了对比 。 这些算法都实现了多跳 KGQA 。 其中 ， PullNet 限制答案实体在抽取的问题子图中 ， 这种抽取问题子图的方法在本质上限制了长路径的多跳推理能力 。 而 EmbedKGQA 本质上可以应对头实体和答案实体不连通的情况 ， 统一的嵌入空间在某种程度上已经包含了任意实体之间的关系 ， 这超越了 PullNet 局部子图的思路 。
实验结果：下图是 MetaQA 数据集上的实验结果 ， KG-50 表示知识图谱的 50%. 评价指标是 hit@1. 括号中的数字表示文本被用于增强不完整的 QA 时的实验结果 。
|ACL2020 | 基于Knowledge Embedding的多跳知识图谱问答
本文插图

作者使用 50% 的知识图谱进行测试 ， 其目标是测试模型在不完整知识图谱上进行链接预测的能力 。 MetaQA KG-50 实际上很稀疏 ， 导致结点间的路径很可能变得更长 。
下图是 WebQSP 数据集上的实验 。 EmbedKGQA 在链接预测上展现出非常好的表现 ， 但 KG-Full 上尚未取得超过 SOTA 。


推荐阅读


上一篇：音频怪物|告别传统三星味？全能中端机不止外观个性，拍照和价格让人心动

下一篇：科技成猿|苹果手机就是贵？2020最新的5款iphone，最便宜的还不用3000！