江苏龙网

  1. 首页 > 人文 > >

「人工智能」一文全览，ICLR 2020 上的知识图谱研究( 四 )


总结一句话 ， 这是一个新颖的、简单的 ， 但却有实质性意义的想法 ， 有大量的实验 ， 也有充分的消融分析 。
三、知识图谱嵌入：循序推理和归纳推理 像Wikidata这样的大型知识图谱永远不会是静态的 ， 社区每天都会更新数千个事实（facts） ， 或者是有些事实已经过时 ， 或者是新的事实需要创建新实体 。
循序推理 。 说到时间 ， 如果要列出美国总统 ， 显然triple-base的知识图谱 ， 会把亚当斯和特朗普都列出来 。 如果不考虑时间的话 ， 是否意味着美国同时有45位总统呢？为了避免这种歧义 ， 你必须绕过纯RDF的限制 ， 要么采用具体化的方式（针对每个具体的歧义进行消除） ， 要么采用更具表现力的模型 。 例如Wikidata状态模型（Wikidata Statement Model）允许在每个statement中添加限定符 ， 以总统为例 ， 可以将在限定符处放上总统任期的开始时间和结束时间 ， 通过这种方式来表示给定断言为真的时间段 。 循序知识图谱嵌入算法（Temporal KG Embeddings algorithms）的目标就是够条件这样一个时间感知（time-aware）的知识图谱表示 。 在知识图谱嵌入中时间维度事实上 ， 只是嵌入字（例如身高、长度、年龄以及其他具有数字或字符串值的关系）的一部分 。
归纳推理 。 大多数现有的知识图谱嵌入算法都在已知所有实体的静态图上运行——所谓的转导设置 。 当你添加新的节点和边时 ， 就需要从头开始重新计算整个嵌入；但对于具有数百万个节点的大型图来说 ， 这显然不是一个明智的方法 。 在归纳设置（inductive setup）中 ， 先前看不见的节点可以根据他们之间的关系和邻域进行嵌入 。 针对这个主题的研究现在不断增加 ， ICLR 2020 上也有几篇有趣的文章 。
8、Tensor Decompositions for Temporal Knowledge Base Completion
文章链接：https://openreview.net/pdf?id=rke2P1BFwS
Lacroix等人使用新的正则化组件扩展了ComplEx嵌入模型 ， 这些正则化组件考虑了嵌入模型中的时间维度 。
这项工作非常深刻 ， 具体表现在以下几个方面：1）想法是将连续的时间戳（如年 ， 日及其数值属性）注入到正则化器中；2）作者提出TComplEx ， 其中所有谓词都具有time属性；提出TNTCompEx ， 其中对诸如「born in」这样“永久”的属性进行区别对待 。 实验表明 ， TNTCompEx的性能更好；3）作者介绍了一个新的大型数据集 ， 该数据集基于Wikidata Statements ， 但带有开始时间和结束时间限定符 ， 该数据集包含约40万个实体和700万个事实 。

「人工智能」一文全览，ICLR 2020 上的知识图谱研究
本文插图
Time-aware ComplEx (TNTComplEx) scores. Source: Lacroix et al
上图中 ， 你可以看到这个模型如何对描述法国总统的事实的可能性进行评分：自2017年以来 ， 伊曼纽尔·马克龙的得分更高 ， 而弗朗索瓦·奥朗德在2012–2017年的得分更高 。
9、Inductive representation learning on temporal graphs
文章链接：https://openreview.net/pdf?id=rJeW1yHYwH
再进一步 ， Xu等人提出了临时图注意力机制TGAT（temporal graph attention） ， 用于建模随时间变化的图 ， 包括可以将新的先前未见的节点与新边添加在一起时的归纳设置 。 其思想是基于经典和声分析中的Bochner定理 ， 时间维度可以用傅里叶变换的时间核来近似 。 时间嵌入与标准嵌入（例如节点嵌入）串联在一起 ， 并且全部输入到自注意力模块中 。
「人工智能」一文全览，ICLR 2020 上的知识图谱研究
本文插图
Source: Xu et al
作者将TGAT在具有单关系图（不是KG的多关系图）的标准转导与归纳GNN任务上进行了评估 ， TGAT显示出了很好的性能提升 。 个人认为 ， 这个理论应该可以进一步扩展到支持多关系KG 。


推荐阅读


上一篇：『蓝景源』科技与时尚的完美结合体VAIO，为何不再“索尼”？

下一篇：「笔点酷玩」猝不及防！索尼上千的SD卡，现在只要300多！Lexar雷克沙干的