江苏龙网

  1. 首页 > 人文 > >

「AI科技评论」S. Yu 团队发布权威综述，六大开放问题函待解决，Philip( 四 )


文章图片
图8：一些实体发现任务的示意图
3）关系抽取
关系抽取是自动构建大型知识图谱的关键任务 ， 该任务将从朴素文本中抽取出未知的关系事实 ， 并将他们添加到知识图谱中 。
由于缺乏带有标签的关系型数据 ， 远程监督（DistantSupervision）技术（又称弱监督或自监督）使用启发式匹配 ， 假设在关系型数据库的监督下 ， 包含相同实体的句子可能表达相同的关系 ， 从而创建训练数据 。
Mintz等人将远程监督用于关系分类任务 ， 他们用到的文本特征包括词法和句法特征、命名实体标签 ， 以及连接词特征 。 传统的方法高度依赖于特征工程 ， 而最近的一种方法则探索了特征之间的内在联系 。 深度神经网络也正在改变知识图谱和文本的表征学习 。 最近在神经关系抽取（NRE）方法上的研究进展如图9所示 。
「AI科技评论」S. Yu 团队发布权威综述，六大开放问题函待解决，Philip
文章图片
图9：神经关系抽取概览
关系抽取任务在远程监督的假设下会遇到带有噪声的模式 ， 特别是在不同领域之间进行远程监督时 。 因此 ， 对于弱监督关系抽取来说 ， 减小带噪声标签的影响是非常重要的（例如 ， 通过多示例学习将多个句子组成的包作为输入 ， 使用注意力机制在示例上进行「软」选择从而减少带噪声的模式 ， 基于强化学习的方法将示例选择表示为硬性决策 。 另一个原则是 ， 尽可能学习到更加丰富的表征 。 由于深度神经网络可以解决传统特征抽取方法中的误差传播问题 ， 该领域一直被基于深度神经网络的模型所主导 。
「AI科技评论」S. Yu 团队发布权威综述，六大开放问题函待解决，Philip
文章图片
表4：神经关系抽取近期研究进展一览
【「AI科技评论」S. Yu 团队发布权威综述，六大开放问题函待解决，Philip】3、时序知识图谱
现有的知识图谱研究大多数都关注的是静态知识图谱 ， 其中事实不会随着时间而变化 ， 然而目前对知识图谱的时序动态变化的研究则较少 。 然而 ， 由于结构化的知识仅仅在特定的时间段内成立 ， 所以时序信息是非常重要的 ， 而事实的演化也会遵循一个时间序列 。
近期的研究开始将时序信息引入知识表征学习和知识图谱补全任务 。 为了与之前的静态知识图谱产生对比 ， 我们将其称为「时序知识图谱」 。 为了同时学习时序嵌入和关系嵌入 ， 人们进行了大量的研究工作 。
1）时序信息嵌入
在与时序有关的嵌入中 ， 我们通过将三元组拓展成时序四元组(h,r,t,τ)来考虑时序信息 。 其中τ提供了关于事实何时成立的额外的时序信息 。 Leblay和Chekol利用带有时间标注的三元组研究了时序范围预测问题 ， 并简单地拓展了现有的嵌入方法 。 例如 ， 将TransE拓展为基于向量的TTransE定义如下：
2）实体动态
现实世界中的事件会改变实体的状态 ， 并因此影响相应的关系 。 为了提升时间范围预测的性能 ， 上下文时序剖面模型将时序范围预测形式化定义为了状态变化检测问题 ， 利用上下文学习状态和状态变化向量 。
「Know-evolve」是一种深度演化知识网络 ， 它研究了实体和它们演化后的关系的知识演化现象 。 人们使用了一种多变量时序点过程对事实的发生进行建模 ， 研发出了一种新型的循环网络学习非线性时序演化的表征 。
为了获取节点之间的相互作用 ， RE-NET通过基于循环神经网络的编码器和邻居聚合器对事件序列进行建模 。 具体而言 ， 他们使用循环神经网络来获取时序实体相互作用的信息 ， 并且通过邻居聚合器将同时发生的相互作用进行聚合 。
3）时序关系依赖
在关系链中 ， 沿着时间线存在时序依赖关系 。 例如 ， 「在...出生→从...毕业→在...工作→在...去世」 。 Jiang等人提出了基于时间的嵌入 ， 这是一种带有时序正则化的联合学习框架 ， 从而引入时间顺序和一致性信息 。 作者将时序打分函数定义如下：


推荐阅读


上一篇：博鳌亚洲论坛推迟举行2020年年会

下一篇：苹果手机2月份在中国市场的销售量不到50万部