江苏龙网

  1. 首页 > 人文 > >

数码实验室|使用神经网络在表格中查找答案( 二 )


对于每个表格单元格 ， 输出一个分数 ， 指明该单元格将成为答案一部分的概率；输出一个聚合运算 ， 指明采用哪种运算（如有）来生成最终答案 。下表显示具体操作 ， 对于问题“排名前两位的摔跤手卫冕冠军的平均时间？” ， 该模型应选择“合并天数”列的前两个单元格和具有较高概率的“求平均值”进行运算 。
数码实验室|使用神经网络在表格中查找答案
文章图片
模型示意图：BERT层对问题和表格同时进行编码 。 模型输出每个聚合运算的概率和每个表格单元格的选择概率 。 对于“排名前两位的摔跤手卫冕冠军的平均时间？”这个问题 ， “求平均值”运算以及编号为3749和3103的单元格应有很高的概率
预训练
使用类似于在文本训练的BERT方法 ， 我们在从英文维基百科中提取的620万个表格文本上对模型进行了预训练 。 在预训练期间 ， 模型学习恢复表格和文本中已被掩码替换的单词 。 我们发现 ， 模型可以按相对较高的精度完成此操作（对于训练期间未曾见过的表格 ， 正确还原了71.4%的掩码token） 。
仅从答案中学习
在微调期间 ， 模型学习如何回答表格中的问题 。 此学习可通过使用强监督或者弱监督训练完成 。 如果进行强监督学习训练 ， 对于给定的表格和问题 ， 则必须为模型提供单元格和可选择的聚合运算（如求和或计数） ， 这是一个费时费力的过程 。 最常见的情况是 ， 使用弱监督进行训练 ， 在训练中仅提供正确答案（例如 ， 对上述示例中的问题 ， 正确答案是3426） 。 在这种训练中 ， 模型将尝试找到聚合运算以及可产生接近正确答案的单元格 。 通过计算对所有可能的聚合决策的期望值 ， 并将其与真实结果进行比较 ， 即可完成此操作 。 弱监督训练允许非专家提供训练模型所需的数据 ， 并且比强监督训练花费的时间更少 ， 因而帮助很大 。
结果
我们将模型应用于三个数据集——SQA、WikiTableQuestions(WTQ)和WikiSQL ， 并将其与解析表格式数据的前三大最先进(SOTA)模型进行了性能比较 。 对比模型包括用于WikiSQL的Minetal(2019)、用于WTQ的Wangetal.(2019) ， 以及我们之前用于SQA的自建模型(Muelleretal.,2019) 。 对于所有数据集 ， 我们报告了用于弱监督训练环境的测试集的答案准确率 。 对于SQA和WIkiSQL ， 我们使用了在维基百科上进行预训练的基础模型 ， 而对于WTQ ， 我们发现对SQA数据进行额外的预训练很有益处 。 我们表现最好的模型比以前用于SQA的最先进(SOTA)模型高出12分以上 ， 比以前用于WTQ的最先进(SOTA)模型高出4分以上 ， 并且性能与WikiSQL上发布的最佳模型性能相当 。
数码实验室|使用神经网络在表格中查找答案
文章图片
弱监督环境下对三个学术性TableQA数据集的测试答案准确率
致谢
此项研究由苏黎世GoogleAI语言小组的JonathanHerzig、Pawe?KrzysztofNowak、ThomasMüller、FrancescoPiccinno和JulianMartinEisenschlos协作完成 。 我们在此感谢YaseminAltun、SriniNarayanan、SlavPetrov、WilliamCohen、MassimoNicosia、SyrineKrichene和JordanBoyd-Graber就本文提出的建设性评论与建议 。
如果您想详细了解本文提及的相关内容 ， 请参阅以下文档 。 这些文档深入探讨了这篇文章中提及的许多主题：
最近许多https://www.aclweb.org/anthology/P15-1142/解决方法https://www.aclweb.org/anthology/N19-1273TAPAS：通过预训练进行弱监督表格解析https://arxiv.org/abs/2004.02349GitHub代码库https://github.com/google-research/tapasSQAhttps://www.microsoft.com/en-us/download/details.aspx?id=54253WTQhttps://nlp.stanford.edu/blog/wikitablequestions-a-complex-real-world-question-understanding-dataset/WikiSQLhttps://github.com/salesforce/WikiSQLMinetal(2019)https://www.aclweb.org/anthology/D19-1284Wangetal.(2019)https://www.aclweb.org/anthology/D19-1391Muelleretal.,2019https://www.aclweb.org/anthology/D19-1603—完—


推荐阅读


上一篇：远川研究所|一柄尖刀，历史潮头上的台积电：两堵高墙

下一篇：全知视角|太阳要从“沉睡”中醒来？，NASA发现太阳爆发三年来最强耀斑