量子位|谷歌开源“穷人版”摘要生成NLP模型:1000个样本就能打败人类( 二 )


量子位|谷歌开源“穷人版”摘要生成NLP模型:1000个样本就能打败人类
本文插图

量子位|谷歌开源“穷人版”摘要生成NLP模型:1000个样本就能打败人类
本文插图
当然 , “天马”模型并非没有缺点 , 谷歌就找到了一个bug 。
作者从XSum数据集中寻找了一段话 , 其中提到了英国4艘护卫舰的名字 , 通篇没有提到4 , “天马”还是正确提取出了护卫舰数量信息 。
军舰的数量从2~5的时候都没有问题 , 当数量增加到6时 , “天马”错误地认为有7艘 。 这说明模型“符号推理”的数量有限 。
最后 , 为了支持该持续研究并确保可重复性 , 谷歌在GitHub上发布了“天马”的代码、模型checkpoint以及其他汇总数据集 。


推荐阅读