江苏龙网

  1. 首页 > 人文看点 > >

AI生成的假新闻难以识别，那就用神经网络来对抗吧( 六 )

图3展示了结果 。 首先 ， 在提供元数据后 ， Grover模型的性能有显著提升（困惑度降低了0.6至0.9） 。 其次 ， 当模型大小增加时 ， 其困惑度分数下降 。 在上下文语境下 ， Grover-Mega获得了8.7的困惑度 。 第三 ， 数据分布依然重要：虽然有1.17亿参数和3.45亿参数的GPT-2模型分别可以对应Grover-Base和Grover-Large ， 但在两种情况下Grover模型相比GPT-2都降低了超过5分的困惑度 。 这可能是因为GPT-2的训练集WebText语料库含有非新闻类文章 。

AI生成的假新闻难以识别，那就用神经网络来对抗吧

----AI生成的假新闻难以识别 ， 那就用神经网络来对抗吧//----江苏龙网 http://www.jiangsulong.com //

图3：使用2019年4月的新闻作为测试集 ， 多个语言模型的性能 。 研究人员使用通用（Unconditional）语言模型（不使用元数据训练）和有上下文语境（Conditional）的模型（提供所有元数据训练） 。 在给定元数据的情况下 ， 所有Grover模型都降低了超过0.6的困惑度分数 。

使用NucleusSampling限制生成结果的方差

在Grover模型中采样非常直观 ， 类似于一种从左到右的语言模型在解码时的操作 。 然而 ， 选择解码算法非常重要 。 最大似然策略 ， 如束搜索（beamsearch） ， 对于封闭式结尾的文本生成任务表现良好 ， 其输出和其语境所含意义相同（如机器翻译） 。

这些方法在开放式结尾的文本生成任务中则会生成质量不佳的文本(Hashimotoetal.,2019;Holtzmanetal.,2019) 。 然而 ， 正如该研究在第六章展示的结果 ， 限定生成文本的方差依然很重要 。

该研究主要使用NucleusSampling方式（top-p）：给出阈值p ， 在每个时间步 ， 从累积概率高于p的词语中采样(Holtzmanetal.,2019) 。 研究人员同时对比了top-k采样方式 ， 即在每一个时间步取具有最大概率的前k个token(Fanetal.,2018) 。


推荐阅读


上一篇：原创 10岁二哈跟德牧抢妈妈，结果德牧赢了，谁还不是宝宝呢？

下一篇：中国房企未来发展之路：香港租售混合模式经验