AI生成的假新闻难以识别，那就用神经网络来对抗吧( 八 ) 选自arXiv作

研究人员考虑了两种评价方式。第一种是不成对设置，即判别器仅获得文章文本，并且需要独立地判断文章是人类写的还是机器生成的。而在成对设置中，模型获得两份具备同样元数据的文章，一份属于人类完成，一份属于机器生成。判别器必须给机器生成的文章分配高于人工完成文章的Machine概率。研究人员对两种评价方法的准确率都进行了评估。

判别器评价结果：Grover在检测Grover生成的假新闻时表现最好

表1展示了所有生成器和判别器组合的实验结果。对每个组合，研究人员展示了使用不同的采样策略（top-p&top-k）超参数的评价结果（p∈{.9,.92,.94,.96,.98,1.0} ， k∈）。

结果显示了几种趋势：首先，成对生成器、判别器相比非成对设置总体上更加容易检测假新闻，说明模型更难校准自己的预测。其次，模型大小对生成器和判别器之间的对抗过程非常关键。使用Grover判别器对Grover生成的文本进行检测，总体上在所有Grover模型中都有大约90%的准确率。

如果使用一个更大的生成器，准确率会下滑至低于81% ，与此相对应的是，如果判别器更大，则（检测假新闻）准确率上升至98%以上。最后，其他判别器总体上表现比Grover更差，这说明有效的判别器需要和生成器一样的归纳偏置（inductivebias）。

无法获得对应生成器又怎么样？

上文中的结果说明，当在测试阶段遇到一样的攻击方（生成器）时，在研究人员有一定数量的假新闻数据的情况下， Grover是一个有效的假新闻判别器。但是如果放松这一假设呢？这里，研究人员考虑了攻击方使用Grover-Mega生成器，且有一个未知的top-p采样阈值。