PaperWeekly|积分梯度：一种新颖的神经网络可视化方法( 三 )
本文插图
▲ 原论文中对梯度和积分梯度的比较（NLP任务 ， 红色为正相关 ， 蓝色是负相关 ， 灰色为不相关）
3.2 个人实现
虽然 Keras 官网已经给出了参考实现了（请看这里[7] ） ， 但代码实在是太长 ， 看着太累 ， 笔者根据自己的理解也用 Keras 实现了一个 ， 并应用到了 NLP 中 ， 具体代码见：
https://github.com/bojone/bert4keras/blob/master/examples/task_sentiment_integrated_gradients.py
目前的代码仅仅是简单的 demo ， 欢迎读者在此基础上派生出更强大的代码 。
本文插图
▲ 笔者在中文情感分类上对积分梯度的实验效果（越红的token越重要）
上图中笔者给出了几个样本的效果（模型对上述样本的情感标签预测都是正确的） ， 由此我们可以推测原模型进行情感分类的原理 。 从上图我们可以看到 ， 对于负样本 ， 积分梯度可以比较合理地定位到句子中的负面词语 ， 而对于正样本 ， 哪怕它的语法格式跟负样本一样 ， 却无法定位到句子中的正面词语 。
这个现象表明 ， 原模型做情感分类的思路可能是“负面检测” ， 也就是说主要做负面情绪检测 ， 而检测不到负面情绪则视为正样本 ， 这大概是因为没有“中性”样本训练所带来的结果 。
又到文末
本文介绍了一种称为“积分梯度”的神经网络可视化方法 ， 利用它可以一定程度上更好描述输入的各个分量的重要程度 。 积分梯度通过沿着路径对梯度进行积分来构建了精确的等式 ， 弥补了泰勒展开的不足 ， 从而达到了比直接使用梯度更好的可视化效果 。
参考文献
[1] https://arxiv.org/abs/1611.02639
[2] https://arxiv.org/abs/1703.01365
[3] https://arxiv.org/abs/0912.1128
[4] https://arxiv.org/abs/1312.6034
[5] https://arxiv.org/abs/1604.00825
[6] https://arxiv.org/abs/1704.02685
[7] https://keras.io/examples/vision/integrated_gradients/
更多阅读
# 投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体 ， 缩短读者寻找优质内容的成本呢？ 答案就是：你不认识的人 。
总有一些你不认识的人 ， 知道你想知道的东西 。 PaperWeekly 或许可以成为一座桥梁 ， 促使不同背景、不同方向的学者和学术灵感相互碰撞 ， 迸发出更多的可能性 。
PaperWeekly 鼓励高校实验室或个人 ， 在我们的平台上分享各类优质内容 ， 可以是 最新论文解读 ， 也可以是 学习心得或 技术干货 。 我们的目的只有一个 ， 让知识真正流动起来 。
?? 来稿标准：
? 稿件确系个人 原创作品 ， 来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）
? 如果文章并非首发 ， 请在投稿时提醒并附上所有已发布链接
? PaperWeekly 默认每篇文章都是首发 ， 均会添加“原创”标志
?? 投稿邮箱：
? 投稿邮箱：hr@paperweekly.site
? 所有文章配图 ， 请单独在附件中发送
【PaperWeekly|积分梯度：一种新颖的神经网络可视化方法】? 请留下即时联系方式（微信或手机） ， 以便我们在编辑发布时和作者沟通
