『人工智能』NeurIPS 2019：两种视角带你了解网络可解释性的研究和进展( 二 ) |算法|2019你为谁

本文插图

图 3：ID 和绝对深度、相对深度的关系。
在图 2 中，我们已经发现 ID 在层级之间是够「驼背」的样式，那么这个驼峰的出现是和绝对深度还是相对深度有关呢？
图 3 可以回答这个问题，在图 3 的右图中，我们可以发现这个趋势跟相对深度有关，基本的驼峰出现在 0.2-0.4 的相对深度之间。当然从图 3 的大量实验，也更能佐证图 2 的 ID 和层之间的趋势。
问题 2：ID 和网络的线性维度是否有区别？
为了回答第二个问题，作者选用了 PCA 作为线性降维的方法来和 ID 对比。

本文插图

图 4：PCA 和 ID 与模型数据降维之间的关系。
在图 4A 中， PCA 的特征值谱中出现了一个间隙，这个可以表明数据降维之后并不在一个线性的空间中，而是一个弯曲流形中。
问题 3：ID 和网络泛化性能之间是否有联系？

本文插图

图 5：网络最后一层 ID 和精度之间的关系。
图 5 是作者在一系列的网络实验中，以精度为衡量指标，计算不同网络最后一层的 ID 。我们可以看到这个趋势大概是一个线性的关系。这就表明，最后一层的 ID 跟网络的测试精度之间是存在这紧密的联系的，那是否也可以换句话说，该层的 ID 可以表明网络的泛化性能。
4 讨论
作者还做了很多的其他辅助的实验，比如以上的结论在未训练的网路上不成立，在随机的标签 labels 上训练出来的网络中也不成立等等。但是，总的来说作者还是集中在是三个问题。

ID 可以用来表明网络中的信息。其趋势表现为层级之间的先上升后下降。
网络的泛化性能可以用 ID 来衡量，也就是最后一层的 ID 。
深度网络的降维过程将数据降维到一个弯曲流形的空间，而不是线性空间，这也可以在一定程度上表明网络的泛化性能。

笔者认为，仅仅用 ID 这个统计量来解释网络性能当然还是不够的，但是这并不妨碍通过 ID 来指明之后网络训练或者测试的提升方向。比如说，我们是否可以用 ID 的趋势来判断一个网络设计的是够合理，训练的是否充分呢，或者又比如说，我们还能够通过最后一层的 ID 来初步评估网络的泛化性能呢？
论文 2：This Looks Like That: Deep Learning for Interpretable Image Recognition

本文插图

论文链接：https://arxiv.org/pdf/1806.10574.pdf
当人遇到图像判断的时候，总是会分解图片并解释分类的理由，而机器在判断的时候总是跟人的判断会有些差距。本文旨在缩小机器分类和人分类之间的差距，提出了一个 ProtoPNet ，根据人判断的机理来分类图像。本文网络通过分解图像，得到不同的原型部分，通过组成这些信息最终得到正确的分类。
1 人怎么分类？This looks like that