「模型」要取信于人，AI得打开决策“黑箱”( 二 )
沈向洋指出：“‘黑箱’带来的挑战在于 ， 即便其做出的预测是准确的 ， 我们却仍不知何时可以信赖它 ， 或者从中学到什么 。 更进一步说 ， 即便模型是准确的 ， 在做高风险决策时 ， 也需要知道究竟是什么原因使然 。 ”
人工智能怎样做决策？“目前有种方法可提供解释说明 ， 包括人工智能系统如何运行、怎样与数据进行交互的背景信息 ， 但其最有可能损害用户以及受这些系统影响的人员的信任 。 通过这些信息 ， 人们将会更容易识别和意识到潜在的偏见、错误和意想不到的结果 。 仅仅发布人工智能系统的算法很难实现有意义的透明度 。 最新（通常是最有发展前途的）人工智能技术 ， 例如深度神经网络 ， 通常没有任何算法输出可以帮助人们了解系统所发现的细微模式 。 ”沈向洋指出 。
鉴于此 ， 人们需要一个更全面的方法 ， 使人工智能系统设计人员能够尽可能完整、清晰描述系统的关键组成要件 。 据了解 ， 微软也在与人工智能合作组织及其他组织合作开发最佳实践规范 ， 以实现人工智能系统有意义的透明度 。 包括通过实践规范以及各种其他更易于理解的方法、算法或模型 ， 来替代那些过于复杂且难以解释的方法 。
准确率和可解释性不该是对矛盾
要理解机器学习模型内部如何运行 ， 开发出新技术 ， 来提供更有意义的透明度 ， 需要对这一领域开展进一步研究 。
来自微软的里奇·卡鲁阿纳等学者提出“提炼与比较”（Distill-and-Compare）的方法 。 据沈向洋介绍 ， 面对许多已被广泛应用的专有或不透明的模型 ， 这种方法能够在不探测“黑箱”API（应用程序接口）或预先定义其特性的情况下进行核验 。 通过将“黑箱”视作老师 ， 训练出透明的学生模型 ， 来模拟原本的“黑箱” ， 并将它与真实情况进行对比 。
而微软研究院有学者提出“‘黑箱’无关”的思路 ， 当医生无法采纳“黑箱”对病人感染流感率的预测结果时 ， 一种解决方法是利用特征归属的办法——根据不同特征之于模型的重要性 ， 为其赋予权重 。 其中 ， 解释过程认为“打喷嚏”“头疼”是指向流感的证据；而没感到疲惫 ， 则是否认流感的证据 。 这里权重带有正向或反向的方向性 ， 同时其权重大小也各不相同 ， “头疼”的权重要明显高于“打喷嚏” 。 对于医生来说 ， 这样的解释要比简单给出一个“患流感概率90%”有用得多 。
沈向洋表示 ， 随着神经网络模型越来越复杂 ， 在准确性越来越高的同时 ， 研究人员遇到一个问题 ， 即不得不在模型的准确性和可解释性之间做出妥协 ， 因为两者常难以兼顾 。 尤其随着在深度学习模型上进一步推进 ， 经常会牵扯到几百万个乃至数十亿的参数 。 结果是 ， 有时候研究人员做出一个行之有效的模型 ， 却并不能完全理解其中的缘由 。 如用一个高准确率的模型来预测病人感染流感的几率 ， 却只能给医生呈现一个数字 ， 或是“阳性”的诊断 ， 而无具体佐证 ， 那么 ， 即便得到的结论是正确的 ， 在医生看来也用处不大——因为医生并不知其结论是如何被推导出的 。
因此 ， 要打造负责任的人工智能 ， 确保其决策透明 ， 即“我们能够理解并看到人工智能所做的决定” ， 尤其需要开发可翻译、可解释的人工智能模型 ， 以了解人工智能是如何做出这些决策的 。 特别是在事关重大的关键领域中 ， 需要对模型全面理解 ， 以此避免出现错误 。 高准确率和高可解释性的人工智能将有助真正将技术进行广泛、负责任、有效的应用 ， 造福人类生活 。
（责任编辑： HN666）
推荐阅读
- 『生活招数多』手机网络慢还不稳定？打开这个“隐藏功能”，网速会有明显提升！
- #腾讯QQ#刚刚，QQ启动页换了
- 『』手机屏幕刷新率144Hz，或打开今年新潮流的“大门”
- 「咖野科技」手机屏幕刷新率144Hz，或打开今年新潮流的“大门”
- 机器之心：几行代码搞定ML模型，低代码机器学习Python库正式开源
- 『宇宙』?人类曾打开了时空大门？时间倒退了30年！太诡异了
- []复苏动能！阿里妈妈最新营销趋势洞察，打开美护行业增长大门
- ##6个值得每天一看的小众网站，悄悄收好，打开你新世界的大门
- #高质量生活家超人君#手机声音太小？只需打开这个开关，声音立马放大，都学学吧
- [直播]柜姐转型“直播者”打开销售新思路