江苏龙网

  1. 首页 > 资讯 > 科技 > >

『』如何在联邦训练中跟踪模型性能指标( 二 )


T右侧的f? ， f?面积分别等于假阳性率（FPR）和真阳性率（TPR） 。 两者定义为：
『』如何在联邦训练中跟踪模型性能指标
本文插图

『』如何在联邦训练中跟踪模型性能指标
本文插图
训练模型的典型ROC曲线(红色实线) 。 ROC-AUC分数等于曲线下面积 。 对于一个完美的机器学习分类模型 ， 它等于1;对于一个随机猜测目标值(红色虚线下的区域)的模型 ， 它等于0.5 。
ROC曲线说明了模型随着其辨别阈值T的变化而在两个类别之间进行辨别的能力 。 ROC-AUC分数定义为ROC曲线下的面积 ， 用于评估模型性能 。 该分数可以表示为两个概率分布函数f? ， f?的函数 ， 如下所示：
【『』如何在联邦训练中跟踪模型性能指标】『』如何在联邦训练中跟踪模型性能指标
本文插图

其中FPR'（ξ）是指FPR（ξ）相对于ξ的导数 。 该公式将用于解释在l联邦学习模式下 ， ROC-AUC分数与建议的平均ROC-AUC分数之间的一些差异 。
联邦学习模式下的ROC-AUC
正如在“动机:联邦学习”一节中已经提到的 ， 我们将查看(1)关于度量A等于ROC-AUC分数的情况 ， 即:
『』如何在联邦训练中跟踪模型性能指标
本文插图

设备的数量为M ， D_m表示第m个设备中包含的数据 。 在以下内容中 ， 我们将看到（7a）中的等式取决于每个设备分数的分布函数（f? ， f?） 。
情况1：设备之间的f? ， f?分布相同
我们考虑普通情况 ， 其中M个设备中的每一个设备中包含的数据点都是同分布的 。 这意味着通过将训练后的模型应用于M个设备中每个设备上的数据而获得的分数分布f?_m ， f?_m（m = 1、2 ， ... M）是相同的 ， 即：
『』如何在联邦训练中跟踪模型性能指标
本文插图

这也可应用于分别从f? 和 f?导出的假阳性率（FPR_m）和真阳性率（TPR_m） 。 通过使用（6） ， 我们可以得出结论 ， M个设备中每个设备的ROC-AUC分数都相同 ， 即：
『』如何在联邦训练中跟踪模型性能指标
本文插图

因此 ， 所有设备上的平均ROC-AUC分数等于整个数据集的ROC-AUC分数 。
『』如何在联邦训练中跟踪模型性能指标
本文插图

例如 ， 我们可以考虑有4个设备的情况 ， 每个设备分别具有500个正类样本和500个负类元样本 。 在设备之间拆分样本 ， 以使分数分布
『』如何在联邦训练中跟踪模型性能指标
本文插图

如果数据在所有设备中均匀分布 ， 就会出现这种情况 。
『』如何在联邦训练中跟踪模型性能指标
本文插图

在此特定情况下 ， 这四个设备的ROC-AUC得分为：
『』如何在联邦训练中跟踪模型性能指标
本文插图

整个数据集的平均ROC-AUC分数和ROC-AUC分数相等 ， 如预期的那样：
『』如何在联邦训练中跟踪模型性能指标
本文插图

可以用每个设备中有限数量的数据点（n = 1000）来解释不同设备的ROC-AUC分数之间的细微差异 ， 这会导致子样本分布中的微小差异 。
情况2：设备之间的f? ， f?分布不相同
如果考虑到M个设备中的每一个包含的数据点分布不相同的情况 ， 则可以表示f?和f?如下：


推荐阅读


上一篇：##不懂如何分析财务报表？教你这套财务指标体系，看完涨薪3倍！

下一篇：小锋玩智能1：5G最强拍照旗舰，荣耀这款超大杯究竟值不值？