『』如何在联邦训练中跟踪模型性能指标( 三 )
本文插图
其中I? ， I?指整个机器学习数据集中正类/负类的点数 ， 而I?_m ， I?_m分别指第m个设备中的相应数 。它遵循：
本文插图
情况2.1：仅设备之间的f?分布相同
这具有以下含义：
本文插图
其中FPR' （T） = d FPR （T）/ dT 。 所有设备的加权平均ROC-AUC得分如下：
本文插图
即等于整个数据集的ROC-AUC分数 。如果每个设备I?_m中来自正类的元素数相同 ， 则最后一个等式简化为（9） 。
为了说明这一点 ， 我们可以对上一节中使用的4个设备再次使用相同的样本 。 我们使用相同的数据 ， 在本例中 ， 这些数据在设备之间的分布方式是：只有属于负类的数据点在所有设备之间是相同的分布 。
本文插图
在这种特定情况下 ， 四种设备的ROC-AUC分数是不同的：
本文插图
但是整个数据集的ROC-AUC分数和ROC-AUC分数的平均值为:
本文插图
这种微小的差异可以通过设备中的数据集具有有限数量的点这一事实来解释 。
情况2.2：仅设备之间的f?分布相同
本文插图
我们可以像使用（12b）来证明（13）一样使用公式（14）：
本文插图
在每个设备中具有相同数量的正类I?_m的样本的情况下 ， 此等式简化为（9） ， 即平均ROC-AUC分数再次等于整个数据集的ROC-AUC分数。
为了说明这一点 ， 我们可以再次使用与上一节中使用的4个设备相同的例子 。 我们使用相同的数据 ， 在本例中 ， 这些数据在设备之间的分布方式是：只有属于正类的数据点在所有设备之间是相同的分布 。
本文插图
在这种特定情况下 ， 四种设备的ROC-AUC分数是不同的：
本文插图
但是整个数据集的平均ROC-AUC得分和ROC-AUC得分为：
本文插图
情况2.3：设备之间的f?和f?分布都不相同
在这种情况下 ， 我们不能期望(9)式得到满足 。 如果设备之间的f?和f?不同 ， 则（9）的两侧也不相等 。
最后
在本文中 ， 我们研究了与在计算机上计算完整数据集的ROC-AUC分数的情况相比 ， 多个设备（每个设备均拥有本地数据集）之间的ROC-AUC分数的加权平均值如何变化 。 单个设备 。 两个指标相等的充分条件是 ， 所有设备之间的正分数或负分数的分布是相同的 。
推荐阅读
- 淘宝|如何在淘宝网上开网店？在淘宝网上开店有什么要求？
- Odaily星球日报|教程：如何在Polkadot CC1中映射并认领DOT
- CSDN|如何在容器内高效编程？
- 右手网|教程：如何在 MacOS Catalina 系统中安装新的免费字体
- 诺基亚|诺基亚将“三连发”，不过，这三款手机竞争力何在？
- pdf|如何在iPhone上将PDF转换为Excel
- eWisetech|E分析：消费者追求的那些高屏占比,是如何在手机中实现的
- 【】初创企业如何在“危”中找“机”？听听红杉资本等创投机构怎么说
- 锁定屏幕：原创 法官裁定联邦调查局在没有搜查令的情况下，无法查看手机锁定屏幕
- 『 数据』同盾知识联邦技术成果获国家发明专利授权通知