机器学习模型性能的十个指标( 四 ) _机器学习

文章插图
图片

科恩卡帕系数可以帮助我们更准确地评估分类任务中模型预测与实际标签之间的一致性，同时校正可能偶然发生的一致性。在涉及多个评分者的场景中，它尤其重要，因为它能够提供一个更为客观和准确的评估结果。
小结机器学习模型评价的指标有很多，本文给出了其中一些主要的指标：

准确率（Accuracy）：正确预测的样本数占总样本数的比例。
精确率（Precision）：正真（True Positive ， TP）样本占所有预测为正（TP和FP）样本的比例，体现了模型对正样本的识别能力。
召回率（Recall）：正真（True Positive，TP）样本占所有真实为正（TP和FN）样本的比例，体现了模型发现正样本的能力。
F1值：精确率和召回率的调和平均值，同时考虑了精确率和召回率。
ROC-AUC：ROC曲线下的面积，ROC曲线是真正率（True Positive Rate，TPR）与假正率（False Positive Rate，FPR）的函数。AUC越大，模型的分类性能越好。
PR-AUC：精度-召回曲线下的面积，它专注于精确性和召回率之间的权衡，更适合不平衡的数据集。
FPR/TNR：FPR衡量模型误报能力，TNR衡量模型正确识别负样本的能力。
交叉熵损失：用于评估模型预测概率与实际标签之间的差异。较低的值表示更好的模型校准和准确性。
马修斯相关系数（MCC）：一个综合考虑了真阳性、真阴性、假阳性和假阴性关系的度量值，提供了二元分类质量的平衡度量。
科恩卡帕系数（cohen's kappa): 评估分类任务模型性能的重要工具，能准确测量预测与标签的一致性，并校正偶然一致性，尤其在多个评分者场景中更具优势。