PRESC：统计分类器的性能和鲁棒性评估

PRESC是一个用于评估机器学习分类模型的工具包。其目标是提供超越标准标量准确度指标的模型性能见解，并深入到应用中往往未被充分探索的领域，包括

• 模型对未见过数据的泛化能力，而对于训练集可能不具有代表性
• 对统计误差和方法选择敏感度
• 针对特征空间有意义的子集的性能评估
• 对误分类及其在特征空间中的分布的深入分析

关于我们正在考虑的具体特性的更多详情请参阅项目路线图。我们认为，这些评估对于建立对旨在满足用户需求的机器学习模型的选择和调优的信心至关重要，并且是构建可信人工智能的重要前提。

还包括一个用于执行机器学习分类器副本的包。

作为工具，PRESC旨在由ML工程师使用，以协助模型的开发和更新。它可以用以下方式使用

• 作为一个独立的工具，它生成评估特定模型和数据集的图形报告
• 作为一个可以集成到现有流程中的Python包/API

进一步的目标是使用PRESC

• 作为持续集成工作流程中的一步：评估作为CI的一部分运行，例如，在定期模型更新时，如果指标产生不可接受的价值，则失败。

目前，以下内容被视为范围之外

• 面向用户的评估，例如，解释
• 依赖于特定领域上下文或特征的价值判断的评估，例如，受保护的族裔属性。领域专家可以使用PRESC来研究此类受保护群体中的误分类，例如，但PRESC评估本身应不受此类判断的影响。
• 不涉及模型的评估，例如，训练数据中的类别不平衡

关于这些主题有大量的近期学术研究，以及解决相关问题的几个开源项目。在可能的情况下，我们计划提供与符合我们愿景和目标的现有工具的集成。