跳转到主要内容

计算分类模型指标的不确定度。

项目描述

一个用于评估模型性能和估计这些指标不确定度的库。

Uncertainty on the precision-recall curve
MacOS build Linux build Windows build Documentation License PyPi

文档

功能

在较高层面上,MMU提供两种类型的功能

  • 指标 - 计算混淆矩阵和二分类指标的函数,这些指标是基于分类器分数或预测。

  • 不确定度估计器 - 计算分类指标联合不确定度的功能。

我们目前专注于二分类模型,但旨在未来包括对其他类型模型及其指标的支持。

混淆矩阵 & 指标

指标主要包含计算混淆矩阵和单个测试集、多个分类阈值或多个运行上的指标的函数。

二分类指标函数计算了10个最常用的指标

  • 负精确度,即负预测值(NPV)

  • 正精确度,即正预测值(PPV)

  • 负召回率,即真正负率(TNR)或特异性

  • 正召回率,即真正正率(TPR)或灵敏度

  • 负f1分数

  • 正f1分数

  • 假阳性率(FPR)

  • 假阴性率(FNR)

  • 准确度

  • 马修斯相关系数(MCC)

不确定度估计器

MMU提供两种方法来建模精确度和召回率的联合不确定度:多项式不确定度和双变量正态分布。

多项式方法通过计算精确度和召回率网格的轮廓对数似然得分来估计不确定度。这些得分是具有2个自由度的卡方分布,可用于确定置信区间。

双变量正态方法用于模拟混淆矩阵和解析协方差矩阵线性传播误差的统计不确定性。所得的联合不确定性在本质上呈椭圆形。

安装

mmu可以从PyPi安装。

pip install mmu

我们提供以下轮子:

  • MacOS [x86, ARM]

  • Linux

  • Windows

从源代码安装该软件包需要支持C++14的C++编译器。如果您有可用的编译器,建议不使用轮子安装,因为这可以实现特定架构的优化。

pip install mmu --no-binary mmu

其他构建选项存在,请参阅文档中的安装部分

使用

import mmu

# Create some example data
scores, yhat, y = mmu.generate_data(n_samples=1000)

# Compute the joint uncertainty on precision-recall curve
pr_err = mmu.PrecisionRecallCurveUncertainty.from_scores(y, scores)

# Plot the uncertainty
pr_err.plot()

请参阅文档的基础部分教程笔记本以获取更多示例。

贡献

我们非常欢迎贡献,请参阅贡献部分以获取详细信息。

项目详情


下载文件

下载您平台上的文件。如果您不确定选择哪个,请了解更多关于安装软件包的信息。

源分布

mmu-0.1.2.tar.gz (2.1 MB 查看哈希值)

构建分布

mmu-0.1.2-cp311-cp311-win_amd64.whl (184.3 kB 查看哈希值)

CPython 3.11 Windows x86-64

mmu-0.1.2-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (313.9 kB 查看哈希值)

CPython 3.11 manylinux: glibc 2.17+ x86-64

mmu-0.1.2-cp311-cp311-macosx_10_13_x86_64.whl (194.9 kB 查看哈希值)

CPython 3.11 macOS 10.13+ x86-64

mmu-0.1.2-cp310-cp310-win_amd64.whl (184.3 kB 查看哈希值)

CPython 3.10 Windows x86-64

mmu-0.1.2-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (314.0 kB 查看哈希值)

上传时间: CPython 3.10 manylinux: glibc 2.17+ x86-64

mmu-0.1.2-cp310-cp310-macosx_10_13_x86_64.whl (194.8 kB 查看哈希值)

上传时间: CPython 3.10 macOS 10.13+ x86-64

mmu-0.1.2-cp39-cp39-win_amd64.whl (184.3 kB 查看哈希值)

上传时间: CPython 3.9 Windows x86-64

mmu-0.1.2-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (314.1 kB 查看哈希值)

上传时间: CPython 3.9 manylinux: glibc 2.17+ x86-64

mmu-0.1.2-cp39-cp39-macosx_10_13_x86_64.whl (195.0 kB 查看哈希值)

上传时间: CPython 3.9 macOS 10.13+ x86-64

mmu-0.1.2-cp38-cp38-win_amd64.whl (184.2 kB 查看哈希值)

上传时间: CPython 3.8 Windows x86-64

mmu-0.1.2-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (313.4 kB 查看哈希值)

上传时间: CPython 3.8 manylinux: glibc 2.17+ x86-64

mmu-0.1.2-cp38-cp38-macosx_10_16_x86_64.whl (195.0 kB 查看哈希值)

上传时间: CPython 3.8 macOS 10.16+ x86-64

mmu-0.1.2-cp38-cp38-macosx_10_13_x86_64.whl (194.9 kB 查看哈希值)

上传时间: CPython 3.8 macOS 10.13+ x86-64

mmu-0.1.2-cp37-cp37m-win_amd64.whl (183.0 kB 查看哈希值)

上传时间: CPython 3.7m Windows x86-64

mmu-0.1.2-cp37-cp37m-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (320.0 kB 查看哈希值)

上传于 CPython 3.7m manylinux: glibc 2.17+ x86-64

mmu-0.1.2-cp37-cp37m-macosx_10_13_x86_64.whl (191.1 kB 查看哈希值)

上传于 CPython 3.7m macOS 10.13+ x86-64

由...

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF 赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误日志 StatusPage StatusPage 状态页面