公平性指标
项目描述
公平性指标
公平指标旨在通过与更广泛的 TensorFlow 工具包合作，支持团队评估、改进和比较模型的公平性问题。
该工具目前已被我们许多产品内部积极使用。我们很乐意与您合作，了解公平指标最适用的地方，以及哪里需要添加功能。请通过 tfx@tensorflow.org 联系我们。您可以通过 此处 提供反馈和功能请求。
关键链接
什么是公平指标？
公平指标使您能够轻松计算二分类和多分类分类器的常用公平性指标。
许多现有的评估公平性的工具在大型数据集和模型上效果不佳。在 Google，对我们来说，拥有能够在数十亿用户系统上运行的工具非常重要。公平指标将允许您评估任何规模用例的公平性指标。
特别是，公平指标包括以下功能：
- 评估数据集的分布
- 评估按定义的用户组划分的模型性能
- 通过置信区间和多阈值评估，对结果充满信心
- 深入了解单个切片，探索根本原因和改进机会
此 案例研究（附有 视频 和编程练习），展示了如何使用公平指标在您的产品上评估公平性问题。
安装
pip install fairness-indicators
pip 包包含
- TensorFlow 数据验证（TFDV） - 分析数据集的分布
- TensorFlow 模型分析（TFMA） - 分析模型性能
- 公平指标 - TFMA 的补充，增加了公平性指标和跨切片的轻松性能比较
- 假设工具（WIT）](https://github.com/PAIR-code/what-if-tool - 一个交互式可视化界面，旨在更好地探索您的模型
夜间包
公平指标还托管在 Google Cloud 上的 https://pypi-nightly.tensorflow.org 上的夜间包。要安装最新的夜间包，请使用以下命令
pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple fairness-indicators
这将安装公平指标的主要依赖项（如 TensorFlow 数据验证（TFDV）、TensorFlow 模型分析（TFMA））的夜间包。
我如何使用公平指标？
TensorFlow 模型
不使用现有的 TensorFlow 工具？没问题！
示例 目录包含几个示例。
- Fairness_Indicators_Example_Colab.ipynb 提供了 TensorFlow 模型分析（TensorFlow Model Analysis）中公平性指标的整体概述以及如何使用它来处理真实数据集。该笔记本还介绍了两个与公平性指标打包的工具：TensorFlow Data Validation 和 What-If 工具。
- Fairness_Indicators_on_TF_Hub.ipynb 展示了如何使用公平性指标来比较在不同 文本嵌入 上训练的模型。该笔记本使用了来自 TensorFlow Hub 的文本嵌入，TensorFlow 的用于发布、发现和重用模型组件的库。
- Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb 展示了如何在 TensorBoard 中可视化公平性指标。
还有其他问题吗？
有关如何在您特定用例的背景下考虑公平性评估的更多信息，请参阅此链接。
如果您在公平性指标中发现了错误，请提交尽可能多的支持信息的 GitHub 问题。
兼容版本
以下表格显示了彼此兼容的软件包版本。这是由我们的测试框架确定的，但其他 未经测试 的组合也可能适用。
| 公平性指标 | tensorflow | tensorflow-data-validation | tensorflow-model-analysis |
|---|---|---|---|
| GitHub master | 夜间版（1.x/2.x） | 1.15.1 | 0.46.0 |
| v0.46.0 | 2.15 | 1.15.1 | 0.46.0 |
| v0.44.0 | 2.12 | 1.13.0 | 0.44.0 |
| v0.43.0 | 2.11 | 1.12.0 | 0.43.0 |
| v0.42.0 | 1.15.5 / 2.10 | 1.11.0 | 0.42.0 |
| v0.41.0 | 1.15.5 / 2.9 | 1.10.0 | 0.41.0 |
| v0.40.0 | 1.15.5 / 2.9 | 1.9.0 | 0.40.0 |
| v0.39.0 | 1.15.5 / 2.8 | 1.8.0 | 0.39.0 |
| v0.38.0 | 1.15.5 / 2.8 | 1.7.0 | 0.38.0 |
| v0.37.0 | 1.15.5 / 2.7 | 1.6.0 | 0.37.0 |
| v0.36.0 | 1.15.2 / 2.7 | 1.5.0 | 0.36.0 |
| v0.35.0 | 1.15.2 / 2.6 | 1.4.0 | 0.35.0 |
| v0.34.0 | 1.15.2 / 2.6 | 1.3.0 | 0.34.0 |
| v0.33.0 | 1.15.2 / 2.5 | 1.2.0 | 0.33.0 |
| v0.30.0 | 1.15.2 / 2.4 | 0.30.0 | 0.30.0 |
| v0.29.0 | 1.15.2 / 2.4 | 0.29.0 | 0.29.0 |
| v0.28.0 | 1.15.2 / 2.4 | 0.28.0 | 0.28.0 |
| v0.27.0 | 1.15.2 / 2.4 | 0.27.0 | 0.27.0 |
| v0.26.0 | 1.15.2 / 2.3 | 0.26.0 | 0.26.0 |
| v0.25.0 | 1.15.2 / 2.3 | 0.25.0 | 0.25.0 |
| v0.24.0 | 1.15.2 / 2.3 | 0.24.0 | 0.24.0 |
| v0.23.0 | 1.15.2 / 2.3 | 0.23.0 | 0.23.0 |
关闭
哈希值 for fairness_indicators-0.46.0-py3-none-any.whl
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 06082db6bb1b7945e2f03820ae28f81fc18e91e75e500d7bf1f8db1a267f9ca5 |
|
| MD5 | 178a27572867d59bce7e1cee1f800202 |
|
| BLAKE2b-256 | dbdf9602155df4375f2a61cf9c939f6c7d238265dd5edf1172e1521212e8d39b |
