公平性指标TensorBoard插件
项目描述
使用公平性指标仪表板评估模型 [测试版]
TensorBoard的公平性指标插件使您能够轻松计算二元和多元分类器中常见的公平性度量指标。使用此插件，您可以可视化运行中的公平性评估，并轻松比较不同组之间的性能。
特别是，TensorBoard的公平性指标插件允许您评估和可视化按定义的用户组划分的模型性能。通过置信区间和多阈值评估，您可以对结果有信心。
许多现有的公平性评估工具在大规模数据集和模型上表现不佳。在谷歌，我们重视拥有能够在十亿用户系统上运行的工具。公平性指标将允许您在TensorBoard环境中或在Colab中对任何规模的使用案例进行评估。
需求
要安装TensorBoard的公平性指标，请运行
python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators
夜间包
Tensorboard插件也在谷歌云上的https://pypi-nightly.tensorflow.org托管夜间包。要安装最新的夜间包，请使用以下命令
pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorboard-plugin-fairness-indicators
这将安装Tensorboard插件的主要依赖项的夜间包，例如TensorFlow模型分析（TFMA）。
演示Colab
Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb包含一个端到端演示，用于训练和评估模型，并在TensorBoard中可视化公平性评估结果。
用法
要使用公平性指标与您自己的数据和评估一起使用
-
使用model_eval_lib中的
tensorflow_model_analysis.run_model_analysis或tensorflow_model_analysis.ExtractEvaluateAndWriteResultAPI训练新模型并进行评估。有关如何操作的代码片段，请参阅Fairness Indicators colab 此处。 -
使用
demo.py编写总结数据文件，TensorBoard将读取它以渲染公平性指标仪表板（有关总结数据文件的更多信息，请参阅TensorBoard教程）。与
demo.py实用程序一起使用的标志--logdir：TensorBoard将写入总结的目录--eval_result_output_dir：包含TFMA评估结果的目录
python demo.py --logdir=<logdir> --eval_result_output_dir=<eval_result_dir>`或者，您也可以使用
tensorboard_plugin_fairness_indicators.summary_v2API编写总结文件。writer = tf.summary.create_file_writer(<logdir>) with writer.as_default(): summary_v2.FairnessIndicators(<eval_result_dir>, step=1) writer.close() -
运行TensorBoard
注意：这将启动一个本地实例。启动本地实例后，将在终端中显示一个链接。在浏览器中打开此链接以查看公平性指标仪表板。
tensorboard --logdir=<logdir>- 使用仪表板左侧的下拉菜单选择新的评估运行以可视化结果。
兼容版本
以下表格显示了相互兼容的包版本。这是由我们的测试框架确定的，但其他未测试的组合也可能工作。
| tensorboard-pluginn | tensorflow | tensorflow-model-analysis |
|---|---|---|
| GitHub master | 夜间（2.x） | 0.46.0 |
| v0.46.0 | 2.15.0 | 0.46.0 |
| v0.44.0 | 2.12.0 | 0.44.0 |
| v0.43.0 | 2.11.0 | 0.43.0 |
| v0.42.0 | 2.10.0 | 0.42.0 |
| v0.41.0 | 2.9.0 | 0.41.0 |
| v0.40.0 | 2.9.0 | 0.40.0 |
| v0.39.0 | 2.8.0 | 0.39.0 |
| v0.38.0 | 2.8.0 | 0.38.0 |
| v0.37.0 | 2.7.0 | 0.37.0 |
| v0.36.0 | 2.7.0 | 0.36.0 |
| v0.35.0 | 2.6.0 | 0.35.0 |
| v0.34.0 | 2.6.0 | 0.34.0 |
| v0.33.0 | 2.5.0 | 0.33.0 |
| v0.30.0 | 2.4.0 | 0.30.0 |
| v0.29.0 | 2.4.0 | 0.29.0 |
| v0.28.0 | 2.4.0 | 0.28.0 |
| v0.27.0 | 2.4.0 | 0.27.0 |
| v0.26.0 | 2.3.0 | 0.26.0 |
| v0.25.0 | 2.3.0 | 0.25.0 |
| v0.24.0 | 2.3.0 | 0.24.0 |
| v0.23.0 | 2.3.0 | 0.23.0 |
哈希值 for tensorboard_plugin_fairness_indicators-0.46.0-py3-none-any.whl
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | c843d6851efe3e4484ab1bb6551bc0fa8bc01a4a5049d077cac9da9337ccdeee |
|
| MD5 | 19805b75b4baba829905fe79f145be20 |
|
| BLAKE2b-256 | e778aa0c7eedfcc769aecb0ebed1514309771029728622a5b6cc1bdc43b1056d |