用于分析TensorFlow模型的库
项目描述
TensorFlow模型分析
TensorFlow模型分析 (TFMA) 是一个用于评估TensorFlow模型的库。它允许用户使用与其训练器中定义的相同指标，以分布式方式在大量数据上评估其模型。这些指标可以计算在不同数据切片上，并在Jupyter笔记本中进行可视化。
注意事项：TFMA在版本1.0之前可能会引入与之前版本不兼容的更改。
安装
推荐安装TFMA的方式是使用PyPI软件包
pip install tensorflow-model-analysis
从https://pypi-nightly.tensorflow.org使用pip安装
pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis
从git的HEAD部分安装pip
pip install git+https://github.com/tensorflow/model-analysis.git#egg=tensorflow_model_analysis
直接从git的发布版本安装pip
pip install git+https://github.com/tensorflow/model-analysis.git@v0.21.3#egg=tensorflow_model_analysis
如果您已本地克隆了存储库，并想测试您本地的更改，请从本地文件夹安装pip
pip install -e $FOLDER_OF_THE_LOCAL_LOCATION
注意，由于上述选项需要从源代码构建TFMA，因此必须正确安装protobuf，因为它需要protoc及其所有引用的包含文件。请参阅protobuf安装说明以获取最新的安装说明。
目前，TFMA需要安装TensorFlow，但没有明确依赖于TensorFlow PyPI软件包。请参阅TensorFlow安装指南以获取说明。
从源代码构建TFMA
要从源代码构建，请按照以下步骤操作
按照提到的链接安装protoc：protoc
运行以下命令创建虚拟环境
python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel
这将在dist目录中构建TFMA wheel。要从dist目录安装wheel，请运行以下命令
cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl
Jupyter Lab
截至撰写本文时，由于https://github.com/pypa/pip/issues/9187，pip install可能永远不会完成。在这种情况下，您应该将pip回滚到版本19而不是20：pip install "pip<20"。
使用JupyterLab扩展需要通过命令行安装依赖项。您可以在JupyterLab UI的控制台或命令行中这样做。这包括分别安装任何pip软件包依赖项和JupyterLab labextension插件依赖项，并且版本号必须兼容。JupyterLab labextension软件包是指npm软件包（例如，tensorflow_model_analysis）。
以下示例使用0.32.0。检查下面的版本以使用最新版本。
Jupyter Lab 3.0.x
pip install tensorflow_model_analysis==0.32.0
jupyter labextension install tensorflow_model_analysis@0.32.0
pip install jupyterlab_widgets==1.0.0
Jupyter Lab 2.2.x
pip install tensorflow_model_analysis==0.32.0
jupyter labextension install tensorflow_model_analysis@0.32.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2
Jupyter Lab 1.2.x
pip install tensorflow_model_analysis==0.32.0
jupyter labextension install tensorflow_model_analysis@0.32.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1
经典Jupyter Notebook
要启用经典Jupyter Notebook（通过jupyter notebook或通过JupyterLab UI）中的TFMA可视化，您还需要运行以下命令
jupyter nbextension enable --py widgetsnbextension
jupyter nbextension enable --py tensorflow_model_analysis
注意：如果Jupyter notebook已经安装在你的家目录中，请在这些命令中添加--user。如果Jupyter以root身份安装，或使用虚拟环境，则可能需要--sys-prefix参数。
从源代码构建TFMA
如果您想从源代码构建TFMA并使用JupyterLab中的UI，请确保源代码包含有效的版本号。请检查Python软件包版本号和npm软件包版本号是否完全相同，并且两个有效版本号（例如，删除-dev后缀）。
故障排除
检查pip软件包
pip list
检查JupyterLab扩展
jupyter labextension list # for JupyterLab
jupyter nbextension list # for classic Jupyter Notebook
带有embed_minimal_html的独立HTML页面
TFMA笔记本扩展可以构建成一个包含数据的独立HTML文件。请参阅Jupyter Widgets文档中的embed_minimal_html。
Kubeflow Pipelines
Kubeflow Pipelines包括集成TFMA笔记本扩展（代码）。此集成依赖于在运行时对在unpkg.com上发布的JavaScript构建版本的网络访问（请参阅配置和加载器代码）。
重要的依赖项
需要TensorFlow。
需要Apache Beam；它是支持高效分布式计算的方式。默认情况下，Apache Beam以本地模式运行，但也可以使用Google Cloud Dataflow和其他Apache Beam 运行器以分布式模式运行。
还需要Apache Arrow。TFMA使用Arrow在内部表示数据，以便使用矢量化numpy函数。
入门指南
有关使用TFMA的说明，请参阅入门指南。
兼容版本
以下表格显示了相互兼容的TFMA软件包版本。这是由我们的测试框架确定的，但其他未测试的组合也可能有效。
| tensorflow-model-analysis | apache-beam[gcp] | pyarrow | tensorflow | tensorflow-metadata | tfx-bsl |
|---|---|---|---|---|---|
| GitHub master | 2.47.0 | 10.0.0 | nightly (2.x) | 1.15.0 | 1.15.1 |
| 0.46.0 | 2.47.0 | 10.0.0 | 2.15 | 1.15.0 | 1.15.1 |
| 0.45.0 | 2.47.0 | 10.0.0 | 2.13 | 1.14.0 | 1.14.0 |
| 0.44.0 | 2.40.0 | 6.0.0 | 2.12 | 1.13.1 | 1.13.0 |
| 0.43.0 | 2.40.0 | 6.0.0 | 2.11 | 1.12.0 | 1.12.0 |
| 0.42.0 | 2.40.0 | 6.0.0 | 1.15.5 / 2.10 | 1.11.0 | 1.11.1 |
| 0.41.0 | 2.40.0 | 6.0.0 | 1.15.5 / 2.9 | 1.10.0 | 1.10.1 |
| 0.40.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.9 | 1.9.0 | 1.9.0 |
| 0.39.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.8 | 1.8.0 | 1.8.0 |
| 0.38.0 | 2.36.0 | 5.0.0 | 1.15.5 / 2.8 | 1.7.0 | 1.7.0 |
| 0.37.0 | 2.35.0 | 5.0.0 | 1.15.5 / 2.7 | 1.6.0 | 1.6.0 |
| 0.36.0 | 2.34.0 | 5.0.0 | 1.15.5 / 2.7 | 1.5.0 | 1.5.0 |
| 0.35.0 | 2.33.0 | 5.0.0 | 1.15 / 2.6 | 1.4.0 | 1.4.0 |
| 0.34.1 | 2.32.0 | 2.0.0 | 1.15 / 2.6 | 1.2.0 | 1.3.0 |
| 0.34.0 | 2.31.0 | 2.0.0 | 1.15 / 2.6 | 1.2.0 | 1.3.1 |
| 0.33.0 | 2.31.0 | 2.0.0 | 1.15 / 2.5 | 1.2.0 | 1.2.0 |
| 0.32.1 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.1.0 | 1.1.1 |
| 0.32.0 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.1.0 | 1.1.0 |
| 0.31.0 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.0.0 | 1.0.0 |
| 0.30.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.30.0 | 0.30.0 |
| 0.29.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.29.0 | 0.29.0 |
| 0.28.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.28.0 | 0.28.0 |
| 0.27.0 | 2.27.0 | 2.0.0 | 1.15 / 2.4 | 0.27.0 | 0.27.0 |
| 0.26.1 | 2.28.0 | 0.17.0 | 1.15 / 2.3 | 0.26.0 | 0.26.0 |
| 0.26.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.26.0 | 0.26.0 |
| 0.25.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.25.0 | 0.25.0 |
| 0.24.3 | 2.24.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.1 |
| 0.24.2 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.0 |
| 0.24.1 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.0 |
| 0.24.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.0 |
| 0.23.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.23.0 | 0.23.0 |
| 0.22.2 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.2 | 0.22.0 |
| 0.22.1 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.2 | 0.22.0 |
| 0.22.0 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.0 | 0.22.0 |
| 0.21.6 | 2.19.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.3 |
| 0.21.5 | 2.19.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.3 |
| 0.21.4 | 2.19.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.3 |
| 0.21.3 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.21.2 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.21.1 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.21.0 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.15.4 | 2.16.0 | 0.15.0 | 1.15 / 2.0 | n/a | 0.15.1 |
| 0.15.3 | 2.16.0 | 0.15.0 | 1.15 / 2.0 | n/a | 0.15.1 |
| 0.15.2 | 2.16.0 | 0.15.0 | 1.15 / 2.0 | n/a | 0.15.1 |
| 0.15.1 | 2.16.0 | 0.15.0 | 1.15 / 2.0 | n/a | 0.15.0 |
| 0.15.0 | 2.16.0 | 0.15.0 | 1.15 | n/a | n/a |
| 0.14.0 | 2.14.0 | n/a | 1.14 | n/a | n/a |
| 0.13.1 | 2.11.0 | n/a | 1.13 | n/a | n/a |
| 0.13.0 | 2.11.0 | n/a | 1.13 | n/a | n/a |
| 0.12.1 | 2.10.0 | n/a | 1.12 | n/a | n/a |
| 0.12.0 | 2.10.0 | n/a | 1.12 | n/a | n/a |
| 0.11.0 | 2.8.0 | n/a | 1.11 | n/a | n/a |
| 0.9.2 | 2.6.0 | n/a | 1.9 | n/a | n/a |
| 0.9.1 | 2.6.0 | n/a | 1.10 | n/a | n/a |
| 0.9.0 | 2.5.0 | n/a | 1.9 | n/a | n/a |
| 0.6.0 | 2.4.0 | n/a | 1.6 | n/a | n/a |
问题
有关TFMA使用的问题，请使用Stack Overflow的tensorflow-model-analysis标签。
tensorflow_model_analysis-0.46.0-py3-none-any.whl的散列值
| 算法 | 散列摘要 | |
|---|---|---|
| SHA256 | 6ddd235ed0db6de4fab14921111962a8aa24952bb29892951635fa9d287503a0 |
|
| MD5 | 5d7ecd2ebd90909c6748b376ac0252b8 |
|
| BLAKE2b-256 | c31b1eeca339a971a96685f650aacf8577ae43a4ce5849dd6e56a902fe730429 |
