用于探索和验证机器学习数据的库。
项目描述
TensorFlow Data Validation
TensorFlow Data Validation (TFDV) 是一个用于探索和验证机器学习数据的库。它旨在高度可扩展，并且与 TensorFlow 和 TensorFlow Extended (TFX) 兼容。
TF Data Validation 包括
- 可扩展地计算训练和测试数据的摘要统计信息。
- 与数据分布和统计的查看器集成，以及特征对的分面比较（Facets）
- 自动生成 数据模式，以描述对数据的要求、范围和词汇表等期望
- 模式查看器，帮助您检查模式。
- 异常检测以识别异常，如缺少特征、超出范围的值或错误的特征类型等。
- 异常查看器，让您可以看到哪些特征存在异常，并了解更多以纠正它们。
有关使用 TFDV 的说明，请参阅入门指南，并尝试示例笔记本。TFDV 中实现的一些技术已在 SysML'19 发表的技术论文中描述。
从 PyPI 安装
推荐使用 PyPI 包 安装 TFDV
pip install tensorflow-data-validation
夜间包
TFDV 还在 Google Cloud 上托管夜间包。要安装最新的夜间包，请使用以下命令
export TFX_DEPENDENCY_SELECTOR=NIGHTLY
pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-data-validation
这将安装 TFDV 的主要依赖项的夜间包，例如 TFX 基本共享库（TFX-BSL）和 TensorFlow Metadata（TFMD）。
有时 TFDV 使用那些依赖项的最新更改，这些更改尚未发布。因此，当使用夜间 TFDV 时，使用那些依赖库的夜间版本更安全。通过导出 TFX_DEPENDENCY_SELECTOR 环境变量来做到这一点。
注意：这些夜间包是不稳定的，很可能会出现损坏。修复可能需要一周或更长时间，具体取决于涉及的复杂性。
使用 Docker 构建
这是在 Linux 下构建 TFDV 的推荐方法，并且由 Google 持续测试。
1. 安装 Docker
请首先按照以下说明安装 docker 和 docker-compose： docker； docker-compose。
2. 克隆 TFDV 仓库
git clone https://github.com/tensorflow/data-validation
cd data-validation
请注意，这些说明将安装 TensorFlow Data Validation 的最新 master 分支。如果您想安装特定分支（例如发布分支），请将 -b <branchname> 传递给 git clone 命令。
3. 构建 pip 包
然后，在项目根目录下运行以下命令
sudo docker-compose build manylinux2010
sudo docker-compose run -e PYTHON_VERSION=${PYTHON_VERSION} manylinux2010
其中 PYTHON_VERSION 是以下之一：{39, 310, 311}。
在 dist/ 下将生成一个 wheel。
4. 安装 pip 包
pip install dist/*.whl
从源码构建
1. 先决条件
要编译和使用 TFDV，您需要设置一些先决条件。
安装 NumPy
如果您的系统上没有安装 NumPy，请现在按照以下说明安装它：这些说明。
安装 Bazel
如果您的系统上没有安装 Bazel，请现在按照以下说明安装它：这些说明。
2. 克隆 TFDV 仓库
git clone https://github.com/tensorflow/data-validation
cd data-validation
请注意，这些说明将安装 TensorFlow Data Validation 的最新 master 分支。如果您想安装特定分支（例如发布分支），请将 -b <branchname> 传递给 git clone 命令。
3. 构建 pip 包
TFDV 轮子依赖于 Python 版本 -- 要构建适用于特定 Python 版本的 pip 包，请使用该 Python 二进制文件运行
python setup.py bdist_wheel
您可以在 dist 子目录中找到生成的 .whl 文件。
4. 安装 pip 包
pip install dist/*.whl
支持的平台
TFDV 已在以下 64 位操作系统上进行了测试
- macOS 12.5（Monterey）或更高版本。
- Ubuntu 20.04 或更高版本。
显著的依赖关系
需要 TensorFlow。
Apache Beam 需要；这是支持高效分布式计算的方法。默认情况下，Apache Beam 以本地模式运行，但也可以使用 Google Cloud Dataflow 和其他 Apache Beam 运行器 以分布式模式运行。
Apache Arrow 也需要。TFDV 使用 Arrow 在内部表示数据，以便利用向量化 numpy 函数。
兼容版本
以下表格显示了相互兼容的包版本。这是由我们的测试框架确定的，但其他 未经测试 的组合也可能工作。
| tensorflow-data-validation | apache-beam[gcp] | pyarrow | tensorflow | tensorflow-metadata | tensorflow-transform | tfx-bsl |
|---|---|---|---|---|---|---|
| GitHub master | 2.59.0 | 10.0.1 | nightly (2.x) | 1.16.0 | n/a | 1.16.0 |
| 1.16.0 | 2.59.0 | 10.0.1 | 2.16 | 1.16.0 | n/a | 1.16.0 |
| 1.15.1 | 2.47.0 | 10.0.0 | 2.15 | 1.15.0 | n/a | 1.15.1 |
| 1.15.0 | 2.47.0 | 10.0.0 | 2.15 | 1.15.0 | n/a | 1.15.0 |
| 1.14.0 | 2.47.0 | 10.0.0 | 2.13 | 1.14.0 | n/a | 1.14.0 |
| 1.13.0 | 2.40.0 | 6.0.0 | 2.12 | 1.13.1 | n/a | 1.13.0 |
| 1.12.0 | 2.40.0 | 6.0.0 | 2.11 | 1.12.0 | n/a | 1.12.0 |
| 1.11.0 | 2.40.0 | 6.0.0 | 1.15 / 2.10 | 1.11.0 | n/a | 1.11.0 |
| 1.10.0 | 2.40.0 | 6.0.0 | 1.15 / 2.9 | 1.10.0 | n/a | 1.10.1 |
| 1.9.0 | 2.38.0 | 5.0.0 | 1.15 / 2.9 | 1.9.0 | n/a | 1.9.0 |
| 1.8.0 | 2.38.0 | 5.0.0 | 1.15 / 2.8 | 1.8.0 | n/a | 1.8.0 |
| 1.7.0 | 2.36.0 | 5.0.0 | 1.15 / 2.8 | 1.7.0 | n/a | 1.7.0 |
| 1.6.0 | 2.35.0 | 5.0.0 | 1.15 / 2.7 | 1.6.0 | n/a | 1.6.0 |
| 1.5.0 | 2.34.0 | 5.0.0 | 1.15 / 2.7 | 1.5.0 | n/a | 1.5.0 |
| 1.4.0 | 2.32.0 | 4.0.1 | 1.15 / 2.6 | 1.4.0 | n/a | 1.4.0 |
| 1.3.0 | 2.32.0 | 2.0.0 | 1.15 / 2.6 | 1.2.0 | n/a | 1.3.0 |
| 1.2.0 | 2.31.0 | 2.0.0 | 1.15 / 2.5 | 1.2.0 | n/a | 1.2.0 |
| 1.1.1 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.1.0 | n/a | 1.1.1 |
| 1.1.0 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.1.0 | n/a | 1.1.0 |
| 1.0.0 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.0.0 | n/a | 1.0.0 |
| 0.30.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.30.0 | n/a | 0.30.0 |
| 0.29.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.29.0 | n/a | 0.29.0 |
| 0.28.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.28.0 | n/a | 0.28.1 |
| 0.27.0 | 2.27.0 | 2.0.0 | 1.15 / 2.4 | 0.27.0 | n/a | 0.27.0 |
| 0.26.1 | 2.28.0 | 0.17.0 | 1.15 / 2.3 | 0.26.0 | 0.26.0 | 0.26.0 |
| 0.26.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.26.0 | 0.26.0 | 0.26.0 |
| 0.25.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.25.0 | 0.25.0 | 0.25.0 |
| 0.24.1 | 2.24.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.1 | 0.24.1 |
| 0.24.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.0 | 0.24.0 |
| 0.23.1 | 2.24.0 | 0.17.0 | 1.15 / 2.3 | 0.23.0 | 0.23.0 | 0.23.0 |
| 0.23.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.23.0 | 0.23.0 | 0.23.0 |
| 0.22.2 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.0 | 0.22.0 | 0.22.1 |
| 0.22.1 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.0 | 0.22.0 | 0.22.1 |
| 0.22.0 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.0 | 0.22.0 | 0.22.0 |
| 0.21.5 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.1 | 0.21.3 |
| 0.21.4 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.1 | 0.21.3 |
| 0.21.2 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 | 0.21.0 |
| 0.21.1 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 | 0.21.0 |
| 0.21.0 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 | 0.21.0 |
| 0.15.0 | 2.16.0 | 0.14.0 | 1.15 / 2.0 | 0.15.0 | 0.15.0 | 0.15.0 |
| 0.14.1 | 2.14.0 | 0.14.0 | 1.14 | 0.14.0 | 0.14.0 | n/a |
| 0.14.0 | 2.14.0 | 0.14.0 | 1.14 | 0.14.0 | 0.14.0 | n/a |
| 0.13.1 | 2.11.0 | n/a | 1.13 | 0.12.1 | 0.13.0 | n/a |
| 0.13.0 | 2.11.0 | n/a | 1.13 | 0.12.1 | 0.13.0 | n/a |
| 0.12.0 | 2.10.0 | n/a | 1.12 | 0.12.1 | 0.12.0 | n/a |
| 0.11.0 | 2.8.0 | n/a | 1.11 | 0.9.0 | 0.11.0 | n/a |
| 0.9.0 | 2.6.0 | n/a | 1.9 | n/a | n/a | n/a |
问题
有关使用 TF Data Validation 的问题，请使用 Stack Overflow 并使用 tensorflow-data-validation 标签。
链接
哈希值 for tensorflow_data_validation-1.16.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | c3d1e784fe0526c9ea205bc305ab52e8dd8486599b75d392185d41eebbb65469 |
|
| MD5 | d897d00e9b2fb4488eb1a9d24b884628 |
|
| BLAKE2b-256 | 24130fcf7708ebfeb4627cd371dff44011ae1bb5bd545140ce390e70002f1ed7 |
哈希值 for tensorflow_data_validation-1.16.0-cp311-cp311-macosx_12_0_x86_64.whl
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | ad60c94d6d3dfe847da55ede2eefe4a63f75a82a4525a2f85da0ee8f22fbd24c |
|
| MD5 | 46d2aaca7bde41b65f6a865da3c98dbd |
|
| BLAKE2b-256 | 0b815d74114f59715cab0da25727289a823e4bd5035610a18c5e782e28f6e430 |
哈希值 for tensorflow_data_validation-1.16.0-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 3eb5a20bdecac065702ad38f4a883d89a3dc58d114c5a5973582228635c656d6 |
|
| MD5 | 9a038bb1bff5f13d19925c7dbebc372e |
|
| BLAKE2b-256 | 47d2676cc1d467beb723cae244dc374cd12e9d2c5e4bd28c4aadd5207d4cfa82 |
哈希值 for tensorflow_data_validation-1.16.0-cp310-cp310-macosx_12_0_x86_64.whl
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 7bccd86d9b603adfe0d1460f6158d7b5d30e3b70979ca62dea2f7de3ef00ad42 |
|
| MD5 | 6d9d399a234ac6118c1b221206fd73ee |
|
| BLAKE2b-256 | 1fe6209b95b024f321176f6b30238b3870c5bf57a8c77d1d9630cf0fd860f215 |
哈希值 for tensorflow_data_validation-1.16.0-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | a96796b83400a950b28824dcde3dd6cb4e23f0157e90d487e3933a39c265e150 |
|
| MD5 | 47fb2e3f6c9d09b283a13b60ade614b6 |
|
| BLAKE2b-256 | 1e6928af641bb453ac7251036051c9fbd49f8e7c5c5af4c4f82a59ff8554a4dd |
哈希值 for tensorflow_data_validation-1.16.0-cp39-cp39-macosx_12_0_x86_64.whl
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | ce10665b82cb09467e29dd3df205ed60144cbf00dd1818dfef9fac7736c3970b |
|
| MD5 | 153bf99c7158a2bb06b7278530e3e5e0 |
|
| BLAKE2b-256 | f3f0a423eed2ccd5081c8f9bf6ac0c5030cca6f652407a4129896eb8b7f72caf |
