TensorFlow I/O

TensorFlow I/O 是一系列在 TensorFlow 内置支持中不可用的文件系统和文件格式。可以通过以下链接查看 TensorFlow I/O 支持的所有文件系统和文件格式的完整列表：这里。

使用 tensorflow-io 与 keras 结合非常简单。以下是一个使用 tensorflow-io 替换数据处理的 TensorFlow 入门示例：TensorFlow 快速入门

import tensorflow as tf
import tensorflow_io as tfio

# Read the MNIST data into the IODataset.
dataset_url = "https://storage.googleapis.com/cvdf-datasets/mnist/"
d_train = tfio.IODataset.from_mnist(
    dataset_url + "train-images-idx3-ubyte.gz",
    dataset_url + "train-labels-idx1-ubyte.gz",
)

# Shuffle the elements of the dataset.
d_train = d_train.shuffle(buffer_size=1024)

# By default image data is uint8, so convert to float32 using map().
d_train = d_train.map(lambda x, y: (tf.image.convert_image_dtype(x, tf.float32), y))

# prepare batches the data just like any other tf.data.Dataset
d_train = d_train.batch(32)

# Build the model.
model = tf.keras.models.Sequential(
    [
        tf.keras.layers.Flatten(input_shape=(28, 28)),
        tf.keras.layers.Dense(512, activation=tf.nn.relu),
        tf.keras.layers.Dropout(0.2),
        tf.keras.layers.Dense(10, activation=tf.nn.softmax),
    ]
)

# Compile the model.
model.compile(
    optimizer="adam", loss="sparse_categorical_crossentropy", metrics=["accuracy"]
)

# Fit the model.
model.fit(d_train, epochs=5, steps_per_epoch=200)

在上面的 MNIST 示例中，访问数据集文件的 URL 直接传递给 tfio.IODataset.from_mnist API 调用。这是由于 tensorflow-io 内置对 HTTP/HTTPS 文件系统的支持，从而消除了在本地目录中下载和保存数据集的需求。

注意：由于 tensorflow-io 可以在需要时自动检测和解压 MNIST 数据集，因此我们可以直接将压缩文件的 URL（gzip）传递给 API 调用。

请查阅官方 文档 了解该软件包更详细和有趣的用法。

安装

Python 包

可以使用以下命令使用 pip 直接安装 tensorflow-io Python 包：

$ pip install tensorflow-io

对于那些稍微有些冒险精神的人，也可以尝试我们的夜间二进制文件

$ pip install tensorflow-io-nightly

为了确保您拥有与 TensorFlow-IO 兼容的 TensorFlow 版本，您可以在安装期间指定 tensorflow 额外需求

pip install tensorflow-io[tensorflow]

对于 tensorflow-gpu、tensorflow-cpu 和 tensorflow-rocm 包也存在类似的额外需求。

Docker 镜像

除了 pip 包之外，还可以使用 Docker 镜像来快速开始。

对于稳定构建

$ docker pull tfsigio/tfio:latest
$ docker run -it --rm --name tfio-latest tfsigio/tfio:latest

对于夜间构建

$ docker pull tfsigio/tfio:nightly
$ docker run -it --rm --name tfio-nightly tfsigio/tfio:nightly

R 包

一旦成功安装了 tensorflow-io Python 包，您就可以通过以下方式安装 GitHub 上的 R 包的开发版本：

if (!require("remotes")) install.packages("remotes")
remotes::install_github("tensorflow/io", subdir = "R-package")

TensorFlow 版本兼容性

为了确保与 TensorFlow 的兼容性，建议根据以下表格安装匹配版本的 TensorFlow I/O。您可以通过以下链接找到发布列表：这里。

性能基准测试

我们使用GitHub页面来记录API性能基准测试的结果。基准测试任务在提交到master分支时触发，有助于跟踪性能与提交的关系。

贡献

TensorFlow I/O是一个由社区领导的开源项目。因此，该项目依赖于公共贡献、错误修复和文档。请参阅

• 贡献指南，了解如何贡献的说明。
• 开发文档，了解开发环境设置的说明。
• 教程，了解教程笔记本列表和编写教程的说明。

构建状态和持续集成

构建	状态
Linux CPU Python 2
Linux CPU Python 3
Linux GPU Python 2
Linux GPU Python 3

由于manylinux2010的要求，TensorFlow I/O在Linux上使用Ubuntu:16.04 + Developer Toolset 7 (GCC 7.3)进行构建。在Ubuntu 16.04上配置Developer Toolset 7并不完全直接。如果系统已安装docker，则以下命令将自动构建兼容manylinux2010的whl包

#!/usr/bin/env bash

ls dist/*
for f in dist/*.whl; do
  docker run -i --rm -v $PWD:/v -w /v --net=host quay.io/pypa/manylinux2010_x86_64 bash -x -e /v/tools/build/auditwheel repair --plat manylinux2010_x86_64 $f
done
sudo chown -R $(id -nu):$(id -ng) .
ls wheelhouse/*

构建需要一些时间，但一旦完成，将在wheelhouse目录中提供与python 3.5、3.6、3.7兼容的whl包。

在macOS上，可以使用相同的命令。但是，脚本期望shell中的python，并且只会生成与shell中python版本匹配的whl包。如果您想要为特定的python构建whl包，则必须将此版本的python在shell中别名为python。有关如何操作的说明，请参阅.github/workflows/build.yml中的Auditwheel步骤。

注意，上述命令也是我们用于发布Linux和macOS软件包时使用的命令。

TensorFlow I/O使用GitHub Workflows和Google CI (Kokoro)进行持续集成。GitHub Workflows用于macOS构建和测试。Kokoro用于Linux构建和测试。同样，由于manylinux2010的要求，在Linux上whl包始终使用Ubuntu 16.04 + Developer Toolset 7构建。测试在具有不同python3版本的多种系统上进行，以确保良好的覆盖率。

TensorFlow I/O与许多系统和云供应商集成，例如Prometheus、Apache Kafka、Apache Ignite、Google Cloud PubSub、AWS Kinesis、Microsoft Azure Storage、Alibaba Cloud OSS等。

我们尽最大努力在持续集成中对这些系统进行测试。一些测试，如Prometheus、Kafka和Ignite，是在实时系统上进行的，这意味着在测试运行之前，我们在CI机器上安装Prometheus/Kafka/Ignite。一些测试，如Kinesis、PubSub和Azure存储，是通过官方或非官方的模拟器进行的。在可能的情况下，也会进行离线测试，尽管通过离线测试覆盖的系统可能没有实时系统或模拟器那样的覆盖水平。

模拟器的参考资料

• Google Cloud为Cloud PubSub提供的官方PubSub模拟器。
• Azure为Azure存储提供的官方Azurite模拟器。
• 由LocalStack提供的非官方LocalStack模拟器，用于AWS Kinesis。

社区

• SIG IO Google Group 和邮件列表： io@tensorflow.org
• SIG IO 月度会议笔记
• Gitter房间：tensorflow/sig-io

更多信息

• 使用分层存储和无需数据湖的流式机器学习 - Kai Waehner
• TensorFlow with Apache Arrow Datasets - Bryan Cutler
• 如何为TensorFlow构建自定义数据集 - Ivelin Ivanov
• TensorFlow on Apache Ignite - Anton Dmitriev

许可证

Apache License 2.0