TorchData (请参阅下面对当前状态的说明)

什么是TorchData？ | 有状态数据加载器 | 安装指南 | 贡献 | 许可证

:warning: 2024年6月状态更新：移除DataPipes和DataLoader V2

我们正在将torchdata仓库的重心转向对torch.utils.data.DataLoader的迭代式增强。我们不再计划继续开发或维护[DataPipes]和[DataLoaderV2]解决方案，并将从torchdata仓库中移除它们。我们还将重新审视pytorch/pytorch中的DataPipes引用。在torchdata==0.8.0（2024年7月）版本中，它们将被标记为已弃用，并在0.9.0（2024年10月）版本中删除。建议现有用户在迁移完成之前将版本锁定在torchdata==0.8.0或更早版本。后续版本将不会包含DataPipes或DataLoaderV2。旧版本的README文件可在此处找到。如有建议或意见，请提出（请使用#1196进行反馈）。

什么是TorchData？

TorchData项目是对PyTorch的torch.utils.data.DataLoader以及torch.utils.data.Dataset/IterableDataset的迭代式增强，以使其成为可扩展、高性能的数据加载解决方案。我们将在torchdata仓库下对这些增强进行迭代。

我们的第一个更改是从torch.utils.data.DataLoader中添加检查点功能，这可以在stateful_dataloader中找到，它是torch.utils.data.DataLoader的替代品，通过定义load_state_dict和state_dict方法，使中期epoch检查点成为可能，并为用户提供API以跟踪自定义迭代进度，以及其他自定义状态，如token缓冲区和/或RNG状态。

有状态的数据加载器

torchdata.stateful_dataloader.StatefulDataLoader是torch.utils.data.DataLoader的替代品，它提供了state_dict和load_state_dict功能。有关更多信息示例，请参阅有状态数据加载器主页。还可以查看此Colab笔记本中的示例。

安装

版本兼容性

以下是相应的torchdata版本和支持的Python版本。

本地pip或conda

首先，设置一个环境。我们将安装PyTorch二进制文件以及torchdata。如果你使用conda，创建一个conda环境

conda create --name torchdata
conda activate torchdata

如果你希望使用venv而不是

python -m venv torchdata-env
source torchdata-env/bin/activate

安装torchdata

使用pip

pip install torchdata

使用conda

conda install -c pytorch torchdata

从源

pip install .

如果在从源构建TorchData失败的情况下，请按照贡献页面中提供的链接安装PyTorch的nightly版本。

从nightly

TorchData的nightly版本也提供，并从主分支每天更新。

使用pip

pip install --pre torchdata --extra-index-url https://download.pytorch.org/whl/nightly/cpu

使用conda

conda install torchdata -c pytorch-nightly

贡献

我们欢迎PR！请参阅CONTRIBUTING文件。

beta使用和反馈

我们很高兴听到早期采用者的意见，并与他们合作完善我们的设计。如果你对使用此工具对项目感兴趣，请提出问题。

许可证

TorchData采用BSD许可，如LICENSE文件中所述。