PFN IO库
项目描述
PFIO
PFIO是PFN开发的一个IO抽象库，专为深度学习训练优化，包含所有必要的功能。它支持
- 文件系统API抽象，具有统一的错误语义，
- 显式的用户空间缓存系统，
- IO性能追踪和指标统计，以及
- 文件集容器实用程序以保存元数据。
依赖项
- HDFS客户端和libhdfs用于访问HDFS
- CPython >= 3.8
安装和文档构建
安装
$ git clone https://github.com/pfnet/pfio.git
$ cd pfio
$ pip install .
文档
$ cd pfio/docs
$ make html
$ open build/html/index.html
如何使用
有关使用方法的更多信息，请参阅官方文档。
发布
检查官方文档以获取最新的发布流程。
本地运行测试
$ pip install tox
$ tox
在pfio/version.py中增加版本号。
推送并提交一个拉取请求以触发CI。一旦CI通过并且拉取请求被合并，标记一个发布版本。
$ git tag -s X.Y.Z
$ git push --tags
构建
$ rm -rf dist
$ pip3 install --user build
$ python3 -m build
发布到PyPI
$ python3 -m pip install --user --upgrade twine
$ python3 -m twine upload --repository testpypi dist/*
下载文件
下载适用于您平台的文件。如果您不确定选择哪个，请了解更多关于安装软件包的信息。
源分发
pfio-2.8.0.tar.gz (39.0 kB 查看哈希值)
构建分发
pfio-2.8.0-py3-none-any.whl (46.4 kB 查看哈希值)
