Pydra数据流引擎
项目描述
Pydra:数据流引擎
一个具有可扩展语义的简单数据流引擎。
Pydra 是 Nipype 引擎的重写,以映射和连接作为一等操作。它是 Nipype 2.0 生态系统的核心。
Pydra 的目标是提供一个轻量级的 Python 数据流引擎,用于 DAG 构建、操作和分布式执行。
功能列表
Python 3.7+ 使用类型注解和 attrs
可组合的数据流,具有简单的节点语义。数据流可以是另一个数据流的节点。
splitter 和 combiner 提供了许多压缩复杂循环语义的方法
缓存执行,支持跨数据流和用户的全局缓存
分布式执行,目前通过 ConcurrentFutures、SLURM 和 Dask(这是一个具有有限测试的实验性实现)
了解 Pydra 更多信息
交互式探索 Pydra(教程也可以通过 Binder 服务运行)
请注意,mybinder 在一个小时后超时。
安装
pip install pydra
请注意,在 Windows 上使用较旧版本的 pip 进行安装会失败。请在安装之前升级 pip
pip install –upgrade pip pip install pydra
开发者安装
Pydra 需要 Python 3.7+。要在开发者模式下安装
git clone git@github.com:nipype/pydra.git cd pydra pip install -e ".[dev]"
为了在本地运行 pydra 的测试
pytest -vs pydra
如果您想测试与 Dask 的执行
git clone git@github.com:nipype/pydra.git cd pydra pip install -e ".[dask]"
安装 pre-commit 也很有用
pip install pre-commit pre-commit
项目详情
下载文件
下载适合您平台的应用程序。如果您不确定要选择哪个,请了解更多关于 安装软件包 的信息。
源代码分发
pydra-0.23.tar.gz (10.6 MB 查看哈希值)
构建分布
pydra-0.23-py3-none-any.whl (10.6 MB 查看哈希值)
关闭
pydra-0.23.tar.gz的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 1965741230ab2684812b3e2a65b2b0ce0dfff11ae7afc32edec41c5c4618d05a |
|
MD5 | 07883811f435a13a667e26e7e4c24aec |
|
BLAKE2b-256 | 5f6358d6cb3f9bf72401171d3d091e491ab5c1166666087a73a948aef3dda004 |
关闭
pydra-0.23-py3-none-any.whl的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | d8ba780575a95cf3886fa70cc54d20d4b62043bfeb8a4aa71a784b8e55b2d8cd |
|
MD5 | 1efc1ff3f2aa391e3310b8d74efcbe08 |
|
BLAKE2b-256 | dbd63bb5e61e5be2531bd6137d7dff5abb695e3c16b1ad0e869ad16d0261dbbe |