跳转到主要内容

Pydra数据流引擎

项目描述

GitHub Actions CI CircleCI codecov

pydra logo

Pydra:数据流引擎

一个具有可扩展语义的简单数据流引擎。

Pydra 是 Nipype 引擎的重写,以映射和连接作为一等操作。它是 Nipype 2.0 生态系统的核心。

Pydra 的目标是提供一个轻量级的 Python 数据流引擎,用于 DAG 构建、操作和分布式执行。

功能列表

  1. Python 3.7+ 使用类型注解和 attrs

  2. 可组合的数据流,具有简单的节点语义。数据流可以是另一个数据流的节点。

  3. splittercombiner 提供了许多压缩复杂循环语义的方法

  4. 缓存执行,支持跨数据流和用户的全局缓存

  5. 分布式执行,目前通过 ConcurrentFutures、SLURM 和 Dask(这是一个具有有限测试的实验性实现)

API 文档

了解 Pydra 更多信息

Binder

请注意,mybinder 在一个小时后超时。

安装

pip install pydra

请注意,在 Windows 上使用较旧版本的 pip 进行安装会失败。请在安装之前升级 pip

pip install –upgrade pip
pip install pydra

开发者安装

Pydra 需要 Python 3.7+。要在开发者模式下安装

git clone git@github.com:nipype/pydra.git
cd pydra
pip install -e ".[dev]"

为了在本地运行 pydra 的测试

pytest -vs pydra

如果您想测试与 Dask 的执行

git clone git@github.com:nipype/pydra.git
cd pydra
pip install -e ".[dask]"

安装 pre-commit 也很有用

pip install pre-commit
pre-commit

项目详情


下载文件

下载适合您平台的应用程序。如果您不确定要选择哪个,请了解更多关于 安装软件包 的信息。

源代码分发

pydra-0.23.tar.gz (10.6 MB 查看哈希值)

上传时间 源代码

构建分布

pydra-0.23-py3-none-any.whl (10.6 MB 查看哈希值)

上传时间 Python 3

由以下支持