step-pipeline

这个库作为Hail Batch（最终将是其他执行引擎）之上的一层薄层，提供以下功能

• 跳过已成功运行并完成的步骤（例如，它们的输出文件已经存在且比输入文件新）。这是在提交管道到执行引擎之前完成的。
• 通过最小修改管道代码，更容易在本地化文件的不同方式之间切换（复制、gcsfuse等）
• 自动定义管道命令行参数，以强制或跳过执行特定步骤
• 使用配置文件存储各种管道参数（例如，云项目账户等）
• 添加发送管道完成通知到Slack的命令
• 添加在运行时对管道步骤进行性能分析的命令，并将此信息保存到外部存储
• 生成管道执行图（DAG）的图

另一个长期目标是允许在最小修改的情况下将相同的管道定义提交给不同的后端，包括Hail Batch、Terra/Cromwell和其他。这只适用于使用相关执行引擎之间共享的工作流定义功能子集的管道。

安装

要安装 step-pipeline 库，请运行

python3 -m pip install step-pipeline

文档

API 文档