跳转到主要内容

yadage - 基于YAML的adage

项目描述

yadage - 基于yaml的adage

arXiv DOI PyPI version GitHub Actions Status: CI Code Coverage Language grade: Python CodeFactor Documentation Status Code style: black

本包读取并执行遵循在https://github.com/yadage/yadage-schemas中定义的工作流程JSON模式的工作流程,例如存储在社区仓库https://github.com/yadage/yadage-workflows中的工作流程。对于执行单个步骤,它主要使用由https://github.com/yadage/packtivity提供的packtivity python绑定。

示例工作流程

cat << 'EOF' > workflow.yml
stages:
- name: hello_world
  dependencies: [init]
  scheduler:
    scheduler_type: singlestep-stage
    parameters:
      name: {step: init, output: name}
      outputfile: '{workdir}/hello_world.txt'
    step:
      process:
        process_type: 'string-interpolated-cmd'
        cmd: 'echo Hello my Name is {name} | tee {outputfile}'
      publisher:
        publisher_type: 'frompar-pub'
        outputmap:
          outputfile: outputfile
      environment:
        environment_type: 'docker-encapsulated'
        image: busybox
EOF

您可以通过以下方式尝试此工作流程

yadage-run -p name="John Doe"

有关更详细的示例,请参阅文档

可能的后端

Yadage可以在多种后端上运行,例如多进程池、ipython集群或celery集群。如果某些步骤需要人工干预,它也可以以交互式方式运行。

相关包的发布版本(yadage的主要依赖项)

版本
packtivity PyPI version
yadage-schemas PyPI version
adage PyPI version

支持

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF 赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误记录 StatusPage StatusPage 状态页面