跳转到主要内容

并行处理协调器。将数据集处理拆分以运行并行集群作业并聚合输出

项目描述

ParProcCo

需要将YAML配置文件放置在包的祖父目录中,CONDA_PREFIX/etc或/etc

--- !PPCConfig
allowed_programs:
    rs_map: msmapper_utils
    blah1: whatever_package1
    blah2: whatever_package2
url: https://slurm.local:8443
extra_property_envs: # optional mapping of properties to pass to Slurm's JobDescMsg
    account: MY_ACCOUNT # env var that holds account
    comment: mega job
valid_top_directories: # optional mapping of top directories accessible from cluster nodes
                       # (used to check job scripts, log and working directories)
    - /cluster_home
    - /cluster_apps

可以在其他包的setup.py中添加名为ParProcCo.allowed_programs的入口点

setup(
...
    entry_points={PPC_ENTRY_POINT: ['blah1 = whatever_package1']},
)

它将在whatever_package1包中查找名为blah1_wrapper的模块。

测试

可以使用以下命令运行测试

$ pytest tests

要测试与Slurm的交互,请设置以下环境变量

SLURM_REST_URL  # URL for server and port where the REST endpoints are hosted
SLURM_PARTITION # Slurm cluster parition 
SLURM_JWT       # JSON web token for access to REST endpoints

项目详情


下载文件

下载适用于您的平台的文件。如果您不确定选择哪个,请了解更多关于安装包的信息。

源分发

ParProcCo-2.1.0.tar.gz (56.3 kB 查看哈希值)

上传时间

构建分发

ParProcCo-2.1.0-py3-none-any.whl (66.8 kB 查看哈希值)

上传时间 Python 3

由以下支持

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误记录 StatusPage StatusPage 状态页面