并行处理协调器。将数据集处理拆分以运行并行集群作业并聚合输出
项目描述
ParProcCo
需要将YAML配置文件放置在包的祖父目录中,CONDA_PREFIX/etc或/etc
--- !PPCConfig
allowed_programs:
rs_map: msmapper_utils
blah1: whatever_package1
blah2: whatever_package2
url: https://slurm.local:8443
extra_property_envs: # optional mapping of properties to pass to Slurm's JobDescMsg
account: MY_ACCOUNT # env var that holds account
comment: mega job
valid_top_directories: # optional mapping of top directories accessible from cluster nodes
# (used to check job scripts, log and working directories)
- /cluster_home
- /cluster_apps
可以在其他包的setup.py
中添加名为ParProcCo.allowed_programs
的入口点
setup(
...
entry_points={PPC_ENTRY_POINT: ['blah1 = whatever_package1']},
)
它将在whatever_package1
包中查找名为blah1_wrapper
的模块。
测试
可以使用以下命令运行测试
$ pytest tests
要测试与Slurm的交互,请设置以下环境变量
SLURM_REST_URL # URL for server and port where the REST endpoints are hosted
SLURM_PARTITION # Slurm cluster parition
SLURM_JWT # JSON web token for access to REST endpoints
项目详情
下载文件
下载适用于您的平台的文件。如果您不确定选择哪个,请了解更多关于安装包的信息。
源分发
ParProcCo-2.1.0.tar.gz (56.3 kB 查看哈希值)
构建分发
ParProcCo-2.1.0-py3-none-any.whl (66.8 kB 查看哈希值)
关闭
ParProcCo-2.1.0.tar.gz的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | f86ec8aabaf76d3e67a3718c56bf59c1a63aac9675d2650f66395fc9961e234f |
|
MD5 | 75c7b213eef6f6c0160ce5acb62c341b |
|
BLAKE2b-256 | e483c3e1f929a0072af8fa0e01be187e246f6fecf4e3590e0ea5ca68c199bf12 |
关闭
ParProcCo-2.1.0-py3-none-any.whl的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 9c61bfe2de654b175a85eeed03dde73b3f19aeffc51b11528e7b1399509836cb |
|
MD5 | 40ee291baa5d56dd43260d9545ccd3bd |
|
BLAKE2b-256 | 305e76843bdaf494d617a7ebe102c18ff8f5316e5cfa3855e57b83cee207cd92 |