dask-hpcconfig

要安装，使用

python -m pip install git+https://github.com/umr-lops/dask-hpcconfig.git#egg=dask-hpcconfig

或克隆源

git clone https://github.com/umr-lops/dask-hpcconfig.git
cd dask-hpcconfig

然后从那里安装

python -m pip install .

或作为“可编辑的”

python -m pip install -e .

用法

import dask_hpcconfig

列出可用的集群定义

dask_hpcconfig.print_clusters()

或，作为名称到类型的映射

clusters = dask_hpcconfig.available_clusters()

要创建集群，使用

cluster = dask_hpcconfig.cluster(name)

其中 name 是可用集群的名称之一。

要覆盖任何特定的设置：例如在 'datarmor-local' 中仅使用 7 个工作进程来增加每个工作进程的内存大小

overrides = {"cluster.n_workers": 7}
cluster = dask_hpcconfig.cluster("datarmor-local", **overrides)

例如在 'datarmor' 中仅使用 7 个工作进程来增加每个工作进程的内存大小，并使用 49 个工作进程（即 7 个 mpi_1 节点）

overrides = {"cluster.cores": 7}
cluster = dask_hpcconfig.cluster("datarmor", **overrides)
cluster.scale(49)

cluster 可以用来创建一个 Client

from distributed import Client

client = Client(cluster)