clusterfutures 0.5

此模块提供了一个Python concurrent.futures 执行器，允许您在HTCondor 或 Slurm 集群上运行函数。停止担心编写作业文件、散布/收集和序列化——此模块为您全部完成。

它使用cloudpickle 库，允许（大多数）闭包透明地使用，因此您不受“纯”函数的限制。

安装

pip install clusterfutures

使用方法

import cfut
def square(n):
    return n * n

with cfut.SlurmExecutor() as executor:
    for result in executor.map(square, [5, 7, 11]):
        print(result)

请参阅slurm_example.py 和 condor_example.py 以获取更多示例。开始使用最简单的方法是忽略使用futures的事实，直接使用提供的map函数，它类似于itertools.imap，但可以透明地将您的任务分配到集群中。