大计算挑战赛 1.3.1

运行

尚不清楚如何将所有必要的选项暴露给命令行界面。目前我们正在手动进行所有操作。

在单独的线程中创建一个IOLoop运行

with MarathonCluster(marathon='http://localhost:8080',
                     cpus=1, mem=512, adaptive=True) as mc:
    with Client(mc.scheduler_address) as c:
        x = c.submit(lambda x: x + 1, 1)
        assert x.result() == 2

创建一个Client并提交工作到调度器。Marathon将根据当前的工作负载自动扩展和缩小工作者。

from distributed import Client
c = Client(s.address)

future = c.submit(lambda x: x + 1, 10)

待办事项

• [x] 在集群上部署调度器

• [x] 支持命令行界面

Docker测试工具

此设置使用docker-compose创建一个由一个Mesos主节点和两个Mesos代理组成的docker集群。

要求:

• docker版本 >= 1.11.1

• docker-compose版本 >= 1.7.1

docker-compose up

运行py.test

py.test dask-marathon