dask-databricks

在Databricks多节点集群上运行Dask的集群工具。

快速入门

要在Databricks上启动Dask集群，您需要创建一个包含以下内容的初始化脚本，并配置您的多节点集群使用它。

#!/bin/bash

# Install Dask + Dask Databricks
/databricks/python/bin/pip install --upgrade dask[complete] dask-databricks

# Start Dask cluster components
dask databricks run

然后，您可以从Databricks笔记本中快速连接Dask Client 到在Spark驱动节点上运行的调度器。

import dask_databricks

client = dask_databricks.get_client()

现在，您可以从笔记本提交工作到多节点Dask集群。

def inc(x):
    return x + 1

x = client.submit(inc, 10)
x.result()

仪表板

您可以通过Databricks驱动节点代理访问Dask仪表板。链接可以在Client或DatabricksCluster repr中找到，或者通过client.dashboard_link。

>>> print(client.dashboard_link)
https://dbc-dp-xxxx.cloud.databricks.com/driver-proxy/o/xxxx/xx-xxx-xxxx/8087/status

发布

此项目的发布是使用GitHub Actions和pypa/gh-action-pypi-publish操作自动化的。

要创建一个新版本，将一个标签推送到格式为x.x.x的上游仓库。软件包将自动构建并推送到PyPI，然后稍后由conda-forge获取。

# Make sure you have an upstream remote
git remote add upstream git@github.com:dask-contrib/dask-databricks.git

# Create a tag and push it upstream
git tag x.x.x && git push upstream main --tags