dask-xgboost 0.2.0

示例

from dask.distributed import Client
client = Client('scheduler-address:8786')  # connect to cluster

import dask.dataframe as dd
df = dd.read_csv('...')  # use dask.dataframe to load and
df_train = ...           # preprocess data
labels_train = ...

import dask_xgboost as dxgb
params = {'objective': 'binary:logistic', ...}  # use normal xgboost params
bst = dxgb.train(client, params, df_train, labels_train)

>>> bst  # Get back normal XGBoost result
<xgboost.core.Booster at ... >

predictions = dxgb.predict(client, bst, data_test)

这是如何工作的

有关使用 Dask.dataframe 进行预处理的更多信息，请参阅 Dask.dataframe 文档。

一旦创建了合适的数据和标签，我们就可以使用XGBoost进行分布式训练了。每个Dask工作进程都会设置一个XGBoost从属进程，并给予它们足够的信息以便找到彼此。然后，Dask工作进程将它们的内存中的Pandas数据框交给XGBoost（一个Dask数据框实际上是分散在多台机器内存中的多个Pandas数据框）。XGBoost独立处理分布式训练，不干扰Dask。然后XGBoost返回一个单独的xgboost.Booster结果对象。

更大型示例

对于更复杂的示例，请参阅

• 这篇博客文章

• 这个笔记本

• 这个屏幕录制

历史

开发期间的对话发生在 dmlc/xgboost #2032