knit 0.2.4

概述

knit 允许您在 YARN（Hadoop 系统中最常用的资源管理器）中使用 Python。它提供了以下高级功能入口：

• CondaCreator，一种创建压缩 conda 环境的方式，以便可以将其上传到 HDFS 并提取用于在 YARN 容器中使用

• YARNAPI，一个用于获取应用程序/容器状态、日志并终止运行作业的 YARN 资源管理器接口

• Knit，一个 YARN 应用程序运行器，它生成一个基于 Scala 的 YARN 客户端实例，并在 YARN 上启动应用程序，然后在该应用程序中运行 YARN 容器中的命令

• DaskYARNCluster，在 YARN 上启动一个 Dask 分布式集群，每个容器一个工作进程。

目标是使用从集群边缘节点进行的knit，即使用YARN配置和本地可用的CLI。

快速入门

从conda-forge安装

> conda install -c conda-forge knit

或者使用pip

> pip install knit

如果从源安装，您必须首先构建Java库（需要Java和Maven）

> python setup.py install mvn

在YARN集群上运行任意命令

import knit
k = knit.Knit()
k.start('env')  # wait some time
k.logs()

在YARN上启动dask集群

import dask_yarn
cluster = dask_yarn.DaskYARNCluster()
cluster.start(nworkers=4, memory=1024, cpus=2)