mlflow-torchserve 0.1.0

# mlflow-torchserve

一个插件，用于将[TorchServe](https://github.com/pytorch/serve)与MLflow流程集成。mlflow_torchserve允许您使用mlflow将MLflow流程中构建和训练的模型部署到TorchServe，而无需用户做出额外努力。此插件提供了一些命令行API，这些API也通过mlflow的Python包访问，以使部署过程无缝。

## 安装 为安装和激活插件，您只需安装此在PyPI中可用的包，可以使用以下命令安装

`bash pip install mlflow-torchserve ` ## 它做什么 安装此包使用Python的入口点机制将插件注册到MLflow插件注册表中。每次您启动MLflow脚本或命令行参数时，都会调用此注册表。

### 创建部署 将模型部署到TorchServe。命令行参数create和Python API create_deployment执行使用MLflow构建的模型到TorchServe的部署。

##### CLI `shell script mlflow deployments create -t torchserve -m <model uri> --name DEPLOYMENT_NAME -C 'MODEL_FILE=<model file path>' -C 'HANDLER=<handler file path>' `

##### Python API `python from mlflow.deployments import get_deploy_client target_uri = 'torchserve' plugin = get_deploy_client(target_uri) plugin.create_deployment(name=<deployment name>, model_uri=<model uri>, config={"MODEL_FILE": <model file path>, "HANDLER": <handler file path>}) `

### 更新部署更新API可用于更新已部署的模型。此设置在您想增加工作者数量或将模型设置为默认版本时非常有用。TorchServe将确保在实时环境中更改模型时用户体验无缝。

##### 命令行界面 `shell script mlflow deployments update -t torchserve --name <部署名称> -C "min-worker=<worker数量>" `

##### Python API `python plugin.update_deployment(name=<部署名称>, config={'min-worker': <worker数量>}) `

### 删除部署 删除现有部署。如果模型尚未部署，则会抛出错误

##### 命令行界面 `shell script mlflow deployments delete -t torchserve --name <部署名称 / 版本号> `

##### Python API `python plugin.delete_deployment(name=<部署名称 / 版本号>) `

### 列出所有部署 列出所有已部署模型的名称。然后可以使用该名称在其他API中使用，或者可以在获取部署API中使用以获取特定部署的更多详细信息。

##### 命令行界面 `shell script mlflow deployments list -t torchserve `

##### Python API `python plugin.list_deployments() `

### 获取部署详细信息 获取API检索已部署模型的详细信息。默认情况下，获取API检索已部署模型的所有版本

##### 命令行界面 `shell script mlflow deployments get -t torchserve --name <部署名称> `

##### Python API `python plugin.get_deployment(name=<部署名称>) `

### 在已部署模型上运行预测 预测API允许在已部署模型上运行预测。

命令行界面接收json文件路径作为输入。然而，Python插件的输入可以是以下三种类型之一：DataFrame、Tensor或Json String。

##### 命令行界面 `shell script mlflow deployments predict -t torchserve --name <部署名称> --input-path <输入文件路径> --output-path <输出文件路径> `

output-path是一个可选参数。如果没有output路径参数，结果将打印到控制台。

##### Python API `python plugin.predict(name=<部署名称>, df=<预测输入>) `

### 插件帮助 运行以下命令以获取插件帮助字符串。

##### 命令行界面 `shell script mlflow deployments help -t torchserve `