跳转到主要内容

允许您创建自己的提示流运行时基础镜像

项目描述

提示流图像包

此软件包提供了一种使用自己的基础镜像来构建和运行提示流运行时的方法,并使用提示流软件包构建高质量的LLM应用程序。

示例用法

# choose your base image, for example AzureML base images
FROM mcr.microsoft.com/azureml/openmpi4.1.0-cuda11.8-cudnn8-ubuntu22.04:latest
# install bundle package
RUN pip install -U promptflow-image-bundle[azure]
# install other requirements if needed
# RUN pip install -r requirements.txt
# expose prompt flow runtime service port
EXPOSE 8080
# start prompt flow runtime service
CMD ["start_promptflow"]

目前,我们仅支持基于UbuntuDebian的镜像,并已验证了AzureML基础镜像和诸如ubuntu:22.04debian:11python:3.10continuumio/miniconda3:23.3.1-0nginx:stable等流行镜像。

如果您的镜像没有Python或Conda,您需要在docker文件中安装它作为先决条件。

项目详情


下载文件

下载适用于您的平台的文件。如果您不确定选择哪个,请了解更多关于安装软件包的信息。

源分发

此版本没有提供源分发文件。请参阅生成分发归档的教程。

构建分发

promptflow_image_bundle-0.3.0-py3-none-any.whl (7.2 MB 查看哈希值)

上传时间 Python 3

由以下支持