LLM统一服务
项目描述
Modelz LLM
Modelz LLM是一个推理服务器，它简化了在本地或基于云的OpenAI兼容API环境中使用开源大型语言模型（LLM），如FastChat、LLaMA和ChatGLM。
功能
- OpenAI兼容API： Modelz LLM为LLM提供OpenAI兼容API，这意味着您可以使用OpenAI Python SDK或LangChain与模型交互。
- 自托管： Modelz LLM可以轻松部署在本地或基于云的环境中。
- 开源LLM： Modelz LLM支持开源LLM，如FastChat、LLaMA和ChatGLM。
- 云原生： 我们为不同的LLM提供Docker镜像，这些镜像可以轻松部署在Kubernetes或其他基于云的环境中（例如Modelz）。
快速入门
安装
pip install modelz-llm
# or install from source
pip install git+https://github.com/tensorchord/modelz-llm.git[gpu]
运行自托管API服务器
请首先按照说明启动自托管API服务器
modelz-llm -m bigscience/bloomz-560m --device cpu
目前，我们支持以下模型
| 模型名称 | Huggingface模型 | Docker镜像 | 推荐GPU |
|---|---|---|---|
| FastChat T5 | lmsys/fastchat-t5-3b-v1.0 |
modelzai/llm-fastchat-t5-3b | Nvidia L4(24GB) |
| Vicuna 7B Delta V1.1 | lmsys/vicuna-7b-delta-v1.1 |
modelzai/llm-vicuna-7b | Nvidia A100(40GB) |
| LLaMA 7B | decapoda-research/llama-7b-hf |
modelzai/llm-llama-7b | Nvidia A100(40GB) |
| ChatGLM 6B INT4 | THUDM/ChatGLM-6b-int4 |
modelzai/llm-ChatGLM-6b-int4 | Nvidia T4(16GB) |
| ChatGLM 6B | THUDM/ChatGLM-6b |
modelzai/llm-ChatGLM-6b | Nvidia L4(24GB) |
| Bloomz 560M | bigscience/bloomz-560m |
modelzai/llm-bloomz-560m | CPU |
| Bloomz 1.7B | bigscience/bloomz-1b7 |
CPU | |
| Bloomz 3B | bigscience/bloomz-3b |
Nvidia L4(24GB) | |
| Bloomz 7.1B | bigscience/bloomz-7b1 |
Nvidia A100(40GB) |
使用OpenAI Python SDK
然后，您可以使用OpenAI Python SDK与模型交互
import openai
openai.api_base="http://localhost:8000"
openai.api_key="any"
# create a chat completion
chat_completion = openai.ChatCompletion.create(model="any", messages=[{"role": "user", "content": "Hello world"}])
与Langchain集成
您还可以将modelz-llm与langchain集成。
import openai
openai.api_base="http://localhost:8000"
openai.api_key="any"
from langchain.llms import OpenAI
llm = OpenAI()
llm.generate(prompts=["Could you please recommend some movies?"])
在Modelz上部署
您还可以直接在Modelz上部署modelz-llm。
支持的API
Modelz LLM支持以下API与开源大型语言模型交互
/completions/chat/completions/embeddings/engines/<any>/embeddings/v1/completions/v1/chat/completions/v1/embeddings
致谢
下载文件
下载适合您平台的文件。如果您不确定选择哪个，请了解更多关于安装包的信息。
源分发
modelz-llm-23.7.4.tar.gz (21.2 kB 查看哈希值)
构建分发
modelz_llm-23.7.4-py3-none-any.whl (12.7 kB 查看哈希值)
