llm-anyscale-endpoints

LLM 插件，用于由 Anyscale Endpoints 托管的模型

安装

首先，安装LLM命令行工具。

现在在LLM相同的环境中安装此插件。

llm install llm-anyscale-endpoints

配置

您需要一个来自Anyscale Endpoints的API密钥。您可以在这里获取一个。

您可以将它设置为名为LLM_ANYSCALE_ENDPOINTS_KEY的环境变量，或者使用以下方法将其添加到llm保存的密钥集

llm keys set anyscale-endpoints

Enter key: <paste key here>

用法

要列出可用模型，运行

llm models list

您应该看到类似以下内容的列表

AnyscaleEndpoints: meta-llama/Llama-2-7b-chat-hf
AnyscaleEndpoints: meta-llama/Llama-2-13b-chat-hf
AnyscaleEndpoints: mistralai/Mixtral-8x7B-Instruct-v0.1
AnyscaleEndpoints: mistralai/Mistral-7B-Instruct-v0.1
AnyscaleEndpoints: meta-llama/Llama-2-70b-chat-hf
AnyscaleEndpoints: codellama/CodeLlama-70b-Instruct-hf
AnyscaleEndpoints: mistralai/Mixtral-8x22B-Instruct-v0.1
AnyscaleEndpoints: mlabonne/NeuralHermes-2.5-Mistral-7B
AnyscaleEndpoints: google/gemma-7b-it

要针对模型运行提示，将完整的模型ID传递到-m选项，如下所示

llm -m mistralai/Mixtral-8x22B-Instruct-v0.1 \
  'Five strident names for a pet walrus' \
  --system 'You love coming up with creative names for pets'

您可以使用llm aliases命令为模型设置较短的别名

llm aliases set mix22b mistralai/Mixtral-8x22B-Instruct-v0.1

现在您可以使用别名mix22b提示Mixtral-8x22B-Instruct-v0.1

cat llm_anyscale_endpoints.py | \
  llm -m mix22b -s 'explain this code'

要刷新模型列表，运行

llm anyscale-endpoints refresh

这将从Anyscale Endpoints获取最新的模型列表并将其存储在本地缓存文件中。

开发

要本地设置此插件，首先检出代码。然后创建一个新的虚拟环境

cd llm-anyscale-endpoints
python3 -m venv venv
source venv/bin/activate

现在安装依赖项和测试依赖项

pip install -e '.[test]'

要运行测试

pytest