一个用于与大型语言模型交互的CLI工具和Python库，包括OpenAI、PaLM以及您自己机器上安装的本地模型。
项目描述
LLM
一个CLI工具和Python库，用于通过远程API和可以在您自己的机器上安装和运行的模型与大型语言模型交互。
从命令行运行提示，将结果存储在SQLite中，生成嵌入等等。
请在LLM插件目录中查看提供对远程和本地模型访问的插件。
完整文档：llm.datasette.io
关于此项目的背景
- llm、ttok和strip-tags—用于处理ChatGPT和其他LLM的CLI工具
- LLM CLI工具现在支持通过插件使用自托管语言模型
- 使用llm-replicate插件从命令行访问Llama 2
- 使用LLM和Homebrew在您的Mac上运行Llama 2
- 了解LLM的奇怪世界
- LLM现在提供用于处理嵌入的工具
- 使用llm-clip构建图像搜索引擎，使用llm chat与模型聊天
- 使用LLM在您的终端中运行Mistral模型有多种选择
安装
使用pip安装此工具
pip install llm
或使用Homebrew
brew install llm
入门指南
如果您有OpenAI API密钥，您可以直接开始使用OpenAI模型。
作为OpenAI的替代方案，您可以安装插件来访问其他提供商的模型，包括可以安装在您的设备上并运行的模型。
像这样保存您的OpenAI API密钥
llm keys set openai
这将提示您输入您的密钥，如下所示
Enter key: <paste here>
现在您已经保存了一个密钥，您可以运行如下提示
llm "Five cute names for a pet penguin"
1. Waddles
2. Pebbles
3. Bubbles
4. Flappy
5. Chilly
阅读使用说明以获取更多信息。
在您的机器上安装运行的模型
LLM插件可以添加对替代模型的支持，包括在您的机器上运行的模型。
要本地下载和运行Mistral 7B Instruct，您可以安装llm-gpt4all插件
llm install llm-gpt4all
然后运行此命令以查看它提供的哪些模型
llm models
gpt4all: all-MiniLM-L6-v2-f16 - SBert, 43.76MB download, needs 1GB RAM
gpt4all: orca-mini-3b-gguf2-q4_0 - Mini Orca (Small), 1.84GB download, needs 4GB RAM
gpt4all: mistral-7b-instruct-v0 - Mistral Instruct, 3.83GB download, needs 8GB RAM
...
每次您首次使用模型文件时，都将下载一次。像这样尝试Mistral
llm -m mistral-7b-instruct-v0 'difference between a pelican and a walrus'
您还可以使用llm chat命令与模型开始聊天会话
llm chat -m mistral-7b-instruct-v0
Chatting with mistral-7b-instruct-v0
Type 'exit' or 'quit' to exit
Type '!multi' to enter multiple lines, then '!end' to finish
>
使用系统提示
您可以使用-s/--system选项设置系统提示，为工具提供处理其他输入的说明。
要描述文件的工作代码，尝试这样做
cat mycode.py | llm -s "Explain this code"
帮助
要获取帮助，请运行
llm --help
您还可以使用
python -m llm --help
下载文件
下载适用于您的平台的文件。如果您不确定选择哪个，请了解有关安装包的更多信息。
源分布
llm-0.16.tar.gz (36.8 kB 查看散列)
构建分布
llm-0.16-py3-none-any.whl (38.3 kB 查看散列)