llm-replicate

LLM插件，用于在Replicate上托管模型

安装

首先，安装LLM命令行工具。

现在在LLM相同的环境中安装此插件。

llm install llm-replicate

配置

您需要一个Replicate的API密钥。您可以在这里获取一个。

您可以将它设置为名为REPLICATE_API_TOKEN的环境变量，或者使用以下方法将其添加到llm保存的密钥集

llm keys set replicate

Enter key: <paste key here>

要获取并保存Replicate上托管的默认语言模型集合的详细信息，运行以下命令

llm replicate fetch-models

要添加未在该集合中列出的特定模型，请使用llm replicate add命令。

对于来自a16z-infra/llama13b-v2-chat的Llama 2模型，运行以下命令

llm replicate add a16z-infra/llama13b-v2-chat \
  --chat --alias llama2

--chat标志表示这是一个聊天模型，这意味着它将能够使用-c继续模式。

这是该模型的70b版本70b版本

llm replicate add \
  replicate/llama70b-v2-chat \
  --chat --alias llama70b

使用方法

要针对模型运行提示，请将其名称或别名传递给llm -m

llm -m llama2 "Ten great names for a pet pelican"

当然，这里有十个关于宠物鹈鹕的绝佳名字

1. Pelty
2. Peanut
3. Puddles
4. Nibbles
5. Fuzzy
6. Gizmo
7. Hank
8. Luna
9. Scooter
10. Splishy

我希望这些建议能帮助您找到宠物鹈鹕的完美名字！您还有其他问题吗？

聊天模型可以支持继续对话，例如

llm -c "Five more and make them more nautical"

嘿，伙计！这里有五个航海主题的名字供你为你的宠物鹈鹕起名

1. 钩船长
2. 锚鱼
3. 海狗
4. 掠夺
5. 尖嘴鹈鹕

希望这些建议能帮助你找到你羽毛朋友的最佳名字！你还有其他问题吗，伙计？

运行 llm models list 查看所有模型的完整列表

llm models list

你应该会看到像这样

Replicate: replicate-flan-t5-xl
Replicate: replicate-llama-7b
Replicate: replicate-gpt-j-6b
Replicate: replicate-dolly-v2-12b
Replicate: replicate-oasst-sft-1-pythia-12b
Replicate: replicate-stability-ai-stablelm-tuned-alpha-7b
Replicate: replicate-vicuna-13b
Replicate: replicate-replit-code-v1-3b
Replicate: replicate-replit-replit-code-v1-3b
Replicate: replicate-joehoover-falcon-40b-instruct (aliases: falcon)
Replicate (chat): replicate-a16z-infra-llama13b-v2-chat (aliases: llama2)

然后通过特定的模型运行提示，就像这样

llm -m replicate-vicuna-13b "Five great names for a pet llama"

注册额外模型

要注册不在默认的 语言模型集合 中的额外模型，在 Replicate 上找到它们的 ID，然后使用 llm replicate add 命令。

例如，要添加 joehoover/falcon-40b-instruct 模型，运行这个

llm replicate add joehoover/falcon-40b-instruct \
  --alias falcon

这会将模型添加为别名 falcon - 你可以为模型设置 0 个或更多别名。

现在你可以这样运行它

llm -m replicate-joehoover-falcon-40b-instruct \
  "Three reasons to get a pet falcon"

或者使用别名这样运行

llm -m falcon "Three reasons to get a pet falcon"

你可以使用默认的 $EDITOR 编辑已注册的模型列表

llm replicate edit-models

如果你使用 --chat 选项注册了一个模型，该模型将被稍微不同地处理。发送给模型的提示将格式化为这样

User: user input here
Assistant:

如果你使用 -c 会话模式，提示将包括会话中的先前消息，就像这样

User: Ten great names for a pet pelican
Assistant: Sure, here are ten great names for a pet pelican:

1. Pelty
2. Peanut
3. Puddles
4. Nibbles
5. Fuzzy
6. Gizmo
7. Hank
8. Luna
9. Scooter
10. Splishy

I hope these suggestions help you find the perfect name for your pet pelican! Do you have any other questions?
User: Five more and make them more nautical
Assistant:

获取所有 Replicate 预测

Replicate 记录针对模型所做的所有预测。你可以使用 llm replicate fetch-predictions 命令获取所有这些预测。

llm replicate fetch-predictions

这将创建或填充你的 LLM logs.db 数据库中的一个表，该表称为 replicate_predictions。

此表中的数据将涵盖所有 Replicate 模型，而不仅仅是使用此工具查询过的语言模型。

多次运行 llm replicate fetch-predictions 命令将仅获取自上次运行命令以来创建的预测。

要浏览结果数据，运行以下命令

datasette "$(llm logs path)"

该表的架构将如下所示

CREATE TABLE [replicate_predictions] (
   [id] TEXT PRIMARY KEY,
   [_model_guess] TEXT,
   [completed_at] TEXT,
   [created_at] TEXT,
   [error] TEXT,
   [input] TEXT,
   [logs] TEXT,
   [metrics] TEXT,
   [output] TEXT,
   [started_at] TEXT,
   [status] TEXT,
   [urls] TEXT,
   [version] TEXT,
   [webhook_completed] TEXT
)

如果 Replicate API 在未来添加了新的字段，此架构可能会更改。

开发

要本地设置此插件，首先检出代码。然后创建一个新的虚拟环境

cd llm-replicate
python3 -m venv venv
source venv/bin/activate

现在安装依赖项并测试依赖项

pip install -e '.[test]'

要运行测试

pytest