llm-mistral

LLM插件，通过Mistral API提供对Mistral模型的访问

安装

将此插件安装在LLM相同的环境中

llm install llm-mistral

用法

首先，获取Mistral API的API密钥。

使用llm keys set mistral命令配置密钥

llm keys set mistral

<paste key here>

您现在可以访问Mistral托管模型。运行llm models以获取列表。

要使用mistral-tiny运行提示

llm -m mistral-tiny 'A sassy name for a pet sasquatch'

要使用mistral-small开始一个交互式聊天会话

llm chat -m mistral-small

Chatting with mistral-small
Type 'exit' or 'quit' to exit
Type '!multi' to enter multiple lines, then '!end' to finish
> three proud names for a pet walrus
1. "Nanuq," the Inuit word for walrus, which symbolizes strength and resilience.
2. "Sir Tuskalot," a playful and regal name that highlights the walrus' distinctive tusks.
3. "Glacier," a name that reflects the walrus' icy Arctic habitat and majestic presence.

要使用mistral-medium的系统提示来解释一些代码

cat example.py | llm -m mistral-medium -s 'explain this code'

模型选项

所有三个模型都接受以下选项，使用-o name value语法

• -o temperature 0.7：采样温度，介于0和1之间。更高的值增加随机性，更低的值更专注且更确定。
• -o top_p 0.1：0.1表示只考虑前10%概率质量中的标记。使用此选项或温度，但不要同时使用两个。
• -o max_tokens 20：生成补全的最大标记数。
• -o safe_mode 1：启用安全模式，为模型输出添加系统提示以添加防护措施。
• -o random_seed 123：设置一个整数随机种子以生成确定性的结果。

刷新模型列表

Mistral有时会发布新的模型。

要使这些模型对现有安装的llm-mistral可用，请运行此命令

llm mistral refresh

这将获取并缓存可用的最新模型列表。然后它们应该会在llm models命令的输出中可用。

嵌入

Mistral 嵌入API可用于为任何文本生成1,024维度的嵌入。

要嵌入单个字符串

llm embed -m mistral-embed -c 'this is text'

这将返回一个包含1,024个浮点数的JSON数组。

LLM文档提供了更多内容，包括如何批量嵌入并将结果存储在SQLite数据库中。

有关嵌入的更多信息，请参阅LLM现在提供了处理嵌入的工具和嵌入：它们是什么以及为什么很重要。

开发

要本地设置此插件，首先检出代码。然后创建一个新的虚拟环境

cd llm-mistral
python3 -m venv venv
source venv/bin/activate

现在安装依赖项和测试依赖项

llm install -e '.[test]'

要运行测试

pytest