llm-sentence-transformers

LLM 插件，用于使用 sentence-transformers 进行嵌入模型

进一步阅读

• LLM 现在提供了处理嵌入的工具
• 使用 E5-large-v2 嵌入我的博客段落

安装

将此插件安装在与LLM相同的环境中。

llm install llm-sentence-transformers

配置

安装插件后，您需要注册一个或多个模型才能使用它。默认注册的 all-MiniLM-L6-v2 模型将在您第一次使用时下载。

您可以像这样尝试该模型

llm embed -m mini-l6 -c 'hello'

这将返回一个浮点数JSON数组。

您可以使用 llm sentence-transformers register 命令添加更多模型。这里有可用的模型列表。

两个可以开始实验的好模型是 all-MiniLM-L12-v2 - 一个120MB的下载 - 和 all-mpnet-base-v2，它是420MB。

要安装 all-mpnet-base-v2 模型，运行

llm sentence-transformers register \
  all-mpnet-base-v2 \
  --alias mpnet

--alias 是可选的，但可以用来为模型配置一个或多个较短的别名。

您可以使用 llm aliases 运行来确认您已配置的别名，并使用 llm aliases set 来配置更多别名。

用法

安装嵌入模型后，您可以像这样使用它

llm embed -m sentence-transformers/all-mpnet-base-v2 \
  -c "Hello world"

或使用其别名

llm embed -m mpnet -c "Hello world"

将嵌入存储在数据库中会更加有用 - 有关如何操作的说明，请参阅 LLM 文档。

务必查看您所使用模型的文档。许多模型会默认截断超过一定数量的令牌的内容。《all-mpnet-base-v2》说明“输入文本超过384个词元将被截断”，例如。

开发

要本地设置此插件，首先检出代码。然后创建一个新的虚拟环境

cd llm-sentence-transformers
python3 -m venv venv
source venv/bin/activate

现在安装依赖项并测试依赖项

pip install -e '.[test]'

要运行测试

pytest