llm-embed-onnx

使用ONNX运行嵌入模型

此LLM插件是Benjamin Anderson的onnx_embedding_models的包装。

安装

在LLM相同的环境中安装此插件。

llm install llm-embed-onnx

用法

此插件添加以下嵌入模型，可以使用llm embed-models列出

onnx-bge-micro
onnx-gte-tiny
onnx-minilm-l6
onnx-minilm-l12
onnx-bge-small
onnx-bge-base
onnx-bge-large

您可以使用llm embed命令运行这些模型中的任何一个

llm embed -m onnx-bge-micro -c "Example content"

这将输出一个长度为384的浮点数JSON数组，从

[-0.03910085942622519, -0.0030843335461659795, 0.032797761260860724,

第一次使用这些模型中的任何一个时，模型将被下载到您的LLM数据目录中的llm_embed_onnx目录。在macOS上，默认位置是

~/Library/Application Support/io.datasette.llm/llm_embed_onnx

有关如何使用这些嵌入模型的更多信息，请参阅LLM嵌入文档。

开发

要本地设置此插件，首先检出代码。然后创建一个新的虚拟环境

cd llm-embed-onnx
python3 -m venv venv
source venv/bin/activate

现在安装依赖项和测试依赖项

llm install -e '.[test]'

要运行测试

pytest