llm-llamafile

通过LLM访问llamafile localhost模型

安装

将此插件安装在与LLM相同的环境中。

llm install llm-llamafile

使用

确保您在localhost上有一个正在运行的llamafile，在端口8080上提供与OpenAI兼容的API端点。

然后您可以使用llm像这样与该模型交互

llm -m llamafile "3 neat characteristics of a pelican"

开发

要本地设置此插件，首先检出代码。然后创建一个新的虚拟环境

cd llm-llamafile
python3 -m venv venv
source venv/bin/activate

现在安装依赖项和测试依赖项

llm install -e '.[test]'

要运行测试

pytest