llm-fireworks

通过API访问fireworks.ai模型

安装

在与LLM相同的环境中安装此插件。

llm install llm-fireworks

使用

获取Fireworks API密钥并将其保存如下

llm keys set fireworks
# <Paste key here>

运行llm models以获取模型列表。

运行如下提示

llm -m fireworks/models/llama-v3-70b-instruct 'five great names for a pet ocelot'

开发

要本地设置此插件，首先检出代码。然后创建一个新的虚拟环境

cd llm-fireworks
python3 -m venv venv
source venv/bin/activate

现在安装依赖项并测试依赖项

llm install -e '.[test]'

要运行测试

pytest