llm-mpt30b

为LLM添加对MPT-30B语言模型的支持。

此插件使用TheBloke/mpt-30B-GGML。代码灵感来源于abacaj/mpt-30B-inference。

安装

在LLM相同的环境中安装此插件。

llm install llm-mpt30b

安装插件后，您需要下载约19GB的模型文件。您可以通过运行以下命令来完成此操作：

llm mpt30b download

用法

此插件添加了一个名为mpt30b的模型。您可以像这样执行它：

llm -m mpt30b "Three great names for a pet goat"

别名-m mpt也有效。

您可以通过传递选项-o verbose 1来查看更多详细输出 - 目前显示执行期间进行的任何附加下载的进度条。

开发

要本地设置此插件，首先检出代码。然后创建一个新的虚拟环境

cd llm-mpt30b
python3 -m venv venv
source venv/bin/activate

现在安装依赖项和测试依赖项

pip install -e '.[test]'

要运行测试

pytest