LLM Change Agent

概述

LLM Change Agent是一个命令行工具，旨在生成知识图谱变更语言（KGCL）命令，以请求在知识图谱（如本体）中请求更改。它通过提示使用指定的大型语言模型和提供商生成KGCL命令。提示可以是GitHub问题描述/评论或自然语言文本。

功能

• 给定与修改本体资源相关的提示，代理将以KGCL更改语句响应。
• 支持OpenAI、Ollama、Anthropic和CBORG（LBNL托管）模型。

警告： OpenAI、Anthropic和CBORG模型的使用需要本地环境变量中存在相应的密钥。

安装

要安装依赖项，请运行

pip install llm-change-agent

用法

CLI提供了几个命令与语言模型交互。

列出可用模型

列出所有支持的提供商的可用模型

llm-change list-models

OpenAI models:
  gpt-4o-2024-08-06
  gpt-4o-mini
  gpt-4o-mini-2024-07-18
  gpt-4o-2024-05-13
  gpt-4o
  gpt-4-turbo-2024-04-09
  gpt-4-turbo
  gpt-4-turbo-preview
Anthropic models:
  claude-3-5-sonnet-20240620
  claude-3-opus-20240229
  claude-3-sonnet-20240229
  claude-3-haiku-20240307
Ollama models:
  llama3.1
LBL-CBORG models:
  lbl/cborg-chat:latest
  lbl/cborg-chat-nano:latest
  openai/gpt-3.5-turbo
  openai/gpt-4o
  openai/gpt-4o-mini
  anthropic/claude-haiku
  anthropic/claude-sonnet
  anthropic/claude-opus
  google/gemini-pro
  google/gemini-flash

生成文本

使用指定的模型和提供商生成文本

llm-change execute --model <MODEL_NAME> --provider <PROVIDER_NAME> --prompt "<YOUR_PROMPT>"

将<MODEL_NAME>、<PROVIDER_NAME>和<YOUR_PROMPT>替换为您的所需值。

示例

• 使用CBORG的lbl/llama-3模型和自定义提示生成文本

llm-change execute --model lbl/llama-3 --prompt "I want to change the definition of class ABC:123 to 'foo bar' and also create a new class labelled 'bar foo' with the curie DEF:123."

或

llm-change execute --provider cborg --prompt "I want to change the definition of class ABC:123 to 'foo bar' and also create a new class labelled 'bar foo' with the curie DEF:123."

生成

Final Answer: 

[
  "change definition of ABC:123 to 'foo bar'",
  "create class DEF:123 'bar foo'"
]

评估

输入

该项目还包含以下本体的评估输入数据，以YAML文件的形式

• Envo
• GO
• MONDO
• 细胞本体
• Uberon
• PATO

预期更改

以下列出的特定pull请求的预期更改如下

• Envo
• GO
• MONDO
• 细胞本体
• Uberon
• PATO

实际结果

一些LLM模型评估的实际结果在此处此处，相应指标在此处此处

开发

要本地运行项目，克隆存储库并导航到项目目录

git clone https://github.com/yourusername/llm-change-agent.git
cd llm-change-agent
poetry install

请确保您系统中已安装 poetry。

贡献

欢迎贡献！请提交一个拉取请求或创建一个问题来讨论任何变更。

许可证

本项目采用 MIT 许可证。有关详细信息，请参阅 LICENSE 文件。

致谢

此 cookiecutter 项目是从 monarch-project-template 模板开发的，并使用 cruft 保持更新。