Opik

开源端到端LLM开发平台

自信地评估、测试和监控LLM应用程序。

网站 • Slack社区 • Twitter • 文档

🚀 Opik是什么？

Opik是一个开源平台，用于评估、测试和监控LLM应用。由Comet开发。

您可以使用Opik进行以下操作

• 开发

  • 跟踪：在开发和生产过程中跟踪所有LLM调用和跟踪（快速入门，集成）
  • 注释：使用Python SDK或UI通过记录反馈分数来注释您的LLM调用。

• 评估：自动化您的LLM应用评估过程

  • 数据集和实验：存储测试用例并运行实验（数据集，评估您的LLM应用）

  • LLM作为评审指标：使用Opik的LLM作为复杂问题（如幻觉检测，内容审查和RAG评估（答案相关性，上下文精度）的评审指标。

  • CI/CD集成：使用我们的PyTest集成将评估作为CI/CD流程的一部分运行

• 生产监控：监控您的LLM应用的生产情况，并通过将错误跟踪添加到评估数据集来轻松关闭反馈循环。

🛠️ 安装

Opik可以作为完全开源的本地安装或使用Comet.com作为托管解决方案提供。开始使用Opik的最简单方法是创建一个免费的Comet账户，网址为comet.com。

如果您想自行托管Opik，可以通过克隆存储库并使用Docker Compose启动平台来实现

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the opik/deployment/docker-compose directory
cd opik/deployment/docker-compose

# Start the Opik platform
docker compose up --detach

# You can now visit https://:5173 on your browser!

Opik向Opik团队报告了匿名的使用报告，以帮助开发新功能。不会收集任何个人信息，这些报告是完全匿名的。

您可以通过在运行Opik本地之前将环境变量OPIK_USAGE_REPORT_ENABLED设置为false来选择退出使用报告

# Start the Opik platform
export OPIK_USAGE_REPORT_ENABLED=false

docker compose up --detach

所有使用报告都可以在这里找到： 使用报告

有关不同部署选项的更多信息，请参阅我们的部署指南

安装方法	文档链接
本地实例
Kubernetes

🏁 开始

要开始，您首先需要安装Python SDK

pip install opik

安装SDK后，您可以通过运行opik configure命令来配置它

opik configure

这将允许您通过设置正确的本地服务器地址来配置Opik本地，或者如果您使用的是云平台，通过设置API密钥来配置

[!TIP]
您还可以从Python代码中调用opik.configure(use_local=True)方法来配置SDK，使其在本地安装上运行。

您现在可以使用Python SDK开始记录跟踪。

📝 记录跟踪

开始使用最简单的方式是使用我们的集成之一。Opik 支持

集成	描述	文档	在 Colab 中尝试
OpenAI	记录所有 OpenAI LLM 调用的日志	文档
LangChain	记录所有 LangChain LLM 调用的日志	文档
LlamaIndex	记录所有 LlamaIndex LLM 调用的日志	文档
Ollama	记录所有 Ollama LLM 调用的日志	文档
Predibase	微调和提供开源大型语言模型	文档
Ragas	你的检索增强生成 (RAG) 管道的评估框架	文档

[!TIP]
如果您使用的框架未在上列，请随时 提交问题 或提交包含集成的 PR。

如果您没有使用上述任何框架，您也可以使用 track 函数装饰器来 记录跟踪

import opik

opik.configure(use_local=True) # Run locally

@opik.track
def my_llm_function(user_question: str) -> str:
    # Your LLM code here

    return "Hello"

[!TIP]
track 装饰器可以与我们的任何集成一起使用，也可以用于跟踪嵌套函数调用。

🧑‍⚖️ LLM 作为评判指标

Python Opik SDK 包含多个 LLM 作为评判指标的度量，以帮助您评估您的 LLM 应用程序。更多关于它在 指标文档 中。

要使用它们，只需导入相关的度量并使用 score 函数

from opik.evaluation.metrics import Hallucination

metric = Hallucination()
score = metric.score(
    input="What is the capital of France?",
    output="Paris",
    context=["France is a country in Europe."]
)
print(score)

Opik 还包括多个预构建的启发式指标，以及创建您自己的指标的能力。更多关于它在 指标文档 中。

🔍 评估您的 LLM 应用程序

Opik 允许您通过 数据集 和 实验 在开发过程中评估您的 LLM 应用程序。

您还可以使用我们的 PyTest 集成 将评估作为 CI/CD 管道的一部分运行。

🤝 贡献

有许多方式可以贡献给 Opik

• 提交 错误报告 和 功能请求
• 审查文档并提交 拉取请求 以改进它
• 关于 Opik 的演讲或写作，并 让我们知道
• 为 热门功能请求 投票以显示您的支持

要了解更多关于如何为 Opik 贡献的信息，请参阅我们的 贡献指南。