🤗 Evaluate 是一个库，它使得评估和比较模型以及报告它们的性能变得更加简单和标准化。

它目前包含以下内容：

• 几十种流行指标的实现：现有的指标涵盖了从自然语言处理到计算机视觉的各种任务，并为数据集提供了特定指标。只需一个简单的命令 accuracy = load("accuracy")，就可以获取这些指标中的任何一个，以便在任何框架（Numpy/Pandas/PyTorch/TensorFlow/JAX）中评估 ML 模型。
• 比较和测量：比较用于测量模型之间的差异，测量是评估数据集的工具。
• 轻松将新的评估模块添加到 🤗 Hub：您可以使用 evaluate-cli create [metric name] 创建新的评估模块并将其推送到 🤗 Hub 的专用空间，这允许您轻松比较不同指标及其在同一组参考和预测上的输出。

🎓 文档

🔎 在 Hub 上找到 指标、比较、测量

🌟 添加新的评估模块

🤗 Evaluate 还有很多实用的功能，例如

• 类型检查：检查输入类型以确保您为每个指标使用了正确的输入格式
• 指标卡片：每个指标都附带一张卡片，描述了值、限制及其范围，并提供使用示例和有用性。
• 社区指标：指标存在于 Hugging Face Hub 上，您可以为您的项目添加自己的指标或与他人合作。

安装

使用 pip

🤗 Evaluate 可以从 PyPi 安装，并且必须在虚拟环境（例如 venv 或 conda）中安装

pip install evaluate

使用方法

🤗 Evaluate 的主要方法包括

• evaluate.list_evaluation_modules() 列出可用的指标、比较和测量
• evaluate.load(module_name, **kwargs) 实例化一个评估模块
• results = module.compute(*kwargs) 计算评估模块的结果

添加新的评估模块

首先使用以下命令安装创建新指标所需的依赖项

pip install evaluate[template]

然后您可以使用以下命令开始创建新的指标文件夹并显示必要的步骤

evaluate-cli create "Awesome Metric"

在文档中查看此 逐步指南 获取详细说明。

鸣谢

感谢 @marella 允许我们使用 PyPi 上其之前使用的 库 中的 evaluate 命名空间。