tempeh

tempeh是一个框架，用于

TEst

Machine learning

PErformance

exHaustively

包括跟踪内存使用和运行时间。这对于作为您存储库性能测试的可插入工具特别有用。通常，人们希望定期在不同的数据集和/或使用多个模型上运行它们，以捕获与运行时间或内存消耗相关的回归。这应该像

import pytest
from time import time
from tempeh.configurations import datasets, models

@pytest.mark.parametrize('Dataset', datasets.values())
@pytest.mark.parametrize('Model', models.values())
def test_fit_predict_regression(Dataset, Model):
    dataset = Dataset()
    X_train, X_test = dataset.get_X()
    y_train, y_test = dataset.get_y()
    model = Model()
    max_execution_time = get_max_execution_time(dataset, model)
    if model.compatible_with_dataset(dataset):
        start_time = time()
        model.fit(X_train, y_train)
        model.predict(X_test)
        duration = time() - start_time

        assert duration < max_execution_time

安装

tempeh依赖于各种包来提供模型，包括tensorflow、torch、xgboost、lightgbm。要安装tempeh的发行版，只需运行

pip install tempeh

结构

数据集

数据集（位于datasets/目录中）封装了用于测试的不同数据集。

要添加新的数据集

• 在datasets/目录中创建一个名为[name]_datasets.py的Python文件
• 继承BasePerformanceDatasetWrapper。命名约定是[dataset_name]PerformanceDatasetWrapper
• 在__init__中加载数据集并调用super().__init__(data, targets, size)
• 将类添加到 __init__.py
• 确保类包含类变量 task、data_type 和 size
• 在 configurations.py 中向 datasets 字典添加条目。

模型

模型（models/ 目录）封装不同的机器学习模型。

要添加新的数据集

• 在 models/ 目录中创建一个名为 [name]_model.py 的 Python 文件
• 将 BaseModelWrapper 子类化，并将类命名为 [name]ModelWrapper
• 在 __init__ 中训练模型；我们期望格式为 __init__(self, ...)
• 模型必须包含 tasks 和 algorithm
• 在 configurations.py 中向 models 字典添加条目。

维护者

按字母顺序

• 爱德华多·德·莱昂
• 伊利亚·马蒂亚赫
• 罗马·卢茨

贡献

要贡献，请查看我们的贡献指南。

问题

常规（非安全）问题

请通过Github issues提交报告。维护者将在合理的时间内响应并处理问题，如下所示

• 错误：将错误分类为 bug 并根据严重性提供估计时间表
• 功能请求：将功能请求分类为 feature request 并提供估计时间表
• 问题或讨论：将问题分类为 question 并响应或通知/识别合适的专家进行响应

维护者应尽可能链接重复的问题。

报告安全问题

请参阅我们关于报告安全问题的指南。