TSBenchmarks

TSBenchmarks是一个时间序列基准测试服务。TSBenchmarks是一个用于在公共数据集上基准测试模型的SDK。

由于我们负责整个基础设施，基准测试变得和在你的python笔记本中运行一行命令或调用一个API一样简单。

为什么？

我们构建TSBenchmarks是因为我们希望有一个标准化的解决方案来基准测试时间序列预测模型。我们评估在知名公共数据集上提供的预测与基准模型。

目录

• TSBenchmarks
  • 安装
  • 如何使用
    • 数据格式
    • 1. 请求免费试用
    • 2. 在私有S3 Bucket上运行tsbenchmarks
      • 2.1 从python上传到S3
      • 2.2 运行评估过程
      • 2.3 从s3下载你的结果

可用的基准数据集

• M4-Daily

可用的基准模型

• Naive1
• Naive2
• ETS
• Theta
• ARIMA
• MLP
• RNN
• ESRNN
• FFORMA
• NBEATS

可用的指标和图表

• MASE
• sMAPE
• 按时间序列的平均损失
• 按时间戳的平均损失

安装

pip安装tsbenchmarks

如何使用

您可以通过使用完全公开的S3 Bucket或通过将文件上传到我们提供的您自己的S3 Bucket来使用TSBenchmarks。

数据格式

目前我们只支持 .csv 文件。这些文件必须包含至少 3 列，包括唯一标识符（每个时间序列的标识符）、日期戳和值。唯一标识符和日期戳必须与所选基准数据集的测试集相匹配。

1. 请求免费试用

请发送邮件至 fede.garza.ramirez@gmail.com 申请免费试用，并获取您的 BUCKET_NAME、API_ID、API_KEY、AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY。

2. 在私有S3 Bucket上运行tsbenchmarks

如果您不希望其他人可能访问您的数据，您可以在私有 S3 桶上运行 tsbenchmarks。为此，您需要将数据上传到我们为您提供的私有 S3 桶；您可以在 Python 内部完成此操作。

2.1 从python上传到S3

您将需要我们提供的 AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY。

• 引入您的 BUCKET_NAME、API_ID、API_KEY、AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY 来导入和实例化 TSBenchmarks。

from tsbenchmarks.core import TSBenchmarks

tsbenchmarks = TSBenchmarks(bucket_name='<BUCKET_NAME>',
                            api_id='<API_ID>',
                            api_key='<API_KEY>',
                            aws_access_key_id='<AWS_ACCESS_KEY_ID>',
                            aws_secret_access_key='<AWS_SECRET_ACCESS_KEY>')

• 通过输入文件名上传本地文件。

s3_uri = tsbenchmarks.upload_to_s3(file='<YOUR FILE NAME>')

• 运行评估过程

要运行此过程，请指定

• s3_uri：调用 tsbenchmarks.upload_to_s3() 后提供的 S3 uri。
• dataset：数据集名称
• ds_column：唯一标识符列的名称。
• y_column：目标列的名称。

#Run Evaluation
response_tmp_ft = tsbenchmarks.evaluate_my_model(
                    s3_uri="<PRIVATE S3 URI HERE>",
                    dataset='M4-Daily',
                    unique_id_column="<NAME OF ID COLUMN>",
                    ds_column= "<NAME OF DATESTAMP COLUMN>",
                    y_column="<NAME OF TARGET COLUMN>"
                  )

response_tmp_ft

|

• 使用以下代码监控过程。完成后，访问您的桶以下载生成的特征。

job_id = response_tmp_ft['id_job'].item()

tsbenchmarks.get_status(job_id)

2.2 从 s3 下载您的结果

过程完成后，您可以从 s3 探索和下载结果。

待办事项

• 使用 Parquet 文件优化读写速度
• 处理 NaN
• 上传前检查数据完整性
• 信息性错误消息
• 信息性状态