experiments 0.1.0

# Experiments API

训练深度神经网络需要找到一组好的模型超参数组合。找到每个参数的好值的过程称为超参数优化。每个此类实验所需的作业数量通常从几十到几百不等。

优化个体的工作流程各不相同，但通常是一个临时的手动过程，包括自定义作业提交脚本，甚至使用纸笔。

本项目提供了一个API来支持在Kubernetes上执行机器学习实验。这是通过将实验上下文移动到共享API并标准化实验作业元数据来实现的。这促进了结果共享和工具开发。将参数空间搜索与作业执行解耦进一步促进了重用。本项目通过提供一个Python客户端库来简化作业与实验跟踪系统的集成。

[](https://docs.google.com/drawings/d/1CGDVt9finf_QC_H6lAIW9StmYiNOCLoemAmpNRN47tg/edit)

## 先决条件

• git

• make

• python

• kubectl 和连接的集群（minikube 或完整集群）

## 安装

要安装最新版本，请运行以下命令：` $ pip install experiments `

## 开发

要检出并安装最新开发版本，请运行：` $ git clone https://github.com/IntelAI/experiments.git $ cd experiments $ pip install . ` 要测试实验API，请运行以下命令：` $ pip install -r requirements_tests.txt $ make test `

## 附录

### 概念

实验 描述一个超参数空间以及如何在该空间中启动一个样本作业。具有一个唯一的名称。

优化器 一个读取实验并创建具有不同超参数设置的作业的程序。这可以一次性完成，也可以是一个长时间运行的协调器，用于监控各种样本的性能以指导超参数优化过程。此程序由用户提供。

结果 对单个作业运行进行元数据编码，该作业针对实验。例如，每个训练周期的几个高级指标以及指向共享存储上的输出目录的指针。每个作业有一个结果资源。每个结果都具有与表示的作业相同的名称。