cometx

   _________  ____ ___  ___  / /__  __
  / ___/ __ \/ __ `__ \/ _ \/ __/ |/_/
 / /__/ /_/ / / / / / /  __/ /__>  <
 \___/\____/_/ /_/ /_/\___/\__/_/|_|

Comet SDK的开源扩展。Comet。

这些扩展由社区创建和支持，并不是Comet ML的官方项目。我们欢迎贡献！

安装

pip install cometx

要使用这些命令行函数，您需要以以下两种方式之一设置您的Comet API密钥。

1. 环境变量
2. Comet配置文件

或者这样

export COMET_API_KEY="YOUR-COMET-API-KEY"

或者这样

[comet]
api_key = YOUR-COMET-API-KEY

如果您是Comet on-prem用户，您还需要设置COMET_URL_OVERRIDE环境变量，或者将其添加到您的~/.comet.config文件中，如下所示

或者这样

export COMET_API_KEY="YOUR-COMET-API-KEY"
export COMET_URL_OVERRIDE="https://your-companys-comet.com/clientlib/"

或者这样

[comet]
api_key = YOUR-COMET-API-KEY
url_override = https://your-companys-comet.com/clientlib/

用法

cometx由一系列子命令组成，这些子命令可以独立使用，也可以组合起来创建用于ML管理的复杂工具。

本节将探讨一些常见用法，然后更详细地介绍每个子命令。

用例

在本节中，我们将探讨一些常见场景。

1. 从Comet的一个安装复制特定项目到另一个安装
2. 将工作空间中的所有项目复制到新工作空间
3. 将项目中的特定实验复制到新实验

1. 从Comet的一个安装复制特定项目到另一个安装

一个有用的习惯是在子命令的行上设置您的Comet环境变量。这样，您可以针对不同的安装设置COMET_URL_OVERRIDE和COMET_API_KEY。

当然，如果您正在复制同一Comet安装上的实验，则无需设置环境变量。

以下是下载http://comet.a.com上的WORKSPACE/PROJECT中实验的方法：

COMET_URL_OVERRIDE=http://comet.a.com/clientlib \
COMET_API_KEY=A-KEY \
cometx download WORKSPACE/PROJECT

cometx download子命令将Comet实验数据全部下载到本地文件中。请注意，WORKSPACE/PROJECT指的是http://comet.a.com上的一个工作空间和项目。

然后可以使用类似的命令复制下载的实验数据

COMET_URL_OVERRIDE=http://comet.b.com/clientlib \
COMET_API_KEY=B-KEY \
cometx copy WORKSPACE/PROJECT NEW-WORKSPACE/NEW-PROJECT

请注意，WORKSPACE/PROJECT现在指的是一个目录，而NEW-WORKSPACE/NEW-PROJECT指的是http://comet.b.com上的一个工作空间和项目。

2. 将工作空间中的所有项目复制到新的工作空间

同样，可以首先下载所有项目，然后再复制它们

COMET_URL_OVERRIDE=http://comet.a.com/clientlib \
COMET_API_KEY=A-KEY \
cometx download WORKSPACE

然后

COMET_URL_OVERRIDE=http://comet.b.com/clientlib \
COMET_API_KEY=B-KEY \
cometx copy WORKSPACE NEW-WORKSPACE

3. 将项目中的特定实验复制到新的实验中

同样，可以首先下载单个实验，然后再复制它

COMET_URL_OVERRIDE=http://comet.a.com/clientlib \
COMET_API_KEY=A-KEY \
cometx download WORKSPACE/PROJECT/EXPERIMENT-NAME-OR-ID

然后

COMET_URL_OVERRIDE=http://comet.b.com/clientlib \
COMET_API_KEY=B-KEY \
cometx copy WORKSPACE/PROJECT/EXPERIMENT-NAME-OR-ID NEW-WORKSPACE/NEW-PROJECT

子命令

• cometx list
• cometx download
• cometx copy
• cometx log
• cometx reproduce
• cometx delete-assets

对于所有子命令，使用--help标志以获取更多信息。

cometx list

此命令用于

• 获取您是成员的所有工作空间列表
• 获取工作空间中所有项目的列表
• 获取项目中的所有实验（按名称或键）的列表

cometx list 示例

cometx list WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME
cometx list WORKSPACE/PROJECT
cometx list WORKSPACE
cometx list

标志

• --query - 限制要下载的实验（有关更多信息，请参阅experiment.api.query()）
• -u，--use-name - 使用实验名称进行实验文件夹和列表

有关更多信息，请使用cometx list --help

cometx copy

此命令用于

• 将下载的数据复制到新的实验中
• 从项目到现有实验创建符号链接

cometx copy 示例

cometx SOURCE DESTINATION
cometx --symlink SOURCE DESTINATION

其中SOURCE是

• 如果没有--symlink，则“WORKSPACE/PROJECT/EXPERIMENT”，“WORKSPACE/PROJECT/”，或“WORKSPACE//*”文件夹（使用引号）
• 如果使用--symlink，则它是工作空间或工作空间/项目的Comet路径

其中DESTINATION是

• WORKSPACE
• WORKSPACE/PROJECT

并非所有组合都是可能的

有关更多信息，请使用cometx copy --help

cometx download

此命令用于

• 下载您是成员的所有工作空间、项目和实验
• 下载指定工作空间的所有项目和实验
• 下载指定工作空间/项目的所有实验

cometx dowload 示例

cometx download WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME [RESOURCE ...] [FLAGS ...]
cometx download WORKSPACE/PROJECT [RESOURCE ...] [FLAGS ...]
cometx download WORKSPACE [RESOURCE ...] [FLAGS ...]
cometx download [RESOURCE ...] [FLAGS ...]

其中[RESOURCE ...]是以下名称之一或多个

• assets
• html
• metadata
• metrics
• others
• parameters
• project - project_notes，project_metadata的别名
• run - code，git，output，graph和requirements的别名
• system

如果没有指定RESOURCE，则将下载所有这些。

标志

• --query - 限制要下载的实验（有关更多信息，请参阅experiment.api.query()）
• --list - 列出可用的工作空间、项目、实验、工件或模型（与cometx list相同）
• --output - 将资源下载到当前文件夹以外的文件夹
• --flat - 不要使用下载项的正常层次结构
• --use-name - 使用实验名称进行文件夹和列表
• --ignore - 不下载以下资源（使用上面列出的一个或多个资源名称）
• --asset-type - 匹配的资产类型，或留空以匹配所有
• --filename - 匹配的文件名，或留空以匹配所有
• --overwrite - 覆盖任何现有文件
• --force - 不询问直接下载
• --help - 显示此信息

下载工件

cometx download WORKSPACE/artifacts/NAME [FLAGS ...]
cometx download WORKSPACE/artifacts/NAME/VERSION-OR-ALIAS [FLAGS ...]

从模型注册表下载模型

cometx download WORKSPACE/model-registry/NAME [FLAGS ...]
cometx download WORKSPACE/model-registry/NAME/VERSION-OR-STAGE [FLAGS ...]

有关更多信息，请运行 cometx download --help

cometx log

此命令用于将资源（指标、参数、资产等）文件记录到特定的实验或实验中。

cometx log 示例

cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME [--type TYPE] FILENAME.EXT

其中 TYPE 是文件名的资产类型。如果知道文件扩展名（FILENAME.EXT），则不需要 TYPE。

已知扩展名

• png
• jpg
• gif
• txt
• webm
• mp4
• ogg
• ipynb
• wav
• mp3

已知类型

• asset
• image
• text-sample
• video
• ipynb
• audio

设置其他键：值示例

cometx log WORKSPACE/PROJECT --type other --set "key:value"
cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME --type other --set "key:value"

第一种方式将在项目中的所有实验中设置其他键：值，第二种方式将在实验中设置其他键：值。

记录所有项目的示例

cometx log WORKSPACE/PROJECT PATH-TO-DOWNLOAD --type all
cometx log WORKSPACE/PROJECT/EXPERIMENT-KEY-OR-NAME PATH-TO-DOWNLOAD --type all

第一种方式将创建一个实验，第二种方式将记录所有内容到现有实验中。

标志

• --query - 限制要下载的实验（有关更多信息，请参阅experiment.api.query()）
• --type - 要记录的项目类型
• --set - 要记录的 "key:value" 对

有关更多信息，请运行 cometx log --help

cometx delete-assets

删除实验资产

cometx delete-assets WORKSPACE/PROJECT --type=image
cometx delete-assets WORKSPACE/PROJECT/EXPERIMENT --type=all

类型可以是有效的资产类型，包括

• all
• asset
• audio
• code
• image
• notebook
• text-sample
• video

有关更多信息，请运行 cometx delete-assets --help

cometx reproduce

cometx reproduce [-h] [--run] [--executable EXECUTABLE] COMET_PATH OUTPUT_DIR

有关更多信息，请运行 cometx reproduce --help

运行测试

警告：运行测试将在默认工作区（除非另行设置）中创建实验、模型、资产等。

要运行测试，您可以在环境中导出所有这些项

$ export COMET_USER="<USERNAME>"
$ export COMET_WORKSPACE="<WORKSPACE>"
$ export COMET_API_KEY="<API-KEY>"
$ pytest tests

或者在您的 ~/.comet.config 文件中定义 workspace 和 api_key

$ export COMET_USER="<USERNAME>"
$ pytest tests