tinuous 0.7.0

全局选项

-c FILE, --config FILE

从指定的文件中读取配置 [默认值: tinuous.yaml]

-E FILE, --env FILE

从指定的 .env 文件中加载环境变量。默认情况下，环境变量从当前目录向上搜索找到的第一个名为 “.env” 的文件中加载。

注意：当此文件位于 Git 仓库中时，必须小心处理，以免公开暴露：要么在 .gitignore 中列出文件，要么如果使用 DataLad 或 git-annex，则配置 git-annex 以禁止公开共享该文件。

-l LEVEL, --log-level LEVEL

将日志级别设置为给定的值。可能的值有 “CRITICAL”，“ERROR”，“WARNING”，“INFO”，“DEBUG”（不区分大小写）及其 Python 整数等效值。[默认值: INFO]

fetch 命令

tinuous [<global options>] fetch [<options>]

tinuous fetch 读取一个配置文件，告诉它要检索哪些存储库的日志和工件，从哪里检索它们，以及保存到何处，然后执行这些步骤。

fetch-commit 命令

tinuous [<global options>] fetch-commit [<options>] <committish>

只为给定的 committish 下载日志和构建工件。状态文件不会被更新。

此命令仅支持从 GitHub 获取资源。

sanitize 命令

tinuous [<global options>] sanitize <path> ...

清理给定的文件，用一系列星号替换所有匹配秘密正则表达式的字符串。

配置

配置文件是一个包含以下键的 YAML 文件映射

repo

(必需) 要检索资产的 GitHub 仓库，格式为 OWNER/NAME

vars

一个映射，定义自定义路径模板占位符。每个键是自定义占位符的名称，不带括号，其值是要替换的字符串。自定义值可以包含标准路径模板占位符以及其他自定义占位符。

ci

(必需) 从要检索资产的 CI 系统到包含 CI 特定配置的子映射的映射。包括给定的 CI 系统是可选的；如果在此映射中列出，则会从给定的系统获取资产。

CI 系统及其子映射如下

github

从 GitHub Actions 检索资产时的配置。子字段

paths

一个映射，提供要保存各种类型资产的路径的模板字符串。如果为空或不存在，则不检索任何资产。子字段

logs

为每个工作流程运行实例化的模板字符串，用于生成保存运行构建日志的目录路径（相对于当前工作目录）。如果没有指定，则不会下载日志。

artifacts

为每个工作流程运行实例化的模板字符串，用于生成保存运行艺术品的目录路径（相对于当前工作目录）。如果没有指定，则不会下载艺术品。

releases

为每个（非草案、非预发布）GitHub发布实例化的模板字符串，用于生成保存发布资产的目录路径（相对于当前工作目录）。如果没有指定，则不会下载发布资产。

workflows

要检索资产的工怿规范。这可以是包含文件扩展名的工怿基本名称列表（例如，test.yml，而不是 .github/workflows/test.yml）或包含以下字段的映射

include

要检索资产的工作流程列表，可以是基本名称或（当 regex 为 true 时）匹配基本名称的 Python 正则表达式。如果省略 include，则默认包括所有工作流程。

exclude

不检索资产的工作流程列表，可以是基本名称或（当 regex 为 true 时）匹配基本名称的 Python 正则表达式。如果省略 exclude，则不排除任何工作流程。匹配 include 和 exclude 的工作流程被排除。

regex

布尔值。如果为 true（默认为 false），则 include 和 exclude 字段的元素被视为匹配（非锚定）工作流程基本名称的 Python 正则表达式；如果为 false，则用作确切名称

当未指定 workflows 时，将检索存储库中所有工作流程的资产。

travis

从 Travis-CI.com 检索日志的配置。子字段

paths

给出要保存各种类型资产的路径的 模板字符串 的映射。如果为空或不存在，则不检索任何资产。子字段

logs

为每个构建中的每个任务的实例化的模板字符串，用于生成保存任务日志的文件路径（相对于当前工作目录）。如果没有指定，则不会下载日志。

appveyor

从 Appveyor 检索日志的配置。子字段

paths

给出要保存各种类型资产的路径的 模板字符串 的映射。如果为空或不存在，则不检索任何资产。子字段

logs

为每个构建中的每个任务的实例化的模板字符串，用于生成保存任务日志的文件路径（相对于当前工作目录）。如果没有指定，则不会下载日志。

accountName

(必填) Appveyor 上存储库所属的 Appveyor 账户名称

projectSlug

Appveyor 上存储库的项目缩略名；如果没有指定，则假设缩略名与存储库名称相同

circleci

从 CircleCI 检索资产的配置。子字段

paths

一个映射，提供要保存各种类型资产的路径的模板字符串。如果为空或不存在，则不检索任何资产。子字段

logs

为每个工作流程中每个作业的每个步骤的每个动作的实例化的模板字符串，用于生成保存动作构建日志的文件路径（相对于当前工作目录）。如果没有指定，则不会下载日志。

artifacts

为每个作业实例化的模板字符串，用于生成保存作业艺术品的目录路径（相对于当前工作目录）。如果没有指定，则不会下载艺术品。

workflows

资产检索工作流程的规范。这可以是工作流程名称的列表或包含以下字段的映射

include

要检索资产的列表，可以是名称，或者当 regex 为真时，是匹配名称的 Python 正则表达式。如果省略 include，则默认包括所有工作流程。

exclude

不检索资产的列表，可以是名称，或者当 regex 为真时，是匹配名称的 Python 正则表达式。如果省略 exclude，则不排除任何工作流程。同时匹配 include 和 exclude 的工作流程将被排除。

regex

一个布尔值。如果为真（默认为假），则 include 和 exclude 字段的元素被视为匹配（非锚定）工作流程名称的 Python 正则表达式；如果为假，则用作精确名称

当未指定 workflows 时，将检索所有可用工作流程的资产。

自

时间戳（日期、时间、时区）；只检索在给定时间点之后开始构建的资产。如果没有指定，将使用 max-days-back 设置的截止日期。

脚本在检索新的构建资产时，会跟踪它们的起始点。一旦检索到给定 CI 系统和配置的所有构建资产到一定点，最新此类构建的时间戳将被存储在状态文件中，并用作下一次运行相应 CI 系统的新的 since 值。如果此时将配置文件中的 since 设置更新为较新的时间戳，则配置将覆盖状态文件中的值，并且下一次 tinuous 运行将只检索新设置之后的资产。

max-days-back

一个整数，指定要查找构建的最大天数；默认为 30。

如果 since 早于此值指示的日期，并且如果存储在状态文件中的给定 CI 系统的时间戳缺失（即，如果这是 tinuous 首次针对 CI 系统运行）或早于 since，则 tinuous 将使用显式指定的 since 值作为截止日期，并忽略 max-days-back。

直到

时间戳（日期、时间、时区）；只检索在给定时间点之前开始的构建的资产

types

一组构建触发事件类型；只检索由给定事件之一触发的构建的资产。如果没有指定，将检索所有已识别的事件类型的资产。

已识别的事件类型包括

cron

按计划运行的构建

手动

由人类或通过 CI 系统的 API 手动触发的构建

pr

对拉取请求上的活动做出反应的构建，CI 系统在自动生成的合并提交上执行构建（不适用于 CircleCI）

push

对新提交做出反应的构建

secrets

从名称（用于日志消息）到匹配要清理的机密的 Python 正则表达式 的映射

allow-secrets-regex

任何与secrets正则表达式匹配并且也匹配此正则表达式的字符串将不会被净化。注意，allow-secrets-regex仅与匹配secrets正则表达式的子串进行测试，而不考虑任何周围文本，因此在此正则表达式中前瞻和后顾将不起作用。

datalad

一个描述tinuous与DataLad集成的子映射。子字段

enabled

一个布尔值。如果为true（默认为false），则需要安装DataLad，如果当前目录不是数据集，则将其转换为DataLad数据集，可选地将资产分成子数据集，并在tinuous fetch运行结束时提交所有新资产。path模板字符串可以包含//分隔符，表示子数据集的边界。

cfg_proc

在创建数据集和子数据集时要运行的进程

一个示例配置文件

repo: datalad/datalad
vars:
  path_prefix: '{year}//{month}//{day}/{ci}/{type}'
  build_prefix: '{path_prefix}/{type_id}/{build_commit[:7]}'
ci:
  github:
    paths:
      logs: '{build_prefix}/{wf_name}/{number}/logs/'
      artifacts: '{build_prefix}/{wf_name}/{number}/artifacts/'
      releases: '{path_prefix}/{release_tag}/'
    workflows:
      - test_crippled.yml
      - test_extensions.yml
      - test_macos.yml
  travis:
    paths:
      logs: '{build_prefix}/{number}/{job}.txt'
  appveyor:
    paths:
      logs: '{build_prefix}/{number}/{job}.txt'
    accountName: mih
    projectSlug: datalad
  circleci:
    paths:
      logs: '{build_prefix}/{wf_name}/{number}/{job_name}/{step}-{index}.txt'
      artifacts: '{path_prefix}/{wf_name}/{number}/{job_name}/artifacts/'
since: 2021-01-20T00:00:00Z
max-days-back: 14
types: [cron, manual, pr, push]
secrets:
  github: '\bgh[a-z]_[A-Za-z0-9]{36,}\b'
  docker-hub: '\b[a-f0-9]{8}(?:-[a-f0-9]{4}){3}-[a-f0-9]{12}\b'
  appveyor: '\b(v2\.)?[a-z0-9]{20}\b'
  travis: '\b[a-zA-Z0-9]{22}\b'
  aws: '\b[a-zA-Z0-9+/]{40}\b'
datalad:
  enabled: true
  cfg_proc: text2git

路径模板

给定工作流程运行、构建作业或发布保存资产的路径由创建相应CI系统配置文件中给出的适当路径模板字符串确定。模板字符串是一个包含占位符的文件路径，占位符形式为{field}，其中可用的占位符有

可以通过写入 {placeholder[:n]} 来截断占位符的值到前 n 个字符，例如，{commit[:7]}。

所有时间戳和日期时间组件（除 {timestamp_local} 之外）均为UTC。

路径模板还可以包含在配置文件顶层 vars 映射中定义的自定义占位符。

身份验证

注意，可以从 .env 文件中加载环境变量，而不是直接在环境中设置它们。