REANA-Commons.
项目描述
REANA-Commons
关于
REANA-Commons 是 REANA 可重复和可复现研究数据分析平台的一个组件。它为 REANA 集群组件提供共享的通用工具和模式。
特性
- 内部通信的通用 API 客户端
- REANA 组件的集中式 OpenAPI 规范
- AMQP 连接管理和通信
- 集群组件的实用函数
使用方法
有关如何安装和使用 REANA 的详细信息，请参阅 docs.reana.io。
有用链接
- REANA 项目主页
- REANA 用户文档
- REANA 用户支持论坛
- REANA-Commons 版本发布
- REANA-Commons 开发者文档
- REANA-Commons 已知问题
- REANA-Commons 源代码
变更日志
0.9.8 (2024-03-01)
构建
- python: 将额外名称更改为符合 PEP 685（《#446》）（9dad6da）
- python: Python 3.6 需要 smart-open<7（《#446》）（17fd581）
- python: 恢复 snakemake
reports额外功能（《#446》）（904178f）
持续集成
0.9.7 (2024-02-20)
构建
文档
0.9.6 (2024-02-13)
特性
错误修复
代码重构
持续集成
- commitlint: 添加提交信息检查器（《#432》）（a67906f）
- commitlint: 检查具体 PR 编号的存在（《#438》）（d3035dc）
- release-please: 初始配置（《#432》）（687f2f4）
- shellcheck: 递归检查所有 shell 脚本（《#436》）（709a685）
- shellcheck: 修复退出代码传播（《#438》）（85d9a2a）
0.9.5 (2023-12-15)
- 通过将
bravado-core锁定到低于 6.1.1 的版本来解决安装问题。
0.9.4 (2023-11-30)
- 将 REANA 规范模式更改为使用 JSON Schema 规范的
draft-07版本。 - 修改REANA规范验证，以暴露用于加载工作流程输入参数和工作流程规范的函数。
- 修改REANA规范验证，使得串行工作流程的步骤必须包含
environment属性。 - 修改REANA规范验证，对于串行工作流程步骤中的意外属性将引发警告。
- 修改CVMFS支持，允许用户自动挂载任何可用的仓库。
- 修复了使用非默认Kubernetes命名空间部署的REANA的CVMFS卷挂载问题。
0.9.3 (2023-09-26)
- 添加了对Python 3.12的支持。
- 添加了对
prune_workspace端点的OpenAPI规范支持，允许删除工作空间中既不是输入也不是输出的文件。 - 添加了对
reana.yaml中的tests.files的支持，允许指定用于测试可运行示例的Gherkin功能文件。 - 修改OpenAPI规范，将
run_stopped_at属性包含在工作流程列表和工作流程状态端点返回的工作流程进度信息中。 - 修改OpenAPI规范，将
maximum_interactive_session_inactivity_period值包含在info端点中。 - 修改电子邮件发送实用工具，允许配置身份验证和加密选项。
- 修改REANA规范验证，以发出有关未知属性的警告。
- 修复了描述工作流程状态更改时使用的动词，以避免像
workflow has been failed这样的错误语法短语。 - 修复了在未指定参数时加载Snakemake和CWL工作流程规范的问题。
- 修复了GitLab OAuth端点的OpenAPI规范返回状态。
- 修复了容器镜像名称，使其与Podman兼容。
- 修复了电子邮件发送实用工具，当全局禁用通知时不再发送电子邮件。
0.9.2.1 (2023-07-19)
- 修改
PyYAML依赖版本范围，以解决在Python 3.10+上的安装问题。
0.9.2 (2023-02-10)
- 修复了
wcmatch依赖版本规范。
0.9.1 (2023-01-18)
- 修改Kerberos续签容器的配置，以记录每个票据续签。
0.9.0 (2022-12-13)
- 添加了对Python 3.11的支持。
- 添加了对Rucio的支持。
- 从
reana-client添加了REANA规范验证和加载逻辑。 - 添加了用于管理工作空间文件的一般实用函数。
- 添加了对
launch端点的OpenAPI规范支持，允许从远程源运行工作流程。 - 添加了对
get_workflow_retention_rules端点的OpenAPI规范支持，允许检索工作流程的工作空间文件保留规则。 - 添加了生成Kerberos init和续签容器配置。
- 添加了对电子邮件正文中Unicode字符的支持。
- 修改OpenAPI规范，包括缺失的响应模式元素和其他一些小增强。
- 修改Kubernetes Python客户端，使用
networking/v1API。 - 修改REANA规范加载功能，允许指定不同的工作目录。
- 修改REANA规范，允许为整个工作流程启用Kerberos。
- 修改REANA规范，允许指定工作流程的
retention_days。 - 修改REANA规范，允许指定Slurm计算后端作业的
slurm_partition和slurm_time。 - 修改了Snakemake规范的加载，以保留当前工作目录。
- 修复了通过去除Docker镜像名称中的潜在的前导和尾随空格来提交作业的问题。
0.8.5 (2022-02-23)
- 向WorkflowSubmissionPublisher添加了
retry_count参数。
0.8.4 (2022-02-08)
- 添加了新的配置变量来切换Kubernetes安全上下文。（
K8S_USE_SECURITY_CONTEXT） - 修改安装，撤销
Yadage依赖版本。
0.8.3 (2022-02-04)
- 修改安装，从
kombu移除上版本限制。
0.8.2 (2022-02-01)
- 添加了对Python 3.10的支持。
- 添加了工作流程名称验证实用工具。
- 修改了
Snakemake加载规范，以包括计算后端。 - 修改了OpenAPI规范，与在
info端点中返回支持的计算后端相关。 - 修复了在
get_disk_usage实用函数中计算CephFS共享文件系统使用情况的问题。
0.8.1 (2021-12-21)
- 添加了对
kubernetes_job_timeout处理的OpenAPI规范支持。 - 修改了集群健康状态端点的OpenAPI规范。
- 修改Yadage依赖，以允许0.21.x补丁级别版本更新。
- 修改安装要求，需要Python-3.6或更高版本。
0.8.0 (2021-11-22)
- 添加了
get_disk_usage实用函数，用于计算目录的磁盘使用量。 - 添加了
Yadage工作流程规范加载实用工具。 - 添加了工作区验证实用工具。
- 添加了
Snakemake工作流程引擎集成。 - 向k8s客户端添加了自定义对象API实例。
- 添加了可用工作流程引擎配置。
- 添加环境变量以定义作业控制器连接检查之间的时间。
- 添加了集群健康状态端点。
- 添加了关于用户配额的OpenAPI规范。
- 将
workflow-submission队列更改为优先队列，并允许在提交工作流程时设置优先级编号。 - 修改了关于将
workspaces端点转换为info的OpenAPI规范。 - 修改了错误回调上的发布者日志级别。
- 移除了对Python 2的支持。
0.7.5 (2021-07-02)
- 添加了对列表工作流程文件时支持glob模式。
- 添加了对Kubernetes计算后端作业指定
kubernetes_memory_limit的支持。
0.7.4 (2021-03-17)
- 添加了在REANA组件之间序列化/反序列化作业命令的新功能。
- 将
reana_ready函数位置更改为REANA-Server。
0.7.3 (2021-02-22)
- 添加了一个新的配置变量来根据其状态切换运行时用户作业的清理。 (
REANA_RUNTIME_KUBERNETES_KEEP_ALIVE_JOBS_WITH_STATUSES) - 添加了一个中央类来以更多容错性实例化工作流程引擎。 (
workflow_engine.create_workflow_engine_command)
0.7.2 (2021-02-02)
- 添加了对Python 3.9的支持。
- 修复了轻微的代码警告。
- 修复了计算目录散列的辅助函数。
- 修改了关于注册表的OpenAPI规范。
- 修改了关于电子邮件确认的OpenAPI规范。
- 将CI系统修改为包含Python flake8检查器。
0.7.1 (2020-11-09)
- 添加了对通过
accept_metadir操作选项重启yadage工作流程的支持。 - 允许为HTC作业指定
htcondor_max_runtime和htcondor_accounting_group。 - 在REANA-Server OpenAPI规范中添加了新字段以返回服务器版本。
- 将CI系统从Travis更改为GitHub Actions。
0.7.0 (2020-10-20)
- 添加了一个新的实用工具来发送电子邮件。
- 添加了一个集中式验证实用工具，用于工作流程操作选项。
- 添加了一个新的配置变量来设置运行的最多工作流程数。 (
REANA_MAX_CONCURRENT_BATCH_WORKFLOWS) - 添加了一个新的配置变量来设置REANA集群组件名称的前缀。 (
REANA_COMPONENT_PREFIX) - 添加了一个新的配置变量，用于指定运行时Pod节点选择器标签。 (
REANA_RUNTIME_KUBERNETES_NODE_LABEL) - 添加了一个新的配置变量，用于定义REANA基础设施组件运行的Kubernetes命名空间。 (
REANA_INFRASTRUCTURE_KUBERNETES_NAMESPACE) - 添加了一个新的配置变量，用于定义REANA运行时组件组件运行的Kubernetes命名空间。 (
REANA_RUNTIME_KUBERNETES_NAMESPACE) - 添加了为运行作业指定解包容器镜像的可能性。
- 添加了对Yadage工作流程引擎的
initfiles操作选项的支持。 - 修复了Bravado客户端实例化中的内存泄漏。
- 修改了CephFS持久卷声明名称。 (
REANA_SHARED_PVC_NAME) - 将默认日志级别更改为
INFO。 - 将默认CVMFS卷列表修改为包括LHCb Gaudi相关工作流程。
- 将代码格式修改为遵循
black编码风格。 - 修改了底层要求，以使用Kubernetes Python库版本11。
- 修改了底层要求，以使用最新的CVMFS CSI驱动程序版本。
- 将文档修改为单页布局。
0.6.1 (2020-05-25)
- 升级Kubernetes Python客户端。
0.6.0 (2019-12-19)
- 添加了新的Gitlab集成API。
- 添加了新的Kubernetes客户端API，用于入口。
- 添加了用于管理用户机密的新API。
- 添加了EOS存储Kubernetes配置。
- 添加了HTCondor和Slurm计算后端。
- 添加了对流式文件上传的支持。
- 允许解包CVMFS和CMS开放数据卷。
- 添加了序列工作步骤名称和计算后端。
- 添加了对Python 3.8的支持。
0.5.0 (2019-04-16)
- 集中日志级别和日志格式配置。
- 为给定工作空间添加检查磁盘使用的实用工具。（
get_workspace_disk_usage） - 引入模块，在REANA组件间共享Celery任务。（
tasks.py） - 引入公共Celery任务，根据运行作业数量等条件确定REANA是否可以执行新的工作流。（
reana_ready、check_predefined_conditions、check_running_job_count） - 允许AMQP消费者使用多个队列进行配置。
- 引入新的工作流提交队列。（
workflow-submission） - 引入新的工作流提交发布者。（
WorkflowSubmissionPublisher） - 集中Kubernetes API客户端配置和初始化。
- 添加CVMFS卷的Kubernetes特定配置作为实用工具。
- 引入新方法
copy_openapi_specs，自动将验证后的OpenAPI规范从组件移动到REANA Commons的openapi_specifications目录。 - 集中交互式会话类型。
- 通过
errors.py模块引入中心REANA错误。 - 对于使用
BaseAPIClient执行的HTTPS请求，跳过SSL验证。
0.4.0 (2018-11-06)
- 聚合REANA组件的OpenAPI规范。
- 改进AMQP重连处理。从
pika切换到kombu。 - 增强测试套件并提高代码覆盖率。
- 将许可证更改为MIT。
0.3.1 (2018-09-04)
- 为参数化串行工作流添加参数扩展和验证实用工具。
0.3.0 (2018-08-10)
- 首次公开发布。
- 为REANA组件提供基本的AMQP pub/sub方法。
- 用于不同REANA组件的缓存实用工具。
- 点击格式化辅助工具。
关闭
reana-commons-0.9.8.tar.gz 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 8aee304cb52d9d55536b01c4f4fad893b74b9ed680042e9b421efb9dd77e3a2f |
|
| MD5 | 85af365d432c691c178369d71401f248 |
|
| BLAKE2b-256 | 0ba8c4f6d2fa13a68e63ab3a356bbc9dbb35dcb8c3f439352d76c8594918b198 |
