DKIST科学数据处理Airflow管道使用的代码,用于处理VBI数据。
项目描述
概述
dkist-processing-vbi库包含vbi管道的实现,作为dkist-processing-core框架和dkist-processing-common任务的集合。
推荐的项目结构是将任务和工作流程分开到不同的包中。将工作流程放在自己的包中可以方便使用build_utils来测试这些工作流程在单元测试中的完整性。示例
构建
通过Bitbucket Pipelines构建工件。
可以通过修改包和工件位置在其它仓库中使用该管道,以使用与目标仓库相关的名称。
例如:dkist-processing-test -> dkist-processing-vbi 和 dkist_processing_test -> dkist_processing_vbi
部署
部署使用turtlebot完成,并遵循dkist-processing-core中详细说明的过程。
环境变量
开发
git clone git@bitbucket.org:dkistdc/dkist-processing-vbi.git
cd dkist-processing-vbi
pre-commit install
pip install -e .[test]
pytest -v --cov dkist_processing_vbi
变更日志
当您对此存储库进行任何更改时,必须伴随一个变更日志文件。此存储库的变更日志使用towncrier包。下一个版本的变更日志条目作为单独的文件(每个更改一个)添加到changelog/目录中。
编写变更日志条目
伴随更改的变更日志条目应添加到 changelog/ 目录中。此目录中文件的命名遵循特定模板。
<PULL REQUEST NUMBER>.<TYPE>[.<COUNTER>].rst
字段具有以下含义
<PULL REQUEST NUMBER>:这是拉取请求的编号,因此人们可以从变更日志条目跳转到 BitBucket 上的差异。
<TYPE>:这是更改的类型,必须是以下描述的值之一。
<COUNTER>:这是一个可选字段,如果您对同一类型的更改进行了多次更改,则可以在后续更改中附加计数器,例如,对于同一个 PR 中的两个错误修复更改,可以使用 100.bugfix.rst 和 100.bugfix.1.rst。
可能的类型列表定义在 pyproject.toml 的 towncrier 部分,类型有
feature:这是一个新的代码功能。
bugfix:这是一个修复错误的更改。
doc:这是一个文档更改。
removal:这是一个弃用或移除公共 API 的更改。
misc:任何不适合其他地方的小更改,例如对包基础设施的更改。
发布时渲染变更日志
在即将标记发布之前,首先必须运行 towncrier 来渲染变更日志。以下步骤如下
使用您想要标记的版本号运行 towncrier build –version vx.y.z。
同意让 towncrier 删除片段。
添加并提交您的更改。
标记发布。
注意:如果您忘记向标记的发布添加变更日志条目(手动或通过 towncrier 自动),则 Bitbucket 管道将失败。为了能够使用相同的标签,您必须在本地和远程分支上删除它。
# First, actually update the CHANGELOG and commit the update
git commit
# Delete tags
git tag -d vWHATEVER.THE.VERSION
git push --delete origin vWHATEVER.THE.VERSION
# Re-tag with the same version
git tag vWHATEVER.THE.VERSION
git push --tags origin main
科学变更日志
每当发布涉及对 L1 数据科学质量的更改时,应创建额外的变更日志片段。这些片段旨在尽可能详尽,以准确捕获更改的范围,因此请随意使用所有花哨的 RST。科学片段放置在与其他片段相同的 changelog/ 目录中,但总是命名为
<PR NUMBER | +>.science[.<COUNTER>].rst
如果单个拉取请求封装了全部科学更改,则第一个字段应该是该 PR 编号(与正常 CHANGELOG 相同)。然而,如果没有从单个 PR 到科学更改的简单映射,则使用字符“+”代替;这将创建一个没有关联 PR 的变更日志条目。例如
$ ls changelog/
99.bugfix.rst # This is a normal changelog fragment associated with a bugfix in PR 99
99.science.rst # Apparently that bugfix also changed the scientific results, so that PR also gets a science fragment
+.science.rst # This fragment is not associated with a PR
在构建 SCIENCE_CHANGELOG 的时间,使用此存储库中的 science_towncrier.sh 脚本来执行。此脚本接受默认 towncrier 的所有相同参数。例如
./science_towncrier.sh build --version vx.y.z
这将更新 SCIENCE_CHANGELOG 并从变更日志目录中删除任何科学片段。
项目详细信息
dkist_processing_vbi-1.17.2.tar.gz 的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | e8034ebbf2ae624d4189c7ac2b95cda840f375b4cae715874b88fcef5189c88d |
|
MD5 | 82de52431ccb53aa9652a2415c4a8ee5 |
|
BLAKE2b-256 | 6e9878d782d1159c08105f5e8bd7b745bcdefcf57b1f37235412e748d9df12f6 |