加拿大天文学数据中心数据传输客户端
项目描述
加拿大天文学数据中心 - 电子传输
cadc-etrans 是一个用于将数据和元数据电子传输到加拿大天文学数据中心 (CADC) 的应用程序。要由 cadc-etrans 处理的文件应放置在用户指定的源目录的以下子目录之一中
new - 对于预期将是CADC档案中新的文件。 cadc-etrans 将其标记为错误。
replaced - 对于预期已在CADC档案中的文件。 cadc-etrans 如果文件丢失,则将其标记为错误。
any - 对于其存在于CADC档案中的位置不重要的文件
cadc-etrans 可以配置为根据提供的规则检查文件名称,并检查文件类型。未通过这些检查的文件将被移动到拒绝子目录,并根据遇到的错误类型分组。用户应修复问题,并将文件放回源目录以重新处理。
通过所有验证的文件将发送到CADC档案。
注意:为了确保在尝试传输之前文件已完全接收,它必须在输入目录中花费最小的时间(5分钟)而没有被修改/更新,在其处理之前。
cadc-etrans 的功能通过修改 ~/.config/cadc-etrans 文件进行配置。
使用方法
cadc-etrans 通常与 crontab 一起使用。以下示例每 15 分钟处理一次文件。
*/15 * * * * cadc-etrans data --cert /home/auser/.ssl/cadcproxy.pem -c /home/auser/.config/cadc/dao-namecheck.xml sourcedir
cadc-etrans 可以将传输日志备份到 vospace
0 11 * * * cadc-etrans status -b --cert /home/auser/.ssl/cadcproxy.pem sourcedir
Docker 使用方法
为了避免部署应用程序环境(例如在主机上安装 fitsverify),可以从 docker 容器中运行应用程序。要构建容器,请下载 https://github.com/opencadc/cadctools/tree/master/cadcetrans/docker 目录的内容,自定义配置文件 cadc-etrans-config 和 namecheck.xml,然后构建容器
cd docker docker build -t cadcetrans .
要调用它
docker run --rm --mount type=bind,source=/tmp/logs,target=/logging --mount type=bind,source=/tmp/input/,target=/input cadcetrans status
或
docker run --rm --mount type=bind,source=/tmp/logs,target=/logging --mount type=bind,source=/tmp/input/,target=/input cadcetrans data
请注意所需的两个挂载点:一个用于记录传输日志,以便它们在容器外可用,另一个用于源目录(source=<> 部分,需要自定义以指向本地主机的目录)。
项目详情
cadcetrans-0.9.2.tar.gz 的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | c153ade8f62e3adc7797a9c4ce148c9c375ba2c52a7809138ec019e36f5faba7 |
|
MD5 | 3257dec502b262913228b1e5a0fd1ed1 |
|
BLAKE2b-256 | c4fe750c8d1875c841a7eb1ec20a1ee9a4dfadbd5aa66930c936db3590fb622f |