跳转到主要内容

加拿大天文学数据中心数据传输客户端

项目描述

https://img.shields.io/pypi/v/cadcetrans.svg

加拿大天文学数据中心 - 电子传输

cadc-etrans 是一个用于将数据和元数据电子传输到加拿大天文学数据中心 (CADC) 的应用程序。要由 cadc-etrans 处理的文件应放置在用户指定的源目录的以下子目录之一中

  • new - 对于预期将是CADC档案中新的文件。 cadc-etrans 将其标记为错误。

  • replaced - 对于预期已在CADC档案中的文件。 cadc-etrans 如果文件丢失,则将其标记为错误。

  • any - 对于其存在于CADC档案中的位置不重要的文件

cadc-etrans 可以配置为根据提供的规则检查文件名称,并检查文件类型。未通过这些检查的文件将被移动到拒绝子目录,并根据遇到的错误类型分组。用户应修复问题,并将文件放回源目录以重新处理。

通过所有验证的文件将发送到CADC档案。

注意:为了确保在尝试传输之前文件已完全接收,它必须在输入目录中花费最小的时间(5分钟)而没有被修改/更新,在其处理之前。

cadc-etrans 的功能通过修改 ~/.config/cadc-etrans 文件进行配置。

使用方法

cadc-etrans 通常与 crontab 一起使用。以下示例每 15 分钟处理一次文件。

*/15 * * * * cadc-etrans data --cert /home/auser/.ssl/cadcproxy.pem
-c /home/auser/.config/cadc/dao-namecheck.xml sourcedir

cadc-etrans 可以将传输日志备份到 vospace

0 11 * * * cadc-etrans status -b --cert /home/auser/.ssl/cadcproxy.pem
sourcedir

Docker 使用方法

为了避免部署应用程序环境(例如在主机上安装 fitsverify),可以从 docker 容器中运行应用程序。要构建容器,请下载 https://github.com/opencadc/cadctools/tree/master/cadcetrans/docker 目录的内容,自定义配置文件 cadc-etrans-confignamecheck.xml,然后构建容器

cd docker
docker build -t cadcetrans .

要调用它

docker run --rm --mount type=bind,source=/tmp/logs,target=/logging
--mount type=bind,source=/tmp/input/,target=/input cadcetrans status

docker run --rm --mount type=bind,source=/tmp/logs,target=/logging
--mount type=bind,source=/tmp/input/,target=/input cadcetrans data

请注意所需的两个挂载点:一个用于记录传输日志,以便它们在容器外可用,另一个用于源目录(source=<> 部分,需要自定义以指向本地主机的目录)。

项目详情


下载文件

下载适用于您的平台文件。如果您不确定选择哪个,请了解有关 安装软件包 的更多信息。

源分布

cadcetrans-0.9.2.tar.gz (19.1 kB 查看哈希值)

上传时间

支持