biomaj-process 3.0.19

# 关于

[

用于管理 biomaj 进程执行过程的微服务。

在 biomaj_process/message/message_pb2.py 中提供了一个 protobuf 接口，用于 BioMAJ 和下载服务之间的消息交换。消息通过 RabbitMQ（需要安装）进行传输。

# Protobuf

要编译 protobuf，在 biomaj_process/message 目录下：

protoc –python_out=. message.proto

# 开发

flake8 biomaj_process

CONFIG=tests/config.yml python -m pytest -v tests/biomaj_tests.py

# 运行

## 消息消费者

export BIOMAJ_CONFIG=配置文件路径 python bin/biomaj_process_consumer.py

## Web 服务器

如果通过 pip 安装包，需要在本地服务器上的某个位置有一个名为 gunicorn_conf.py 的文件

def worker_exit(server, worker)

from prometheus_client import multiprocess multiprocess.mark_process_dead(worker.pid)

如果您已克隆仓库并通过 python setup.py install 安装，请参考克隆仓库中的 gunicorn_conf.py。

export BIOMAJ_CONFIG=配置文件路径 rm -rf ..path_to/prometheus-multiproc mkdir -p ..path_to/prometheus-multiproc export prometheus_multiproc_dir=..path_to/prometheus-multiproc gunicorn -c ..path_to/gunicorn_conf.py biomaj_download.biomaj_process_web:app

Web 进程应位于代理/负载均衡器后面，API 基础 URL 为 /api/process

Web 服务器上暴露了一个 Prometheus /metrics 端点

3.0.19

将 nose 替换为 pytest

3.0.18:

与其他 biomaj 组件统一 yaml 配置

3.0.17:

修复 yaml 加载警告

3.0.16:

在代理通信失败的情况下，在重试之前等待几秒钟

3.0.15:

在日志中添加进程名称以记录等待和结果

3.0.14:

添加环境变量 BIOMAJ_HOST_DATA_DIR，与 docker 进程执行器一起使用，以指定 data.dir 位置（如果主机和容器之间不同，例如 BIOMAJ_DATA_DIR 不是 BIOMAJ_DIR 的子目录）

如果没有设置变量，容器将在主机和容器之间挂载数据.dir，否则将挂载 BIOMAJ_HOST_DATA_DIR:data.dir

3.0.13:

修复 traefik 前缀

3.0.12:

更新 pika 依赖版本，添加对 traefik 的支持标签

3.0.11:

捕获微服务的异常，如果远程服务器不可达，重命名 protobuf 包以避免冲突

3.0.10:

修复 README 文档，添加对 Docker 的依赖项和额外的卷

3.0.9:

允许每个服务定义本地端点，修复与依赖项 banks 相关的 Docker 卷

3.0.8:

修复 #1，DRMAA 需要在输出和错误路径前加冒号（根据版本强制要求）

3.0.7:

修复银行属性中缺少进程描述或类型的情况

3.0.6:

禁用 Web 线程日志

3.0.5:

在代理通信失败的情况下重试

3.0.4:

对于 Docker，限制目录为银行目录和依赖项，在 Prometheus 统计中添加主机

3.0.3:

修复 Prometheus + gunicorn 多进程，添加 consul 监督

3.0.2:

在 biomaj 微服务中执行 Docker 进程时添加日志信息

3.0.1:

修复错误

3.0.0:

将进程管理从 biomaj 主包中移出