运行监控程序 1.2.0

用例

您有一台或多台Illumina测序仪正在写入挂载的文件系统，如NFS。您需要一种方法来检测何时有新的、已完成的测序运行目录，并将其重新定位到冗余存储。下游工具需要能够知道打包的运行目录何时可供后处理（即：解复用、质量控制、读取对齐等）。

工作原理

通过使用Google云平台服务和跟踪工作流程状态来解决上述挑战。测序运行使用gzip压缩打包，然后上传到Google云存储。工作流程状态通过SQLite在本地跟踪，并可选择在Google Firestore NoSQL数据库中跟踪，以提高冗余性，并允许下游客户端查询测序运行记录。

注意：虽然您不需要使用Google计算实例来运行监控脚本，但此处的文档假设您正在这样做，因为这是最推荐的方式。这是因为监控必须与某些GCP服务交互，因此必须使用有效的Google凭证（即服务账户）。

监控脚本名为 srun-mon（一个调用 launch_monitor.py 中 main 函数的封装）。运行此脚本时，您必须提供指向 JSON 配置文件的路径，下面将详细说明。您应该将计算实例配置为以守护进程服务运行此脚本。

工作流程被分为两个任务：tar 任务 和 上传任务。当监控检测到新的测序运行时，它将在子进程中执行工作流程。该工作流程足够智能，能够检测从哪个任务开始，这得益于本地 SQLite 数据库。该数据库为每个测序运行记录一条记录，并跟踪哪些工作流程任务已完成，以及工作流程是否正在运行。

工作流程任务

工作流程分为两个任务，每个任务都可以单独运行（即如果工作流程需要从上次停止的地方重新启动）。

配置文件

这是一个小的 JSON 文件，它让监控知道诸如使用哪个 GCP 存储桶和 Firestore 集合等问题。可能的键包括：

• name：监控器的名称。如果配置了电子邮件通知，则名称将出现在主题行中，以及其他位置，例如日志消息。

• completed_runs_dir：在运行完成工作流程后将运行目录移动到的目录。如果该目录尚不存在，则会创建该目录。默认为位于监视同一目录下的名为‘SRM_COMPLETED’的文件夹。请注意，目前还没有清除完成运行的目录的方法，但这将在未来的版本中实现。

• cycle_pause_sec：在扫描 watchdir 之间等待的秒数。默认为 60。

• firestore_collection：用于持久化工作流程状态并允许下游工具查询的 Google Firestore 集合的名称。如果尚不存在，则将其创建。如果未提供此参数，则关闭 Firestore 支持。

• gcp_bucket_basedir：（必需）在 gcp_bucket_name 中存储所有上传文件的目录。默认为根目录。

• gcp_bucket_name：（必需）要上传打包运行目录的 Google 云存储桶的名称。

• sentinal_file_age_minutes：在启动任何任务之前，例如对运行目录进行打包，哨兵文件（即 CopyComplete.txt）应该有多久的时间。Illumina 支持建议为 15 分钟，因此默认值为 15 分钟。这有助于确保测序仪上运行的 Illumina Universal Copy Services (UCS) 在哨兵文件出现后有足够的时间完成。

• sqlite_db：用于跟踪工作流程状态的本地 SQLite 数据库名称。如果未指定，则默认为 sruns.db。

• sweep_age_sec：当完成运行的目录中的运行比这个秒数旧时，将其删除。默认为 604800（1 周）。

• task_runtime_limit_sec：子进程在被终止前允许运行的时间（秒）。这旨在作为安全机制，以防由于不可预见的情况导致资源被错误进程消耗。在这种情况下，将发送一封电子邮件通知，以提醒有关错误进程及其关联的测序运行。您为该设置设置的秒数取决于多个因素，例如运行大小和网络速度。建议至少使用两天（172800秒）以保持保守。

• watchdir：（必需）监视新测序运行的目录。

用户提供的配置文件在监视器中对内置架构进行验证。

跟踪工作流程状态

针对给定运行目录的工作流程状态同时在本地SQLite数据库以及Google Firestore（一个NoSQL数据库）中进行跟踪。本地状态跟踪是为了能够重新启动工作流程，如果子进程崩溃或节点关闭，可以重新启动工作流程。Firestore用于允许下游应用程序查询集合（其名称在您的配置文件中指定）以执行所需的后期处理。例如，外部工具可以查询集合，并询问是否已完成特定的运行。在此意义上，“完成”意味着运行已打包并上传到Google存储桶。然后，该工具可以告知tar文件blob的位置。

安装和设置

这仅适用于Python 3的较新版本

pip3 install sruns-monitor

建议使用以下角色具有以下角色的服务帐户启动您的计算实例（将运行监视器）

• roles/storage.objectAdmin

• roles/datastore.owner

运行测试案例

每个模块都有相关的测试案例。既有单元测试也有功能测试。

python3 -m unittest

monitor_integration_tests.py