ssub 0.2.1

用例

smon已经完成了其工作，将原始测序运行持久化存储在Google存储桶中。现在需要另一个工具可以自动启动解复用。然而，解复用通常必须等到有SampleSheet后才能开始。但是一旦SampleSheet可用，就需要开始解复用并将结果上传到Google存储。

工作原理

SampleSheets Subscriber (ssub) 通过利用GCP事件和触发器的功能来解决上述挑战。从高层次来看，它的工作方式如下

1. 用户/应用程序将一个samplesheet上传到专用桶。sample sheet的命名约定是${RUN_NAME }.csv。

2. Google Storage立即向Pub/Sub主题触发一个事件（每当有新的SampleSheet或者现有的一个被覆盖时）。

3. 同时，ssub作为一个守护进程在计算实例上运行。它订阅了同一个Pub/Sub主题。ssub定期轮询该主题以获取新消息，即每分钟一次。

4. 当ssub收到新消息时，脚本会解析关于事件的详细信息。

5. ssub 将查询 Firestore 集合（与 smon 使用相同的集合）以获取一个名称等于 samplesheet 名称（除去 .csv 部分）的文档。然后 ssub 将下载 samplesheet 和运行 tarball。samplesheet 位置由 Pub/Sub 消息提供；原始运行 tarball 位置由 Firestore 文档提供。

6. 然后启动 bcl2fastq。

7. 解复用结果输出在本地运行目录中名为“demux”的文件夹中。

8. ssub 将 demux 文件夹上传到包含原始测序运行的相同 Google Storage 文件夹。

9. ssub 将更新相关的 Firestore 文档，以在 Google Storage 中的 demux 文件夹位置添加。

所有处理都在调用目录的 ssub_runs 子目录中完成。

重新分析

由于各种原因，可能需要重新运行解复用流程，例如，解复用结果不再可用，需要重新生成，或者 SampleSheet 中缺少条形码，或者 SampleSheet 中的条形码不正确...

重新分析只需将 SampleSheet 重新上传到 Google Storage，覆盖之前的版本即可轻松完成。Google Storage 会为 SampleSheet 分配一个生成号。将生成号视为 Google Storage 为每次对象更改分配的版本号类型。即使重新上传完全相同的文件，也会产生一个新的生成号。

内部，ssub 在以运行和 SampleSheet 生成号命名的本地目录路径中处理所有操作（文件下载、分析）。因此，用户上传错误的 SampleSheet，然后立即上传正确的一个是可以的。在这种情况下，将运行两个管道，它们不会相互干扰。然而，您会注意到，将有两组解复用结果上传到 Google Storage，每组都存在于以原始生成号命名的文件夹中。

配置文件

这是一个小的JSON文件，让监控程序知道诸如使用哪个GCP桶和Firestore集合等信息。可能的键包括

• name：订阅者的客户端名称。如果配置了电子邮件通知，则名称将显示在主题行以及其他地方，例如日志消息中。

• cycle_pause_sec：在Pub/Sub主题轮询之间的等待秒数。默认值为60。

• firestore_collection：要用于持久化工作流程状态的Google Firestore集合的名称，下游工具可以查询它。如果它尚未存在，则会创建它。如果未提供此参数，则关闭Firestore支持。

• sweep_age_sec：当一个分析目录（在ssub_runs目录内）

  的年龄超过这么多秒时，将其删除。默认值为604800（1周）。

用户提供的配置文件将与内置架构进行验证。

安装

在Python3的较新版本中运行

pip3 install ssub

建议使用具有以下角色的服务帐户启动您的计算实例（将运行监控程序）

• roles/storage.objectAdmin

• roles/datastore.owner

或者，给你的计算实例赋予cloud-platform范围。

部署

建议使用仓库中提供的Dockerfile。