🐍🌈🪨 PyOpal

Cython 绑定和Python接口，用于Opal，一个SIMD加速的数据库搜索比对器。

🗺️ 概述

Opal 是一个序列比对器，它使用 Smith-Waterman、半全局或 Needleman-Wunsch 算法之一，实现快速序列相似性搜索。它是 SW#db 方法[1] 的一部分，用于在 CPU 上将查询序列与多个数据库序列进行比对，使用 SWIPE[2] 中描述的多序列向量化方法。

PyOpal 是一个 Python 模块，它使用 Cython 为 Opal 提供绑定。它实现了用户友好的、Pythonic 的接口，用于查询序列数据库并访问搜索结果。它与 Opal 接口交互，而不是与 CLI 交互，具有以下优点

• 无二进制依赖：PyOpal 以 Python 包的形式发布，因此您可以将其作为依赖项添加到项目中，并无需担心 Opal 二进制文件是否存在于最终用户的机器上。
• 无中间文件：所有操作都在内存中进行，在您控制的 Python 对象中进行，因此您无需使用子进程和临时文件来调用 Opal CLI。
• 更好的可移植性：Opal 使用 SIMD 加速比对得分计算，但不支持动态派发，因此必须在本地机器上编译才能使用本地 CPU 的全部功能。PyOpal 包含多个版本的 Opal，每个版本都使用不同的目标功能编译，并在运行时为本地平台选择最佳版本。
• 更广泛的平台支持：Opal 代码已回滚到使用 SSE2 而不是 SSE4.1，这使得 PyOpal 可以在较旧的 x86 CPU 上运行（自 2003 年以来，所有 x86 CPU 都支持它）。此外，如果 Armv7 和 Aarch64 CPU 实现了 NEON 扩展，则也支持这些 CPU。最后，Opal 的 C++ 代码已修改，以便在 Windows 上编译。

🔧 安装

PyOpal 可用于所有现代版本（3.6+），可选地依赖于轻量级 Python 包 archspec 以进行运行时 CPU 特性检测。

可以从 PyPI 直接安装，它托管了 Linux、MacOS 和 Windows 的预构建 x86-64 轮子，Linux 和 MacOS 的 Aarch64 轮子，以及使用 Cython 编译源代码所需的代码。

$ pip install pyopal

否则，PyOpal 还可以作为 Bioconda 包提供。

$ conda install -c bioconda pyopal

有关在您的机器上安装 PyOpal 的其他方法，请参阅文档的 安装 页面。

💡 示例

所有类都导入到主命名空间 pyopal

import pyopal

pyopal 可以与作为 Python 字符串传递的序列一起工作，也可以与 bytes 对象中的 ASCII 字符串一起工作

query = "MAGFLKVVQLLAKYGSKAVQWAWANKGKILDWLNAGQAIDWVVSKIKQILGIK"
database = [
    "MESILDLQELETSEEESALMAASTVSNNC",
    "MKKAVIVENKGCATCSIGAACLVDGPIPDFEIAGATGLFGLWG",
    "MAGFLKVVQILAKYGSKAVQWAWANKGKILDWINAGQAIDWVVEKIKQILGIK",
    "MTQIKVPTALIASVHGEGQHLFEPMAARCTCTTIISSSSTF",
]

如果您计划在多个查询中重用数据库，则可以将它存储在 Database 中，它将根据 Alphabet 对序列进行编码

database = pyopal.Database(database)

顶层函数 pyopal.align 可以用于将查询序列与数据库进行比对，使用多线程并行处理数据库的块

for result in pyopal.align(query, database):
    print(result.score, result.target_index, database[result.target_index])

有关更多示例，包括如何使用内部 API 以及参数和结果类型的详细参考，请参阅 API 文档。

🧶 线程安全

Database 对象通过 C++17 读写锁 实现线程安全，该锁防止在搜索数据库时进行修改。此外，Aligner.align 方法是可重入的，并且可以在不同线程中使用不同查询并行查询同一数据库

import multiprocessing.pool
import pyopal
import Bio.SeqIO

queries = [
    "MEQQIELDVLEISDLIAGAGENDDLAQVMAASCTTSSVSTSSSSSSS",
    "MTQIKVPTALIASVHGEGQHLFEPMAARCTCTTIISSSSTF",
    "MGAIAKLVAKFGWPIVKKYYKQIMQFIGEGWAINKIIDWIKKHI",
    "MGPVVVFDCMTADFLNDDPNNAELSALEMEELESWGAWDGEATS",
]

database = pyopal.Database([
    str(record.seq)
    for record in Bio.SeqIO.parse("vendor/opal/test_data/db/uniprot_sprot12071.fasta", "fasta")
])

aligner = pyopal.Aligner()
with multiprocessing.pool.ThreadPool() as pool:
    hits = dict(pool.map(lambda q: (q, aligner.align(q, database)), queries))

💭 反馈

⚠️ 问题跟踪器

发现了一个错误？有改进请求？如果您需要报告或询问某些内容，请访问GitHub问题跟踪器。如果您正在提交一个错误，请尽可能提供有关问题的详细信息，并尝试在简单、易于重现的情况下重现相同的错误。

🏗️ 贡献

欢迎贡献！有关详细信息，请参阅CONTRIBUTING.md。

📋 更新日志

此项目遵循语义化版本控制，并提供了更新日志，格式遵循Keep a Changelog。

⚖️ 许可证

此库根据MIT许可证提供。Opal由Martin Šošić开发，并在MIT许可证的条款下分发。更多信息请参阅vendor/opal/LICENSE。

本项目与Opal作者无关，未获得赞助或认可。它由Martin Larralde在欧洲分子生物学实验室的Zeller团队的博士项目中开发。

📚 参考文献

• [1] Korpar Matija, Martin Šošić, Dino Blažeka, Mile Šikić. SW#db: ‘GPU-Accelerated Exact Sequence Similarity Database Search’. PLoS One. 2015 Dec 31;10(12):e0145857. doi:10.1371/journal.pone.0145857. PMID:26719890. PMC4699916.
• [2] Rognes Torbjørn. Faster Smith-Waterman database searches with inter-sequence SIMD parallelisation. BMC Bioinformatics. 2011 Jun 1;12:221. doi:10.1186/1471-2105-12-221. PMID:21631914.PMC3120707.