fastq-filter 0.3.0

安装

• 使用pip: pip install fastq-filter

• 对于最新开发版本: pip install git+https://github.com/LUMC/fastq-filter

• 使用conda conda install -c conda-forge -c bioconda fastq-filter

用法

单个fastq文件可以通过以下方式进行过滤：

fastq-filter -e 0.001 -o output.fastq input.fastq

多个fastq文件可以通过以下方式进行过滤：

fastq-filter -e 0.001 -o r1_filtered.fastq.gz -o r2_filtered.fastq.gz r1.fastq.gz r2.fastq.gz

Fastq-filter确保输出保持同步。它不仅限于两个输入，因此也可以一起过滤R1.fq、R2.fq和R3.fq。

在下文中，“对”用于指出当评估2个或更多FASTQ记录时。当提供多个FASTQ文件时，过滤器的行为如下

• 平均错误率：使用组合phred分数的平均值。

• 中值质量：使用组合phred分数的中值。

• 最小长度：对中的记录之一必须满足最小长度。

• 最大长度：对中的记录不得超过最大长度。

长度过滤器的理由是R1和R2都序列相同的分子，而标准长度是两者的最长者。

usage: fastq-filter [-h] [-o OUTPUT] [-l MIN_LENGTH] [-L MAX_LENGTH]
                    [-e AVERAGE_ERROR_RATE] [-q MEAN_QUALITY]
                    [-Q MEDIAN_QUALITY] [-c COMPRESSION_LEVEL] [--verbose]
                    [--quiet]
                    input [input ...]

Filter FASTQ files on various metrics.

positional arguments:
  input                 Input FASTQ files. Compression format automatically
                        detected. Use - for stdin.

optional arguments:
  -h, --help            show this help message and exit
  -o OUTPUT, --output OUTPUT
                        Output FASTQ files. Compression format automatically
                        determined by file extension. Flag can be used
                        multiple times. An output must be given for each
                        input. Default: stdout.
  -l MIN_LENGTH, --min-length MIN_LENGTH
                        The minimum length for a read.
  -L MAX_LENGTH, --max-length MAX_LENGTH
                        The maximum length for a read.
  -e AVERAGE_ERROR_RATE, --average-error-rate AVERAGE_ERROR_RATE
                        The minimum average per base error rate.
  -q MEAN_QUALITY, --mean-quality MEAN_QUALITY
                        Average quality. Same as the '--average-error-rate'
                        option but specified with a phred score. I.e '-q 30'
                        is equivalent to '-e 0.001'.
  -Q MEDIAN_QUALITY, --median-quality MEDIAN_QUALITY
                        The minimum median phred score.
  -c COMPRESSION_LEVEL, --compression-level COMPRESSION_LEVEL
                        Compression level for the output files. Relevant when
                        output files have a .gz extension. Default: 2
  --verbose             Report stats on individual filters.
  --quiet               Turn of logging output.

优化

fastq-filter使用了以下优化以实现快速：

• 可以同时应用多个过滤器以最小化IO。

• fastq-filter可以用于管道中以最小化IO

• 使用了Python过滤器函数。这是一个简写的Python代码，否则需要解释。

• 平均质量和中值质量算法是用C实现的，并具有与Python的绑定。

• 平均质量算法使用查找表，因为FASTQ中只有93种可能的phred分数编码。这节省了大量计算概率的计算。

• 中值质量算法实现了一个计数排序，这非常快，但不适用于通用数据。由于FASTQ质量非常适合计数排序，因此中值计算可以非常快速地执行。

• dnaio被用作FASTQ解析器。该解析器使用Cython编写的解析器来解析FASTQ文件。

• xopen用于读取和写入文件。这允许支持gzip压缩文件，使用python-isal打开，它读取gzip文件的速度是python gzip模块实现的2倍，写入gzip文件的速度是5倍。