libraptorq 18.3.0

命令行脚本

要编码文件，增加50%的额外符号（结果是不可分割的数据块需要完整存储/传输或完全丢失）和从这些中（所需的K个符号+X个修复符号）的30%被丢弃（仅用于测试目的）后保存到“setup.py.enc”

% ./rq --debug encode -s16 -m200 --repair-symbols-rate 0.5 --drop-rate 0.3 setup.py setup.py.enc
Initialized RQEncoder (0.063s)...
Precomputed blocks (0.002s)...
Finished encoding symbols (9 blocks, 0.008s)...
Closed RQEncoder (0.002s)...
Encoded 1,721 B into 167 symbols (needed: >108, repair rate: 50%),
  45 dropped (30%), 122 left in output (1,952 B without ids)

从这些中解码原始文件

% ./rq --debug decode setup.py.enc setup.py.dec
Initialized RQDecoder (0.064s)...
Decoded enough symbols to recover data (0.010s)...
Closed RQDecoder (0.002s)...
Decoded 1,721 B of data from 108 processed symbols (1,728 B without ids, symbols total: 122)

% sha256sum -b setup.py{,.dec}
36c50348459b51821a2715b0f5c4ef08647d66f77a29913121af4f0f4dfef454 *setup.py
36c50348459b51821a2715b0f5c4ef08647d66f77a29913121af4f0f4dfef454 *setup.py.dec

无论丢弃哪些块（由random.choice选取），只要每个“块”中剩余的块的数量略高（大约高0.02%）于K，文件都可以从输出中恢复。

脚本输出数据（例如“setup.py.enc”）是JSON编码的base64编码的符号列表，以及一些用于lib初始化（oti_scheme，oti_common）的参数。输入数据长度和源数据的sha256哈希，以确保解码数据与原始数据相同（否则退出错误）。

使用–help选项查看所有其他脚本参数。

Python模块

用作python2模块

from libraptorq import RQEncoder

data = 'some input string' * 500

# Data size must be divisible by RQEncoder.data_size_div
data_len, n = len(data), RQEncoder.data_size_div
if data_len % n: data += '\0' * (n - data_len % n)

with RQEncoder(data, min_subsymbol_size=4, symbol_size=16, max_memory=200) as enc:

  symbols = dict()
  oti_scheme, oti_common = enc.oti_scheme, enc.oti_common

  for block in enc:
    symbols.update(block.encode_iter(repair_rate=0))

data_encoded = data_len, oti_scheme, oti_common, symbols

oti_scheme和oti_common是两个整数，指定编码器选项，需要初始化解码器，可以在两端硬编码（如果为常量）。

block.encode_iter()可以无选项使用，以产生最大可能的符号量，最多达到block.symbols + block.max_repair。上面的例子仅产生K个符号 - 最小所需量。

对于解码（反向操作）

from libraptorq import RQDecoder

data_len, oti_scheme, oti_common, symbols = data_encoded

with RQDecoder(oti_common, oti_scheme) as dec:
  for sym_id, sym in symbols.viewitems(): dec.add_symbol(sym, sym_id)

  data = dec.decode()[:data_len]

请注意，在实际应用中，例如在传输UDP数据包中的每个符号时，您可能需要发送类似于 sym_id || sym_data || checksum 的内容，并从 block.encode_iter() 中持续发送这些内容，直到对方确认它可以解码一个数据块（即接收到了足够的符号，见 RQDecoder.decode_block()），然后以类似的方式开始流式传输下一个数据块。

有关扩展示例，请参阅 __main__.py 文件（命令行脚本），以及 libRaptorQ 文档以获取其C API信息，该模块对此进行了封装。