跳转到主要内容

可扩展块压缩格式

项目描述

**警告:alpha代码正在开发中**

# XBCF:可扩展块压缩格式

XBCF是一种容器格式,旨在为Amazon S3或类似具有高查找延迟的分布式存储系统上的索引块压缩而设计。它支持以下功能
* 可配置的压缩编解码器
* 可配置的块加密编解码器
* 支持查找,粒度等于压缩块大小(默认为1MB)
* XBCF容器的递归封装
* 多个工作节点可以独立上传相同的多部分上传的各个部分,每个部分格式化为XBCF
* 在关闭时,从各个部分拼接出更高级的XBCF

## 依赖项
这个概念验证实现可以在Python中工作。
```
pip install snappy lz4 numpy boto
```

## 格式规范
* 魔术头(8字节)== "XBCF"(0填充)
* 级别(8字节)(无符号整数;如果级别为0,则块是原始数据;否则,块本身是XBCF格式化)
* 压缩方法(8字节)== "LZ4"(0填充)
* 保留(8字节)(填充到32字节)
* 密码名称(16字节)== "AES-CBC"或"null"(0填充)
* IV(16字节)
(如果密码不等于"null",则所有后续数据均被加密。)
* 块大小(未压缩)(无符号整数;8字节);如果大小为0,则块大小是可变的,并且存在块大小表
* 块数量(无符号整数;8字节)
保留(16字节)(填充至32字节)
块起始偏移量表(8字节 * 块数量)
如果块大小为0
块大小表(未压缩大小)(8字节 * 块数量)

项目详情


下载文件

下载适用于您平台的文件。如果您不确定选择哪个,请了解更多关于安装包的信息。

源代码分发

xbcf-0.0.1.tar.gz (5.9 kB 查看哈希值

上传时间 源代码

由以下支持