可扩展块压缩格式
项目描述
**警告:alpha代码正在开发中**
# XBCF:可扩展块压缩格式
XBCF是一种容器格式,旨在为Amazon S3或类似具有高查找延迟的分布式存储系统上的索引块压缩而设计。它支持以下功能
* 可配置的压缩编解码器
* 可配置的块加密编解码器
* 支持查找,粒度等于压缩块大小(默认为1MB)
* XBCF容器的递归封装
* 多个工作节点可以独立上传相同的多部分上传的各个部分,每个部分格式化为XBCF
* 在关闭时,从各个部分拼接出更高级的XBCF
## 依赖项
这个概念验证实现可以在Python中工作。
```
pip install snappy lz4 numpy boto
```
## 格式规范
* 魔术头(8字节)== "XBCF"(0填充)
* 级别(8字节)(无符号整数;如果级别为0,则块是原始数据;否则,块本身是XBCF格式化)
* 压缩方法(8字节)== "LZ4"(0填充)
* 保留(8字节)(填充到32字节)
* 密码名称(16字节)== "AES-CBC"或"null"(0填充)
* IV(16字节)
(如果密码不等于"null",则所有后续数据均被加密。)
* 块大小(未压缩)(无符号整数;8字节);如果大小为0,则块大小是可变的,并且存在块大小表
* 块数量(无符号整数;8字节)
保留(16字节)(填充至32字节)
块起始偏移量表(8字节 * 块数量)
如果块大小为0
块大小表(未压缩大小)(8字节 * 块数量)
块
# XBCF:可扩展块压缩格式
XBCF是一种容器格式,旨在为Amazon S3或类似具有高查找延迟的分布式存储系统上的索引块压缩而设计。它支持以下功能
* 可配置的压缩编解码器
* 可配置的块加密编解码器
* 支持查找,粒度等于压缩块大小(默认为1MB)
* XBCF容器的递归封装
* 多个工作节点可以独立上传相同的多部分上传的各个部分,每个部分格式化为XBCF
* 在关闭时,从各个部分拼接出更高级的XBCF
## 依赖项
这个概念验证实现可以在Python中工作。
```
pip install snappy lz4 numpy boto
```
## 格式规范
* 魔术头(8字节)== "XBCF"(0填充)
* 级别(8字节)(无符号整数;如果级别为0,则块是原始数据;否则,块本身是XBCF格式化)
* 压缩方法(8字节)== "LZ4"(0填充)
* 保留(8字节)(填充到32字节)
* 密码名称(16字节)== "AES-CBC"或"null"(0填充)
* IV(16字节)
(如果密码不等于"null",则所有后续数据均被加密。)
* 块大小(未压缩)(无符号整数;8字节);如果大小为0,则块大小是可变的,并且存在块大小表
* 块数量(无符号整数;8字节)
保留(16字节)(填充至32字节)
块起始偏移量表(8字节 * 块数量)
如果块大小为0
块大小表(未压缩大小)(8字节 * 块数量)
块
项目详情
关闭
xbcf-0.0.1.tar.gz的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | bcf5f197d9d55b18ab99bfbcbb9b8599e1e5485b9f1c0a77ab533de6e6f90f9b |
|
MD5 | aa01c55ea9c785761e4411923d367e38 |
|
BLAKE2b-256 | 38aa7c485ca205dfe0b2bbbb4f88ca3f204c2568b28c0325465b7977ce3028bb |