rfsspec

Rust python FSs

使用Rust实现fsspec的s3、gcs、azure blob和HTTP后端。

尊重fsspec的并发请求，但

• 不需要python asyncio,
• 释放GIL,
• 可以从多个线程安全调用
• 可能不是可分支的

限制

目前仅支持cat_ranges、cat和cat_file方法，足以打开（合并的）zarr数据集进行读取。

实现

http后端支持

• headers
• method
• ranges

s3实现支持通过环境变量和.aws文件进行配置，以及选项

• profile
• endpoint_url
• anon
• region
• ranges
• requester-pays

gcs后端支持

• anon
• ranges
• requester-pays
• 通过环境变量和gcloud CLI假定凭据

azure blob后端支持

• anon
• ranges
• account/key认证（始终需要account）

安装

> pip install -i https://pypi.anaconda.org/mdurant/simple rfsspec

基准测试

examples/script.py的最新结果

Rust http: 0.1335
Rust s3: 0.1163
Rust anon s3: 0.0921
fsspec http: 0.1611
fsspec s3: 0.4758
fsspec anon s3: 0.4208

（多线程基准测试可能更有意义）