使用xarray API从存档数据创建虚拟Zarr存储
项目描述
VirtualiZarr
VirtualiZarr通过使用熟悉的xarray语法,创建虚拟Zarr存储,以便于对存档数据进行云友好访问。
VirtualiZarr(发音类似于"virtualize"但更具海盗风格)起源于kerchunk存储库的讨论,并试图以zarr原生方式提供kerchunk的革命性功能,并使用熟悉的数组-like API。
请参阅文档
开发状态和路线图
VirtualiZarr版本1(主要)实现了与kerchunk组合数据集逻辑的功能一致性,提供了一种更简单的方式来操作内存中的kerchunk引用并生成磁盘上的kerchunk引用文件。
未来的VirtualiZarr开发将侧重于将有用概念推广到Zarr规范、Zarr-Python库、Xarray,以及可能的一些新软件包。
我们有很多想法,包括
- Zarr v3支持
- Zarr原生磁盘块清单格式
- "虚拟连接"分离的Zarr数组
- ManifestArrays作为Zarr-Python中的内存中的中间层
- 将CF相关编解码器与xarray分离
- 无需kerchunk生成引用
如果您看到其他机会,我们很乐意听取您的想法!
致谢
本软件包最初由Tom Nicholas在[C]Worthy工作期间开发,他应得的信用在于允许他将优先考虑将数据集虚拟化问题的一般化开源解决方案。VirtualiZarr现在是一个社区拥有的多利益相关者项目。
许可证
Apache 2.0
项目详情
下载文件
下载适合您平台的文件。如果您不确定选择哪个,请了解更多关于安装包的信息。
源分布
virtualizarr-1.0.0.tar.gz (61.6 kB 查看哈希值)
构建分布
virtualizarr-1.0.0-py3-none-any.whl (49.2 kB 查看哈希值)
关闭
virtualizarr-1.0.0.tar.gz的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 6d78d6b94e0341fe728783debfbbeb64cbca986b134ee7014885640379e6e47b |
|
MD5 | 76a682e19a3769e6e00d1d259b4ca008 |
|
BLAKE2b-256 | 504b8f38327146daa900627edfe2b533b8f3e1161902239172db6499b3852c65 |
关闭
virtualizarr-1.0.0-py3-none-any.whl的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | eef675dfc9c7599d9b8164eabff34f274562c62a0624c758148822af430ada50 |
|
MD5 | 6e24995bfee80a9568f206c37f92b3af |
|
BLAKE2b-256 | 503751d2bfbfe4190c821fcc1a67330f1e2f8a7c74f4e32c86e29f380846c650 |