从较小的数据切片中稳健地创建和更新Zarr数据立方体的工具
项目描述
zappend
zappend 是一个用Python编写的工具，用于从较小的数据集切片中稳健地创建和更新Zarr数据立方体。它基于出色的Python包 xarray 和 zarr 构建。
动机
zappend 的目标是使地理数据科学家和开发者能够稳健地创建大型数据立方体。该工具执行基于事务的数据集追加操作，以现有的 Zarr格式 中的数据立方体。如果在追加步骤中发生错误（通常是由于I/O问题或内存不足条件），zappend 将自动回滚操作，确保现有的数据立方体保持其结构完整性。zappend背后的设计驱动因素首先是易用性，其次是关于文件系统、数据源类型、数据立方体概要和编码的高度可配置性。
该工具包括命令行界面、Python API以进行程序控制，以及易于理解的文档，以指导用户有效地使用。您可以使用 pip install zappend 或 conda install -conda-forge zappend 简单地安装 zappend 作为普通Python包。
功能
zappend 工具提供以下功能
- 锁定：在修改目标数据集时，创建文件锁，有效地防止并发数据集修改。
- 基于事务的数据集追加：在追加步骤失败时，事务将被回滚，以确保目标数据集保持有效并保持其完整性。
- 文件系统透明性：目标数据集可以在任何由 fsspec 包支持的可写文件系统中生成和更新。同样适用于要追加的切片数据集。
- 数据集轮询：该工具可以配置为等待切片数据集可用。
- 动态属性：使用
{{ 表达式 }}语法来使用动态计算的属性值更新目标数据集。 - 命令行界面和Python API：可以使用
zappend命令在shell中使用该工具，或从Python中调用。当使用Python中的zappend()函数时，切片数据集可以作为本地文件路径、URI、类型为 xarray.Dataset 的数据集或自定义 切片源 传递。
有关zappend的更多信息，请参阅其 文档。
下载文件
下载适合您平台的应用程序文件。如果您不确定选择哪一个，请了解有关 安装包 的更多信息。
源分布
zappend-0.8.0.tar.gz (52.6 kB 查看哈希值)
构建分布
zappend-0.8.0-py3-none-any.whl (52.7 kB 查看哈希值)
关闭
zappend-0.8.0.tar.gz 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | ec4f80fca8b36e1a442f007f1fd8d7fe792e1d741c267e595a5de95649a2fdd4 |
|
| MD5 | 52199747fa47d5c11dfa50f9b5e5c2ba |
|
| BLAKE2b-256 | f2a968eb6234381213005078c47109fb65dd02a37310228d7689c1ccc9f27429 |
关闭
zappend-0.8.0-py3-none-any.whl 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 029181570968bae00c160842aab483defa7941813e0e2e3d9a08fdccc903d77f |
|
| MD5 | 26f05c9201c1ef39968b169e6d0bc67d |
|
| BLAKE2b-256 | de0d236d3c6ecef57eee7edbafb21c9ae3e2df04dd99bd006a9be223566ab5ea |
