用于解析地球系统模型（ESM）目录并将netCDF文件和/或Zarr存储加载到Xarray数据集中的intake插件。
项目描述
Intake-esm
徽章
| CI |    |
|---|---|
| 文档 |  |
| 包 |   |
| 许可证 |  |
| 引用 |  |
动机
对地球气候和天气的计算机模拟产生了大量数据。这些数据通常存储在HPC系统或云中，跨越多种格式的多个数据资产（例如netCDF、zarr等）。寻找、调查、将这些数据资产加载到计算准备好的数据容器中需要时间和精力。数据用户在加载和分析了特定数据集之前，需要了解可用的数据集以及描述每个数据集的属性。
由于用户可能感兴趣的文件数量庞大，将这些资产加载到数据数组容器（如xarray）中可能是一项艰巨的任务。Intake-esm旨在通过提供搜索、发现、数据访问/加载的必要功能来解决这些问题。
概述
intake-esm 是一个数据目录工具，它基于 intake、pandas 和 xarray 构建，非常出色！
-
打开ESM目录定义文件：地球系统模型（ESM）目录文件是一个符合ESM集合规范的JSON文件。当提供一个esm目录文件的链接/路径时，
intake-esm会建立到一个数据库（CSV文件）的链接，该数据库包含数据资产的位置和相关元数据（例如，实验、模型来源）。目录JSON文件可以存储在本地文件系统上，也可以托管在远程服务器上。In [1]: import intake In [2]: import intake_esm In [3]: cat_url = intake_esm.tutorial.get_url("google_cmip6") In [4]: cat = intake.open_esm_datastore(cat_url) In [5]: cat Out[5]: <GOOGLE-CMIP6 catalog with 4 dataset(s) from 261 asset(s>
-
搜索和发现：
intake-esm提供了对目录执行查询的功能In [5]: cat_subset = cat.search( ...: experiment_id=["historical", "ssp585"], ...: table_id="Oyr", ...: variable_id="o2", ...: grid_label="gn", ...: ) In [6]: cat_subset Out[6]: <GOOGLE-CMIP6 catalog with 4 dataset(s) from 261 asset(s)>
-
访问：当用户对查询结果满意时，他们可以将数据资产（netCDF和/或Zarr存储）加载到xarray数据集中
In [7]: dset_dict = cat_subset.to_dataset_dict() --> The keys in the returned dictionary of datasets are constructed as follows: 'activity_id.institution_id.source_id.experiment_id.table_id.grid_label' |███████████████████████████████████████████████████████████████| 100.00% [2/2 00:18<00:00]
有关更多信息，请参阅文档。
安装
可以使用pip从PyPI安装Intake-esm
python -m pip install intake-esm
它还可在conda-forge中通过conda安装
conda install -c conda-forge intake-esm
下载文件
下载适合您平台文件。如果您不确定选择哪个，请了解有关安装包的更多信息。
源分布
intake-esm-2024.2.6.tar.gz (112.0 kB 查看哈希值)
构建分布
intake_esm-2024.2.6-py3-none-any.whl (29.7 kB 查看哈希值)
关闭
intake-esm-2024.2.6.tar.gz的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | b2c472418cfeafb11b0a6b1ecfb6e0f36a7ece3360d960b9e8008023493a3b7d |
|
| MD5 | 91ab475da1811435e8e62eb8e5ab8526 |
|
| BLAKE2b-256 | 9baa595ab58d48709efc1a1c8e850a4daedd167c4aedf4cb3ae6249c1290e900 |
关闭
intake_esm-2024.2.6-py3-none-any.whl 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | e87b40a3bcb6e68e5f5cb6b892deb468b727569e66dafd0194b244521cfaf1de |
|
| MD5 | e22eb2002bda56d64cd8d81527075b3c |
|
| BLAKE2b-256 | 8a8db6d3553ea70d8c876f893958a8e58883adbd14f4e9a976957a2adb7cd152 |
