Bookshelf

bookshelf 是Climate Resource在项目之间重用数据集的方式

bookshelf 代表一个共享的精选数据集集合或《书籍》。每一本《书籍》都是一个经过预处理、版本化的数据集，包括用于生成它的笔记本。当底层数据集或处理更新时，可以创建新的《书籍》（带有更新的版本）。单个数据集可能产生多个《资源》，如果不同的表示形式有用。这些《书籍》可以部署到共享的《书架》上，以便其他用户可以访问。

用户能够在其他项目中使用特定的《书籍》。数据集和相关元数据将被检索并本地缓存。为了可重复性目的，也可以固定《书籍》的特定版本。

此存储库包含用于生成《书籍》的笔记本以及用于管理这些数据集的CLI工具。

这是一个原型，未来可能会发生变化。其他潜在的想法

• 部署的数据通过 api.climateresource.com.au 提供访问，以便可以智能地查询和消费
• 一个简单的网页，允许查询数据

每本书由一个数据包描述的元数据组成。这个数据包包含相关联的资源及其哈希值。每个资源在首次使用时获取，然后缓存以供后续使用

安装

bookshelf可以通过pip安装

pip install bookshelf

针对开发者

为了开发，我们依赖poetry来管理所有依赖项。要开始，请确保poetry已安装（在此处获取说明，我们发现pipx和pip在Mac上安装效果更好）。

对于所有的工作，我们使用我们的Makefile。如果您愿意，可以手动读取说明并运行命令，但我们通常不鼓励这样做，因为它可能会出错。为了创建您的环境，请运行make virtual-environment。

如果出现任何问题，Makefile的消息应该会引导您解决问题。如果没有，请在问题跟踪器中提出问题。

有关我们其他开发者文档的详细信息，请参阅。