跳转到主要内容

Datalad元数据模型

项目描述

Build status codecov PyPI version GitHub release (latest by date including pre-releases)

Datalad元数据模型

该软件实现了datalad和datalad-metalad(从版本0.3.0开始)用于存储元数据的元数据模型。

模型元素(模型层)

元数据模型由顶级类的API定义。这些是

  • MetadataRootRecord -- 存储单个datalad数据集的顶级元数据信息

  • UUIDSet -- 存储由其UUID和版本标识的一组数据集的元数据根记录

  • TreeVersionList -- 存储数据集版本及其子数据集的元数据根记录和子数据集树

  • Metadata -- 代表单个项目(即数据集或文件)的元数据。元数据与提取器名称和提取参数相关联。

  • DatasetTree -- 数据集的子数据集层次结构的表示

  • FileTree -- 数据集文件树的表示

  • ...

由于某些datalad数据集的尺寸很大,例如有数万个子数据集和数亿个文件,该实现允许在潜在的非常大的元数据模型的单个部分上执行基于焦点的操作。实现使用代理模式,这意味着它仅加载、修改和保存执行用户感兴趣的元数据信息所必需的最小模型元素。

存储层

模型元素必须持久化在存储后端上。模型如何映射到存储后端由存储层定义,这在很大程度上独立于模型层。目的是支持多个存储后端。

当前仅支持一种存储后端

  • git-mapping —— 一种存储后端,它将元数据模型存储在git仓库中。模型对象存储在现有分支之外。它们通过 datalad 特定的git引用在 refs/datalad/* 下引用。

致谢

此DataLad扩展是在德国联邦教育和研究部(BMBF 01GQ1905)和美国国家科学基金会(NSF 1912266)的支持下开发的。

项目详情


下载文件

下载适合您平台文件。如果您不确定要选择哪个,请了解更多关于 安装包 的信息。

源分发

datalad-metadata-model-0.3.11.tar.gz (69.0 kB 查看哈希)

上传时间

构建分发

datalad_metadata_model-0.3.11-py3-none-any.whl (80.0 kB 查看哈希)

上传时间 Python 3

由以下机构支持

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF 赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误日志 StatusPage StatusPage 状态页面