AI4元数据工具

AI4OS Hub数据科学应用的元数据工具。

AI4OS Hub数据科学应用使用元数据来描述数据源、模型和其他资源。元数据用于验证资源并向用户提供信息。

安装

可以使用pip安装元数据工具

$ pip install ai4-metadata

用法

AI4元数据工具可以从命令行调用。工具提供用于验证和迁移元数据文件的命令。

$ ai4-metadata --help

元数据验证

元数据工具提供命令行界面（CLI）工具 ai4-metadata-validate，可用于验证元数据文件。CLI工具接受元数据文件作为输入参数。

$ ai4-metadata validate instances/sample-v2.mods.json
╭─ Success ──────────────────────────────────────────────────────────────────╮
│ 'instances/sample-v2.mods.json' is valid for version 2.0.0                 │
╰────────────────────────────────────────────────────────────────────────────╯

可以通过使用--metadata-version或提供元数据模式文件来指定不同的元数据版本。以下两个执行是等效的

$ ai4-metadata validate --metadata-version 2.0.0 instances/sample-v2.mods.json
╭─ Success ──────────────────────────────────────────────────────────────────╮
│ 'instances/sample-v2.mods.json' is valid for version 2.0.0                 │
╰────────────────────────────────────────────────────────────────────────────╯
$ ai4-metadata validate --schema schemata/ai4-apps-v2.0.0.json instances/sample-v2.mods.json
╭─ Success ──────────────────────────────────────────────────────────────────╮
│ 'instances/sample-v2.mods.json' is valid for version 2.0.0                 │
╰────────────────────────────────────────────────────────────────────────────╯
$ ai4-metadata validate --metadata-version 1.0.0 instances/sample-v2.mods.json
╭─ Error ────────────────────────────────────────────────────────────────────╮
│ Error validating instance 'instances/sample-v2.mods.json': 'date_creation' │
│ is a required property                                                     │
╰────────────────────────────────────────────────────────────────────────────╯

元数据文件可以是JSON或YAML格式。元数据工具将自动检测格式。

$ ai4-metadata validate instances/sample-v2.mods.yaml
╭─ Success ──────────────────────────────────────────────────────────────────╮
│ 'instances/sample-v2.mods.yaml' is valid for version 2.0.0                 │
╰────────────────────────────────────────────────────────────────────────────╯
$ ai4-metadata validate instances/sample-v2.mods.json
╭─ Success ──────────────────────────────────────────────────────────────────╮
│ 'instances/sample-v2.mods.json' is valid for version 2.0.0                 │
╰────────────────────────────────────────────────────────────────────────────╯

元数据迁移

元数据工具提供了一种命令行界面（CLI）工具 ai4-metadata-migrate，可以用于将元数据文件从V1迁移到最新的V2。要保存输出，请使用--output选项。

$ ai4-metadata migrate --output sample-v2.mods.json instances/sample-v1.mods.json
╭─ Success ──────────────────────────────────────────────────────────────────╮
│ V1 metadata 'instances/sample-v1.mods.json' migrated to version            │
│ MetadataVersions.V2 and stored in 'sample-v2.mods.json'                    │
╰────────────────────────────────────────────────────────────────────────────╯

请检查更改，因为元数据迁移尚未完成，需要手动步骤。

致谢

本项目已获得欧洲联盟“地平线研究与创新”计划下的资助，项目编号为101058593