跳转到主要内容

OpenSpending 模型/数据验证

项目描述

此命令行工具可以帮助在将数据加载到系统中之前检查OpenSpending数据集模型的有效性。为此,可以检查模型文件和数据文件,以查看它们是否能够通过OpenSpending导入的输入验证。

示例

要验证JSON模型文件,请使用“model”子命令

osvalidate model mymodel.json

或者,要检查CSV表格是否满足现有模型的要求,请使用“data”子命令

osvalidate data --model mymodel.json BigData.csv

这两个命令都会在发现不一致时发出错误消息,但其他情况下会尝试继续验证。请注意,但运行数据验证器需要有效的模型文件。

升级格式

模型模式会不时更改,因此提供了迁移选项,以便升级现有文件

osvalidate migrate old.json >new.json

这将尝试执行挂起的迁移,并设置适当的模型版本。

模式/格式

JSON模型格式在文档中描述得更加详细。

您可以使用以下方式从JSON模型文件生成裸映射

osvalidate mapping mymodel.json

如果您没有JSON模型文件,您可以从CSV文件生成一个,如下所示

osvalidate mapgen data.csv

您需要编辑此结果以添加信息(如字段的文本说明),这些信息不能从CSV文件的内容中程序化推断出来。

安装

安装方式与传统Python工具相同

virtualenv pyenv

. pyenv/bin/activate

python setup.py install

开发者笔记

每个新的osvalidate版本都需要分几个步骤发布

  • setup.py中的版本更新为新版本,格式为YYYY-MM-DD.SS,最后两位数字表示该日的序列号。

  • 提交并将新版本推送到GitHub仓库。

  • 上传源分发到pypi(python setup.py sdist upload)。

  • 更新主openspending应用中所需的osvalidate版本。

如何编写迁移 - 模型格式的迁移是简单的函数,通常命名为mYYYY-MM-DD_purpose,并存储在migrations模块中。它们必须接受并返回模型文件,并在openspending.validation.model.migration:MIGRATIONS中注册,具有递增的版本戳(即当前日期)。最新执行迁移的版本戳将自动保存到模型中,并用作下次运行的最低版本。

一般来说,迁移应尽可能少地对其接收的输入做出假设,并执行幂等操作。迁移不能更改模型中的dataset部分。

联系

项目详情


下载文件

下载适用于您平台文件的文件。如果您不确定选择哪个,请了解更多关于安装包的信息。

源码分发

osvalidate-2014-12-21.01.tar.gz (23.1 kB 查看哈希值)

上传时间 源码

支持