OpenSpending 模型/数据验证
项目描述
此命令行工具可以帮助在将数据加载到系统中之前检查OpenSpending数据集模型的有效性。为此,可以检查模型文件和数据文件,以查看它们是否能够通过OpenSpending导入的输入验证。
示例
要验证JSON模型文件,请使用“model”子命令
osvalidate model mymodel.json
或者,要检查CSV表格是否满足现有模型的要求,请使用“data”子命令
osvalidate data --model mymodel.json BigData.csv
这两个命令都会在发现不一致时发出错误消息,但其他情况下会尝试继续验证。请注意,但运行数据验证器需要有效的模型文件。
升级格式
模型模式会不时更改,因此提供了迁移选项,以便升级现有文件
osvalidate migrate old.json >new.json
这将尝试执行挂起的迁移,并设置适当的模型版本。
模式/格式
JSON模型格式在文档中描述得更加详细。
您可以使用以下方式从JSON模型文件生成裸映射
osvalidate mapping mymodel.json
如果您没有JSON模型文件,您可以从CSV文件生成一个,如下所示
osvalidate mapgen data.csv
您需要编辑此结果以添加信息(如字段的文本说明),这些信息不能从CSV文件的内容中程序化推断出来。
安装
安装方式与传统Python工具相同
virtualenv pyenv . pyenv/bin/activate python setup.py install
开发者笔记
每个新的osvalidate版本都需要分几个步骤发布
将setup.py中的版本更新为新版本,格式为YYYY-MM-DD.SS,最后两位数字表示该日的序列号。
提交并将新版本推送到GitHub仓库。
上传源分发到pypi(python setup.py sdist upload)。
更新主openspending应用中所需的osvalidate版本。
如何编写迁移 - 模型格式的迁移是简单的函数,通常命名为mYYYY-MM-DD_purpose,并存储在migrations模块中。它们必须接受并返回模型文件,并在openspending.validation.model.migration:MIGRATIONS中注册,具有递增的版本戳(即当前日期)。最新执行迁移的版本戳将自动保存到模型中,并用作下次运行的最低版本。
一般来说,迁移应尽可能少地对其接收的输入做出假设,并执行幂等操作。迁移不能更改模型中的dataset部分。
联系
项目详情
osvalidate-2014-12-21.01.tar.gz 的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | e96fee37439533e75afb3583e6ccfa88572bad5a4806f3f9081596d859d87b67 |
|
MD5 | 97cef10462d26bc7f946dc3f9e6ac4fb |
|
BLAKE2b-256 | 4ffe2bba3fdb2e5eeed49dfb9be78f4ea973a699c41e05ff208f6d024717df57 |