一个独立的网络服务,它解析CKAN网站数据文件的内容并将其推送到其DataStore
项目描述
DataPusher
DataPusher是一个独立的网络服务,当CKAN网站资源中添加任何CSV或XLS(Excel)数据文件时,它会自动下载这些文件,解析它们以提取实际数据,然后使用DataStore API将数据推送到CKAN网站的数据存储中。
这使得资源文件中的数据可通过CKAN的DataStore API访问。特别是,CKAN的许多数据预览和可视化插件仅在文件内容位于数据存储中时才能正常工作(或工作得更好)。
要使其工作,您必须
- 将DataPusher实例部署到服务器(或使用现有的DataPusher实例)
- 在您的 CKAN 网站上启用和配置
datastore
插件。 - 在您的 CKAN 网站上启用和配置
datapusher
插件。
有关详细信息,请参阅 DataPusher 文档。
注意,如果您使用 包安装 选项安装了 CKAN,则应自动安装和配置一个 DataPusher 实例以与您的 CKAN 网站协同工作。
DataPusher 是 DataStorer 的替代品。它使用 CKAN Service Provider 和 Messytables 构建。
DataPusher 的原始作者是 Dominik Moritz dominik.moritz@okfn.org。有关当前贡献者列表,请参阅 github.com/ckan/datapusher/contributors
开发
要为开发安装 DataPusher
git clone https://github.com/ckan/datapusher.git
cd datapusher
pip install -r requirements-dev.txt
要运行测试
nosetests
要构建文档
pip install -r doc-requirements.txt
python setup.py build_sphinx
发布新版本
要发布 DataPusher 的新版本
-
在 datapusher/init.py 中增加版本号
-
构建新版本的源代码分发,并将其发布到 PyPI
python setup.py sdist bdist_wheel pip install --upgrade twine twine upload dist/*
在继续下一步之前,您可能想在一个干净的虚拟环境中测试从 PyPI 安装和运行新版本。
-
将 setup.py 的更改提交到 git,标记发布,并将更改和标记推送到 GitHub
git commit setup.py -m "Bump version number" git tag 0.0.1 git push git push origin 0.0.1
(将两个 0.0.1 实例替换为您要发布的版本号。)
项目详情
关闭
datapusher-0.0.17.tar.gz 的散列
算法 | 散列摘要 | |
---|---|---|
SHA256 | 3d269d33c7d5f8e0053f29a9fc266da6e39e0f20ce71c14c0f65d97622fef599 |
|
MD5 | ceea8bc5e3546cac0fad18d6c8e2b4e7 |
|
BLAKE2b-256 | 4669ebc55641ff5431d7a20f2a224e21044bed3666776f08a22fd308fc00c2ac |