跳转到主要内容

一个独立的网络服务,它解析CKAN网站数据文件的内容并将其推送到其DataStore

项目描述

Build Status Coverage Status Latest Version Downloads Supported Python versions Development Status License

DataPusher

DataPusher是一个独立的网络服务,当CKAN网站资源中添加任何CSV或XLS(Excel)数据文件时,它会自动下载这些文件,解析它们以提取实际数据,然后使用DataStore API将数据推送到CKAN网站的数据存储中。

这使得资源文件中的数据可通过CKAN的DataStore API访问。特别是,CKAN的许多数据预览和可视化插件仅在文件内容位于数据存储中时才能正常工作(或工作得更好)。

要使其工作,您必须

  1. 将DataPusher实例部署到服务器(或使用现有的DataPusher实例)
  2. 在您的 CKAN 网站上启用和配置 datastore 插件。
  3. 在您的 CKAN 网站上启用和配置 datapusher 插件。

有关详细信息,请参阅 DataPusher 文档

注意,如果您使用 包安装 选项安装了 CKAN,则应自动安装和配置一个 DataPusher 实例以与您的 CKAN 网站协同工作。

DataPusher 是 DataStorer 的替代品。它使用 CKAN Service ProviderMessytables 构建。

DataPusher 的原始作者是 Dominik Moritz dominik.moritz@okfn.org。有关当前贡献者列表,请参阅 github.com/ckan/datapusher/contributors

开发

要为开发安装 DataPusher

git clone https://github.com/ckan/datapusher.git
cd datapusher
pip install -r requirements-dev.txt

要运行测试

nosetests

要构建文档

pip install -r doc-requirements.txt
python setup.py build_sphinx

发布新版本

要发布 DataPusher 的新版本

  1. datapusher/init.py 中增加版本号

  2. 构建新版本的源代码分发,并将其发布到 PyPI

    python setup.py sdist bdist_wheel
    pip install --upgrade twine
    twine upload dist/*
    

    在继续下一步之前,您可能想在一个干净的虚拟环境中测试从 PyPI 安装和运行新版本。

  3. 将 setup.py 的更改提交到 git,标记发布,并将更改和标记推送到 GitHub

    git commit setup.py -m "Bump version number"
    git tag 0.0.1
    git push
    git push origin 0.0.1
    

    (将两个 0.0.1 实例替换为您要发布的版本号。)

项目详情


下载文件

下载适合您平台的文件。如果您不确定选择哪个,请了解更多关于 安装软件包 的信息。

源代码分发

datapusher-0.0.17.tar.gz (11.2 kB 查看散列)

上传时间

支持者

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF 赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误记录 StatusPage StatusPage 状态页面