跳转到主要内容

ckanext-harvest的几个自定义采集器集合

项目描述

harvest_basket扩展包含一些针对不同数据门户的自定义采集器。可用的采集器列表,必须在您的配置中通过ckan.plugins启用

  • dkan_harvester
  • junar_harvester
  • socrata_harvester
  • arcgis_harvester

此扩展还添加了一些功能以扩展基本采集器

  1. 源检查预览。在创建源的阶段,采集器将尝试访问远程门户并采集一个数据集以检查其是否可访问。(待办事项:源检查界面将很快被文档化)。
  2. 匿名用户访问采集器页面的限制

安装

要安装ckanext-harvest-basket

  1. 激活您的CKAN虚拟环境,例如

    . /usr/lib/ckan/default/bin/activate

  2. 克隆源并将其安装在虚拟环境中

    git clone https://github.com/mutantsan/ckanext-harvest-basket.git cd ckanext-harvest-basket pip install -e . pip install -r requirements.txt

  3. harvest_basket 添加到您的 CKAN 配置文件中的 ckan.plugins 设置中(默认配置文件位于 /etc/ckan/default/ckan.ini)。

  4. 重启 CKAN。例如,如果您在 Ubuntu 上使用 Apache 部署了 CKAN

    sudo service apache2 reload

配置设置

可用的配置选项

# You can disallow accessing harvester pages for anonymous users.
# (optional, default: 1).
ckanext.harvest_basket.allow_anonymous = 0

开发者安装

要为开发安装 ckanext-harvest-basket,激活您的 CKAN 虚拟环境并执行

git clone https://github.com/mutantsan/ckanext-harvest-basket.git
cd ckanext-harvest-basket
python setup.py develop
pip install -r requirements.txt

测试

要运行测试,请执行

pytest --ckan-ini=test.ini

许可协议

AGPL

项目详情


下载文件

下载适用于您的平台的文件。如果您不确定选择哪个,请了解有关 安装软件包 的更多信息。

源分布

ckanext_harvest_basket-1.3.7.tar.gz (33.9 kB 查看哈希)

上传时间

构建分布

ckanext_harvest_basket-1.3.7-py3-none-any.whl (41.4 kB 查看哈希)

上传时间 Python 3

支持者

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF 赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误日志 StatusPage StatusPage 状态页面