管理DBnomics抓取器
项目描述
DBnomics抓取器操作
管理DBnomics抓取器：列出、配置和运行管道。
安装
pip install dbnomics-fetcher-ops[cli]
用法
配置抓取器
配置命令需要写入权限。创建一个具有api作用域的GitLab 个人访问令牌，并使用--gitlab-private-token选项或~/.config/dbnomics/dbnomics-fetchers.env中的GITLAB_PRIVATE_TOKEN环境变量传递。
dbnomics-fetchers -v configure scsmich --dry-run
# If everything seems OK, remove the --dry-run flag:
dbnomics-fetchers -v configure scsmich
列出抓取器
dbnomics-fetchers -v list
运行抓取器管道
# Replace PROVIDER_SLUG by the real value:
dbnomics-fetchers -v run --provider-slug PROVIDER_SLUG
# To run a pipeline for each fetcher:
dbnomics-fetchers -v list --slug | xargs -I {} dbnomics-fetchers -v run --provider-slug {}
开发
安装Poetry。
# git clone repo or fork
cd dbnomics-fetcher-ops
poetry install
cp .env.example .env
使用以下命令运行
poetry shell
dbnomics-fetchers COMMAND
下载文件
下载适合您平台的文件。如果您不确定选择哪个，请了解更多关于安装包的信息。
源分布
dbnomics_fetcher_ops-0.6.1.tar.gz (32.3 kB 查看哈希值)
构建分布
关闭
dbnomics_fetcher_ops-0.6.1.tar.gz 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 90a97080eec15295fe64a2eb3b003971c4624e456b77ccf1b534e1e6bffa6114 |
|
| MD5 | 7f254fe6a68da94eeafe131b21674f40 |
|
| BLAKE2b-256 | e383239a592671a1047038af38198221f7cf533ead38f4fe85ce109e886779af |
关闭
dbnomics_fetcher_ops-0.6.1-py3-none-any.whl 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 76a8153f7132bd10a035538b9df84fe6d3c1db6e962917545ee317893e64e2d3 |
|
| MD5 | 8cf77392c03dd35352286110f25d67dd |
|
| BLAKE2b-256 | d32b43098a0a1f4252ba6a489f5e480c3ed0b85adb9e31731867f6855c8f0dc2 |