跳转到主要内容

数据生物圈数据存储命令行界面

项目描述

已弃用

此存储库已弃用,如需访问数据帮助,请参阅数据浏览器快速入门指南。

数据生物圈数据存储CLI客户端

此存储库是一个可pip安装的命令行界面(CLI)和Python库(API),用于与数据生物圈数据存储系统(DSS)交互,也称为数据存储。

目前,dbio软件包支持与数据存储交互,用于上传、下载和检索数据存储中的数据信息。

数据生物圈CLI与Python版本3.5+兼容。

安装

pip安装dbio-cli.

用法

readthedocs.io上的文档

要查看您可以使用的命令列表,请键入dbio --help

配置管理

数据生物圈CLI支持从可配置的源数组中摄取配置。每个源都是一个JSON文件。紧随第一个源之后的配置源使用递归字典合并来更新配置。源按照以下顺序枚举(即按照优先级递增的顺序):

  • 全局配置源,/etc/dbio/config.json

  • 用户配置源,~/.config/dbio/config.json

  • 列在冒号分隔变量DBIO_CONFIG_FILE中的任何源

  • 命令行选项

数组合并运算符:在加载一系列配置源时,数据生物圈CLI使用递归字典合并来合并源。此外,当原始配置值是一个列表时,该包支持数组操作符,允许您扩展和修改底层配置中定义的数组。有关这些运算符的列表,请参阅https://github.com/kislyuk/tweak#array-merge-operators

服务间授权

在Google服务凭据与数据生物圈CLI进行身份验证之前,必须将其列入白名单。

将环境变量GOOGLE_APPLICATION_CREDENTIALS设置为Google服务凭据文件的路径以进行身份验证。

还可以使用:dbio dss login

有关服务账户的更多信息,请参阅Google服务凭据。使用Google Cloud IAM网页控制台来管理服务账户。

开发

要在CLI上进行开发,首先运行pip install -r requirements-dev.txt。您可以通过在存储库根目录中运行make install来安装您的本地修改后的dbio包副本。

要使用带有本地或测试DSS的命令行界面,首先运行dbio(如果您想从存储库根目录中使用包,请运行scripts/dbio)。这将创建文件~/.config/dbio/config.json,您可以修改它以更新DSSClient.swagger_url的值,使其指向您的DSS部署提供的Swagger定义的URL。最后,CLI强制HTTPS连接到DSS API。如果您正在连接到本地DSS,请在此处更改dbio/util/__init__.py中的SwaggerClient对象

scheme = "http"

要使用Python界面与本地或测试DSS一起使用,通过swagger_url参数将Swagger定义的URL传递给DSSClient构造函数

client = DSSClient(swagger_url="https://dss.example.com/v1/swagger.json")

您还可以使用环境变量DBIO_CONFIG_FILE在默认的config.json上叠加一个最小配置文件,例如

export SWAGGER_URL="https://dss.dev.ucsc-cgp-redwood.org/v1/swagger.json"
jq -n .DSSClient.swagger_url=env.SWAGGER_URL > ~/.config/dbio/config.staging.json
export DBIO_CONFIG_FILE=~/.config/dbio/config.staging.json

测试

在运行测试之前,首先运行dbio dss login。这将在浏览器中打开一个页面,您可以在其中登录以使用Google进行身份验证。请使用白名单域名(在此处DSS_SUBSCRIPTION_AUTHORIZED_DOMAINS_ARRAY中)中的一个电子邮件地址。

然后运行make test

主要CI测试是通过Gitlab toilspark实例上的Travis CI进行的。

错误

请在GitHub上的DataBiosphere/data-store-cli存储库中报告错误、问题、功能请求等。

安全策略

请将您发现的任何安全相关问题的报告发送至team-redwood-group@ucsc.edu。请使用描述性的主题行发送报告电子邮件。此外,请随报告包含以下信息

  • 您的姓名和所属机构(如有)。

  • 对漏洞技术细节的描述,以帮助我们重现您的发现。

  • 解释谁可以利用此漏洞,以及他们这样做时所获得的好处(攻击场景)。

  • 此漏洞是否公开或为第三方所知。如果是,请提供详细信息。

许可协议

MIT 许可协议下授权。

https://api.travis-ci.com/DataBiosphere/data-store-cli.svg?branch=master https://codecov.io/github/DataBiosphere/data-store-cli/coverage.svg?branch=master https://img.shields.io/pypi/v/dbio-cli.svg https://img.shields.io/pypi/l/dbio-cli.svg https://readthedocs.org/projects/dbio-cli/badge/?version=latest

项目详情


下载文件

下载适合您平台的文件。如果您不确定选择哪个,请了解有关安装包的更多信息。

源分发

dbio-cli-1.5.5.tar.gz (62.1 kB 查看哈希值)

上传时间

由以下组织支持

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误日志 StatusPage StatusPage 状态页面