tableschema-bigquery-py

根据Table Schema描述符生成和加载BigQuery表。

功能

• 实现tableschema.Storage接口

内容

• 入门
  • 安装
  • 准备BigQuery
• 文档
• API参考
  • 存储
• 贡献
• 变更日志

入门

安装

此包使用语义版本控制。这意味着主要版本可能包括破坏性更改。强烈建议在您的setup/requirements文件中指定package版本范围，例如package>=1.0,<2.0。

pip install tableschema-bigquery

准备BigQuery

要开始使用Google BigQuery服务

• 创建一个新项目 - 链接
• 创建服务密钥 - 链接
• 下载json凭证并设置环境变量GOOGLE_APPLICATION_CREDENTIALS

文档

import io
import os
import json
from datapackage import Package
from apiclient.discovery import build
from oauth2client.client import GoogleCredentials

# Prepare BigQuery credentials
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = '.credentials.json'
credentials = GoogleCredentials.get_application_default()
service = build('bigquery', 'v2', credentials=credentials)
project = json.load(io.open('.credentials.json', encoding='utf-8'))['project_id']

# Save package to BigQuery
package = Package('datapackage.json')
package.save(storage='bigquery', service=service, project=project, dataset='dataset')

# Load package from BigQuery
package = Package(storage='bigquery', service=service, project=project, dataset='dataset')
package.resources

API参考

存储

Storage(self, service, project, dataset, prefix='')

BigQuery存储

包实现Tabular Storage接口（请参阅链接中的完整文档）

仅文档了附加API

参数

• service (对象): BigQuery Service对象
• 项目 (str)：BigQuery 项目名称
• 数据集 (str)：BigQuery 数据集名称
• 前缀 (str)：所有桶的前缀

贡献

该项目遵循 开放知识国际编码标准。

推荐入门方式是创建并激活项目虚拟环境。要将包和开发依赖项安装到活动环境中

$ make install

运行带有 linting 和 coverage 的测试

$ make test

变更日志

这里仅描述了破坏性和最重要的更改。所有发布版本的完整变更日志和文档可以在格式良好的 提交历史 中找到。

v1.0

• 初始驱动器发布