dataflows-elasticsearch

Dataflows的处理器用于与ElasticSearch协同工作

特性

• dump_to_elasticsearch 处理器

内容

• 入门
  • 安装
  • 示例
• 文档
  • dump_to_es
• 贡献
• 变更日志

入门

安装

该包使用语义版本控制。这意味着主版本可能包含破坏性更改。建议在您的setup/requirements文件中指定package版本范围，例如package>=1.0,<2.0。

$ pip install dataflows-elasticsearch

示例

这些处理器必须作为dataflows Flow的一部分使用。例如

flow = Flow(
    load('data/data.csv'),
    dump_to_es(
        engine='localhost:9200',
    ),
)
flow.process()

文档

dump_to_es

将Flow保存到ElasticSearch索引中。

参数

• indexes - 索引名称到资源名称的映射，例如

{
  'index-name-1': {
    'resource-name': 'resource-name-1',
  },
  'index-name-2': {
    'resource-name': 'resource-name-2',
  },
  # ...
}

• mapper_cls - 用于将JSON表模式类型映射到ElasticSearch类型的类
• index_settings - 在创建ElasticSearch索引时使用的选项
• engine - 连接到ElasticSearch实例的连接字符串，或一个 Elasticsearch 对象。也可以是 env://ENV_VAR 的形式，在这种情况下，连接字符串将从环境变量 ENV_VAR 中获取。
• elasticsearch_options - 创建 Elasticsearch 对象时要使用的选项（如果未提供）

贡献

项目遵循 Open Knowledge International 编码标准。

开始推荐的步骤是创建并激活一个项目虚拟环境。要将软件包和开发依赖项安装到您的活动环境中

$ make install

运行带有代码审查和覆盖率的测试

$ make test

对于代码审查，使用 pylama（在 pylama.ini 中配置）。在此阶段，它已经安装到您的环境中，可以像在文档中描述的那样单独使用，具有更细粒度的控制 - https://pylama.readthedocs.io/en/latest/。

例如，按错误类型排序结果

$ pylama --sort <path>

对于测试，使用 tox（在 tox.ini 中配置）。它已经安装到您的环境中，可以像在文档中描述的那样单独使用，具有更细粒度的控制 - https://testrun.org/tox/latest/。

例如，以增加的详细程度检查与Python 2环境的测试子集。所有位置参数和 -- 后面的选项都将传递给 py.test

tox -e py37 -- -v tests/<path>

在底层，tox 使用 pytest（在 pytest.ini 中配置），coverage 和 mock 包。这些包仅可在 tox 环境中使用。

变更日志

所有已发布版本的完整变更日志和文档可以在格式良好的 提交历史 中找到。