跳转到主要内容

Elasticsearch的Python客户端

项目描述

Elasticsearch DSL是一个高级库,旨在帮助编写和运行针对Elasticsearch的查询。它是建立在官方低级客户端(elasticsearch-py)之上的。

它提供了一种更方便、更符合习惯的查询编写和操作方式。它与Elasticsearch JSON DSL非常接近,反映了其术语和结构。它通过直接使用定义的类或类似查询集的表达式,将整个DSL范围暴露在Python中。

它还提供了一个可选的包装器,用于将文档作为Python对象进行操作:定义映射、检索和保存文档,将文档数据包装在用户定义的类中。

要使用其他Elasticsearch API(例如,集群健康),只需使用底层客户端即可。

安装

pip install elasticsearch-dsl

示例

请参阅示例目录,以查看使用elasticsearch-dsl的一些复杂示例。

兼容性

该库与自2.x版本以来的所有Elasticsearch版本兼容,但您必须使用匹配的主版本

对于8.0版本及以后的Elasticsearch,请使用库的主版本8(8.x.y)。

对于7.0版本及以后的Elasticsearch,请使用库的主版本7(7.x.y)。

对于6.0版本及以后的Elasticsearch,请使用库的主版本6(6.x.y)。

对于5.0版本及以后的Elasticsearch,请使用库的主版本5(5.x.y)。

对于2.0版本及以后的Elasticsearch,请使用库的主版本2(2.x.y)。

在您的setup.pyrequirements.txt中设置要求的最推荐方法是

# Elasticsearch 8.x
elasticsearch-dsl>=8.0.0,<9.0.0

# Elasticsearch 7.x
elasticsearch-dsl>=7.0.0,<8.0.0

# Elasticsearch 6.x
elasticsearch-dsl>=6.0.0,<7.0.0

# Elasticsearch 5.x
elasticsearch-dsl>=5.0.0,<6.0.0

# Elasticsearch 2.x
elasticsearch-dsl>=2.0.0,<3.0.0

开发正在进行中main,较老的分支只获得错误修复版本

搜索示例

让我们直接以一个dict形式编写一个典型的搜索请求。

from elasticsearch import Elasticsearch
client = Elasticsearch("https://localhost:9200")

response = client.search(
    index="my-index",
    body={
      "query": {
        "bool": {
          "must": [{"match": {"title": "python"}}],
          "must_not": [{"match": {"description": "beta"}}],
          "filter": [{"term": {"category": "search"}}]
        }
      },
      "aggs" : {
        "per_tag": {
          "terms": {"field": "tags"},
          "aggs": {
            "max_lines": {"max": {"field": "lines"}}
          }
        }
      }
    }
)

for hit in response['hits']['hits']:
    print(hit['_score'], hit['_source']['title'])

for tag in response['aggregations']['per_tag']['buckets']:
    print(tag['key'], tag['max_lines']['value'])

这种方法的缺点是它非常冗长,容易出错,如不正确的嵌套,难以修改(例如添加另一个过滤器),并且绝对不是一件有趣的事情来做。

让我们用Python DSL重写这个例子。

from elasticsearch import Elasticsearch
from elasticsearch_dsl import Search

client = Elasticsearch("https://localhost:9200")

s = Search(using=client, index="my-index") \
    .filter("term", category="search") \
    .query("match", title="python")   \
    .exclude("match", description="beta")

s.aggs.bucket('per_tag', 'terms', field='tags') \
    .metric('max_lines', 'max', field='lines')

response = s.execute()

for hit in response:
    print(hit.meta.score, hit.title)

for tag in response.aggregations.per_tag.buckets:
    print(tag.key, tag.max_lines.value)

如您所见,该库已经处理了以下问题

  • 通过名称创建适当的Query对象(例如,“匹配”)

  • 将查询组合成一个复合的bool查询

  • term查询放入bool查询的过滤器上下文中

  • 提供方便的访问响应数据

  • 不再需要到处使用花括号或方括号

持久性示例

让我们有一个简单的Python类,它代表一个博客系统中的文章。

from datetime import datetime
from elasticsearch_dsl import Document, Date, Integer, Keyword, Text, connections

# Define a default Elasticsearch client
connections.create_connection(hosts="https://localhost:9200")

class Article(Document):
    title = Text(analyzer='snowball', fields={'raw': Keyword()})
    body = Text(analyzer='snowball')
    tags = Keyword()
    published_from = Date()
    lines = Integer()

    class Index:
        name = 'blog'
        settings = {
          "number_of_shards": 2,
        }

    def save(self, ** kwargs):
        self.lines = len(self.body.split())
        return super(Article, self).save(** kwargs)

    def is_published(self):
        return datetime.now() > self.published_from

# create the mappings in elasticsearch
Article.init()

# create and save and article
article = Article(meta={'id': 42}, title='Hello world!', tags=['test'])
article.body = ''' looong text '''
article.published_from = datetime.now()
article.save()

article = Article.get(id=42)
print(article.is_published())

# Display cluster health
print(connections.get_connection().cluster.health())

在这个例子中,您可以看到

  • 提供默认连接

  • 定义具有映射配置的字段

  • 设置索引名称

  • 定义自定义方法

  • 重写内置的.save()方法以挂钩持久性生命周期

  • 检索并将对象保存到Elasticsearch中

  • 访问底层客户端以使用其他API

您可以在文档的持久性章节中看到更多内容。

elasticsearch-py迁移

您不必将整个应用程序移植到Python DSL以获得好处,您可以从创建一个来自现有dictSearch对象开始,使用API修改它,并将其反序列化为一个dict

body = {...} # insert complicated query here

# Convert to Search object
s = Search.from_dict(body)

# Add some filters, aggregations, queries, ...
s.filter("term", tags="python")

# Convert back to dict to plug back into existing code
body = s.to_dict()

开发

激活虚拟环境(virtualenvs

$ virtualenv venv
$ source venv/bin/activate

要安装所有必要的开发依赖项,请运行

$ pip install -e '.[develop]'

要运行elasticsearch-dsl-py的所有测试,请运行

$ python setup.py test

另外,还可以使用位于 test_elasticsearch_dslrun_tests.py 脚本来运行测试套件的子集。以下是一些示例。

# Run all of the tests in `test_elasticsearch_dsl/test_analysis.py`
$ ./run_tests.py test_analysis.py

# Run only the `test_analyzer_serializes_as_name` test.
$ ./run_tests.py test_analysis.py::test_analyzer_serializes_as_name

pytest 会跳过 test_elasticsearch_dsl/test_integration 中的测试,除非存在可以建立连接的 Elasticsearch 实例。默认情况下,测试连接尝试在 localhost:9200 进行,这基于 elasticsearch-py 连接 类中指定的默认值。由于运行集成测试会导致 Elasticsearch 集群产生破坏性更改,因此只有在相关集群为空时才运行它们。因此,如果位于 localhost:9200 的 Elasticsearch 实例不符合这些要求,可以通过 TEST_ES_SERVER 环境变量指定不同的测试 Elasticsearch 服务器。

$ TEST_ES_SERVER=my-test-server:9201 ./run_tests

文档

文档可在 https://elasticsearch-dsl.elastic.ac.cn 查找。

贡献指南

想要为 Elasticsearch DSL 贡献代码?太棒了!我们提供了 贡献指南

许可协议

版权 2013 Elasticsearch

根据 Apache License 2.0(“许可证”);除非遵守许可证,否则不得使用此文件。您可以在以下位置获得许可证副本:

https://apache.ac.cn/licenses/LICENSE-2.0

除非适用法律要求或书面同意,否则根据许可证分发的软件是按“原样”分发的,不提供任何明示或暗示的保证或条件。有关许可证中规定的具体权限和限制,请参阅许可证。

项目详情


下载文件

下载适用于您的平台的文件。如果您不确定选择哪个,请了解更多关于 安装包 的信息。

源分布

elasticsearch8-dsl-8.12.0.tar.gz (78.9 kB 查看哈希)

上传时间

构建分布

elasticsearch8_dsl-8.12.0-py3-none-any.whl (64.0 kB 查看哈希)

上传时间 Python 3

支持者:

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF 赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误记录 StatusPage StatusPage 状态页面