在具有特定结果集的elasticsearch中按多列分组

我是ES新手,并且有一些特定要求,我的文档如下所示

{

"_index" : "bidder_server_stats",

"_type" : "doc",

"_id" : "_NTrHGQBv0YTjfMi0Ord",

"_score" : 1.0,

"_source" : {

"avg_price" : 5.8,

"bc" : "2513",

"log_dt_st" : "2018-06-08T06:36:16.073Z",

"nid" : "1",

"cc" : "880",

"host" : "ip-172-31-18-62.ec2.internal",

"country" : "us"

}

},

{

"_index" : "bidder_server_stats",

"_type" : "doc",

"_id" : "_NTrHGQBv0YTjfMi0Ord",

"_score" : 1.0,

"_source" : {

"avg_price" : 10,

"bc" : "2514",

"log_dt_st" : "2018-06-08T06:36:16.073Z",

"nid" : "1",

"cc" : "880",

"host" : "ip-172-31-18-62.ec2.internal",

"country" : "us"

}

},

{

"_index" : "bidder_server_stats",

"_type" : "doc",

"_id" : "_NTrHGQBv0YTjfMi0Ord",

"_score" : 1.0,

"_source" : {

"avg_price" : 11,

"bc" : "2513",

"log_dt_st" : "2018-06-08T06:36:16.073Z",

"nid" : "1",

"cc" : "880",

"host" : "ip-172-31-18-62.ec2.internal",

"country" : "us"

}

}

现在我需要使用以下查询的结果

select bc,log_dt_st,sum(avg_price) from table group by bc,log_dt_st.

我们如何在Elasticsearch中做到这一点。我只想要结果集中的这三列(即_source)。

请帮忙

回答:

您可以使用子聚合来实现。从ES

6.1开始,composite聚合也可以派上用场(尽管仍处于试验阶段)。

查询可能如下所示:

POST bidder_server_stats/doc/_search

{

"size": 0,

"aggs": {

"by bc": {

"terms": {

"field": "bc"

},

"aggs": {

"by log_dt_st": {

"terms": {

"field": "log_dt_st"

},

"aggs": {

"sum(avg_price)": {

"sum": {

"field": "avg_price"

}

}

}

}

}

}

}

}

响应看起来像这样:

{

...

"aggregations": {

"by bc": {

"doc_count_error_upper_bound": 0,

"sum_other_doc_count": 0,

"buckets": [

{

"key": "2513",

"doc_count": 2,

"by log_dt_st": {

"doc_count_error_upper_bound": 0,

"sum_other_doc_count": 0,

"buckets": [

{

"key": 1528439776073,

"key_as_string": "2018-06-08T06:36:16.073Z",

"doc_count": 2,

"sum(avg_price)": {

"value": 16.800000190734863

}

}

]

}

},

{

"key": "2514",

"doc_count": 1,

"by log_dt_st": {

"doc_count_error_upper_bound": 0,

"sum_other_doc_count": 0,

"buckets": [

{

"key": 1528439776073,

"key_as_string": "2018-06-08T06:36:16.073Z",

"doc_count": 1,

"sum(avg_price)": {

"value": 10

}

}

]

}

}

]

}

}

}

片刻考虑:

  • bc应该具有keyword类型(以便能够对其进行terms聚合)
  • terms默认情况下,聚合仅返回前10个存储桶;您可能对此聚合感兴趣,size并且有sort多种选择

:响应评论中的问题,因为它将改善答案。

我们可以在结果集中添加更多字段而不将它们添加到聚合中吗?

不,不是直接。像在SQL中一样,GROUP BY返回的所有字段都应该是GROUP BY函数的一部分或集合。

除了聚合,很少有其他方法可以实际获取更多数据:

  • 搜索结果本身(hits部分);
  • top_hits 聚合,它允许给定存储桶具有一些最相关的文档。

我们可以添加多少个子聚合?

我找不到任何相关的文档或配置设置来确定答案。然而,有index.max_docvalue_fields_search,默认设置为100在动态索引设置。由于聚合使用doc_values,我想说大约100个存储桶聚合是一个合理的上限。

我相信这里的限制是您的Elasticsearch集群的实际性能。

我们可以将所有结果字段都放在同一个存储桶中吗?

可以做到,但可能没有效率。您可以使用聚合script模式terms。查询可能如下所示:

POST bidder_server_stats/doc/_search

{

"size": 0,

"aggs": {

"via script": {

"terms": {

"script": {

"source": "doc['bc'].value +':::'+ doc['log_dt_st'].value ",

"lang": "painless"

}

},

"aggs": {

"sum(avg_price)": {

"sum": {

"field": "avg_price"

}

}

}

}

}

}

结果将如下所示:

{

...

"aggregations": {

"via script": {

"doc_count_error_upper_bound": 0,

"sum_other_doc_count": 0,

"buckets": [

{

"key": "2513:::2018-06-08T06:36:16.073Z",

"doc_count": 2,

"sum(avg_price)": {

"value": 16.800000190734863

}

},

{

"key": "2514:::2018-06-08T06:36:16.073Z",

"doc_count": 1,

"sum(avg_price)": {

"value": 10

}

}

]

}

}

}

为了执行此聚合,Elasticsearch将必须为与查询匹配的每个文档计算存储桶值,这相当于SQL中的完整扫描。相反,聚合更像是索引查找,因为它们使用doc_values数据表示形式,该数据结构使这些查找有效。

在某些情况下,script存储桶可能是一种解决方案,但其范围非常有限。如果您对script基于解决方案感兴趣,那么还可以考虑脚本化的度量标准聚合。

希望有帮助!

更新:从ES 6.1开始,可以进行composite聚合

在Elasticsearch 6.1

composite中添加了聚合。从6.3开始,它仍然标记为实验性的(因此API可能会更改,或者将来可能会完全删除此功能)。

这种情况下的查询如下所示:

POST bidder_server_stats/doc/_search

{

"size": 0,

"aggs": {

"my composite": {

"composite": {

"sources": [

{

"bc": {

"terms": {

"field": "bc"

}

}

},

{

"log_dt_st": {

"terms": {

"field": "log_dt_st"

}

}

}

]

},

"aggs": {

"sum(avg_price)": {

"sum": {

"field": "avg_price"

}

}

}

}

}

}

以及响应:

{

"aggregations": {

"my composite": {

"after_key": {

"bc": "2514",

"log_dt_st": 1528439776073

},

"buckets": [

{

"key": {

"bc": "2513",

"log_dt_st": 1528439776073

},

"doc_count": 2,

"sum(avg_price)": {

"value": 16.800000190734863

}

},

{

"key": {

"bc": "2514",

"log_dt_st": 1528439776073

},

"doc_count": 1,

"sum(avg_price)": {

"value": 10

}

}

]

}

}

}

以上是 在具有特定结果集的elasticsearch中按多列分组 的全部内容, 来源链接: utcz.com/qa/420622.html

回到顶部