Elasticsearch嵌套字段的聚合操作

Elasticsearch 聚合查询(Aggregation)详解 Elasticsearch中的聚合查询,类似SQL的SUM/AVG/COUNT/GROUP BY分组查询,主要用于统计分析场景。 阅读详情

数据库字段

在之前介绍Elasticsearch字段的时候介绍过Elasticsearch的嵌套字段。在日常使用中,针对嵌套类型的聚合操作和普通字段类型有些许的不同。

嵌套类型
  • nested

是ES对对象数组设置的类型,它可以对对象数组进行索引。

我们插入一个这样的数据。

{
  "group" : "fans",
  "user" : [ 
    {
      "first" : "John",
      "last" :  "Smith"
    },
    {
      "first" : "Alice",
      "last" :  "White"
    }
  ]
}

最后可以得到一个类似这样的结果

{
  "group" :        "fans",
  "user.first" : [ "alice", "john" ],
  "user.last" :  [ "smith", "white" ]
}

数据模拟

我们现在有一个索引test_field2里面存在这样结构的数据

    {
        "name": "内容1",
        "desc": "描述1",
        "channel": [
            {
                "name": "one",
                "num": 28
            },
            {
                "name": "two",
                "num": 32
            }
        ]
    }

获取嵌套数据的和

按照普通字段的格式去查询

按照之前学习的内容依照普通的字段聚合分析的样子我们尝试使用下面的参数来进行求和,但是显然对于嵌套数据是不行的。

{
    "aggs": {
        "aggQuery": {
            "sum": {
                "field": "channel.num"
            }
        }
    },
    "size": 0
}

使用上面的参数并没有返回数据。

{
    "took": 5,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1,
            "relation": "eq"
        },
        "max_score": null,
        "hits": []
    },
    "aggregations": {
        "aggQuery": {
            "value": 0
        }
    }
}

nested方法

为了方便我们对字段中的嵌套类型进行操作Elasticsearch提供了nested方法让我们对嵌套字段实现操作。

使用nested需要指定嵌套字段的路径path,假如希望对嵌套字段内的内容进行聚合等操作的时候需要指明字段的全部路径。channel.num

{
    "query": {
        "match_all": {
            "boost": 1.0
        }
    },
    "aggregations": {
        "test": {
            "nested": {
                "path": "channel"
            },
            "aggregations": {
                "sumChannel": {
                    "sum": {
                        "field": "channel.num"
                    }
                }
            }
        }
    }
}

此时我们对嵌套内数据的求和操作,并不是仅仅将一条数据内此字段的数据进行聚合,而是将所有数据中嵌套内的值求和。下面的返回内容中test桶中的sumChannel的结果就是将两条数据的四个num值进行了相加操作。

{
    "took": 133,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 2,
            "relation": "eq"
        },
        "max_score": 1,
        "hits": [
            {
                "_index": "test_field2",
                "_type": "_doc",
                "_id": "1",
                "_score": 1,
                "_source": {
                    "name": "内容1",
                    "desc": "描述1",
                    "channel": [
                        {
                            "name": "one",
                            "num": 28
                        },
                        {
                            "name": "two",
                            "num": 32
                        }
                    ]
                }
            },
            {
                "_index": "test_field2",
                "_type": "_doc",
                "_id": "2",
                "_score": 1,
                "_source": {
                    "name": "内容1",
                    "desc": "描述1",
                    "channel": [
                        {
                            "name": "one",
                            "num": 33
                        },
                        {
                            "name": "two",
                            "num": 44
                        }
                    ]
                }
            }
        ]
    },
    "aggregations": {
        "test": {
            "doc_count": 4,
            "sumChannel": {
                "value": 137
            }
        }
    }
}

上面操作对应Java的代码

针对嵌套字段JAVA中主要使用NestedAggregationBuilder来进行操作

    public static void queryIndex() throws IOException {
        NestedAggregationBuilder nested = AggregationBuilders.nested("test", "channel");
        nested.subAggregation(AggregationBuilders.sum("sumChannel").field("channel.num"));

        // match all query 查询所有数据
        SearchRequest searchRequest = new SearchRequest();
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
        searchSourceBuilder.query(QueryBuilders.matchAllQuery());
        searchSourceBuilder.aggregation(nested);
        searchRequest.source(searchSourceBuilder);
        // 同步执行 RestClientUtils.client 获得ES连接的方法
        SearchResponse searchResponse = RestClientUtils.client.search(searchRequest, RequestOptions.DEFAULT);
        Aggregations aggregations = searchResponse.getAggregations();
    }

获取嵌套数据不为空的数量

在对某一个字段存在值的数据总数求值的时候,我们只需要count对应的字段既能求出结果。但是对于嵌套字段,假如想当然的使用之前的做法。并不会返回预期的结果。

尝试使用count嵌套字段获取数量

{
    "aggs": {
        "aggQuery": {
            "value_count": {
                "field": "channel"
            }
        }
    },
    "size": 0
}
{
    "took": 1,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 2,
            "relation": "eq"
        },
        "max_score": null,
        "hits": []
    },
    "aggregations": {
        "aggQuery": {
            "value": 0
        }
    }
}

然而实际上并不能获得正确的结果。即使是一个简单的求值是否存在对于嵌套字段依然要使用

{
	"size":0,
    "query": {
        "match_all": {
            "boost": 1.0
        }
    },
    "aggregations": {
        "test": {
            "nested": {
                "path": "channel"
            },
            "aggregations": {
                "sumChannel": {
                    "value_count": {
                        "field": "channel.num"
                    }
                }
            }
        }
    }
}

需要注意的是我们尝试对嵌套字段某个字段进行count的时候,返回的内容是所有数据在嵌套字段中存在的数量。像下面结果,虽然我们只有两条数据但是存在四条子数据,所以count结果为4。可能有的时候我们希望查出嵌套字段存在值的父级数据的数量,使用这种方法显然不合适。

{
    "took": 2,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 2,
            "relation": "eq"
        },
        "max_score": null,
        "hits": []
    },
    "aggregations": {
        "test": {
            "doc_count": 4,
            "sumChannel": {
                "value": 4
            }
        }
    }
}

如何仅仅是想获取存在嵌套值的数据的数量,可以使用下面的方法

首先使用must和nested筛选出符合条件的数据,然后通过获取其hits命中的数量或者自行使用其他字段进行count求值。

{
    "size": 0,
    "query": {
        "bool": {
            "must": [
                {
                    "nested": {
                        "path": "channel",
                        "query": {
                            "bool": {
                                "must": [
                                    {
                                        "exists": {
                                            "field": "channel.num"
                                        }
                                    }
                                ]
                            }
                        }
                    }
                }
            ]
        }
    },
    "aggs": {
        "aggQuery": {
            "value_count": {
                "field": "name"
            }
        }
    }
}
{
    "took": 2,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 2,
            "relation": "eq"
        },
        "max_score": null,
        "hits": []
    },
    "aggregations": {
        "aggQuery": {
            "value": 2
        }
    }
}

个人水平有限,上面的内容可能存在没有描述清楚或者错误的地方,假如开发同学发现了,请及时告知,我会第一时间修改相关内容。假如我的这篇内容对你有任何帮助的话,麻烦给我点一个赞。你的点赞就是我前进的动力。

17、ElasticSearch聚合与脚本使用全解析 本文详细解析了ElasticSearch中的聚合和脚本功能,涵盖了缺失字段统计、全局聚合、地理距离聚合、嵌套聚合和顶级命中聚合等常见聚合操作,以及脚本的安装、管理和实际应用。通过这些功能,用户可以高效处理和挖掘数据,满足复杂的数据分析需求。 阅读详情

相关推荐

JAVA审批流程,一个简单表结构设计方案By OU

一、表结构设计1.流程表(process)用于存储审批流程的基本信息。字段名类型描述idBIGINT主键,流程IDname流程名称TEXT流程描述DATETIME创建时间DATETIME更新时间statusTINYINT(1)流程状态(0: 停用, 1: 启用)2.节点表(process_node)用于管理流程中的每个审批节点。字段名类型描述idBIGINT主键,节点IDprocess_idBIGINT流程ID,外键关联process.id。

1901

Elasticsearch Java API 分组、聚合、嵌套相关查询

Elasticsearch Java API 分组、聚合、嵌套相关查询 翼支付监控系统正使用es做后端存储,这边我们是将日志计算处理过后的数据通过kafka储存到es。选择用es作为数据储存端是考虑到es有一套完整的数据处理方式,功能全面性能优越,以及索引滚动可以方便管理es存储的数据。这理我主要是分享下Elasticsearch Java API对ES数据分组、聚合、嵌套以及时间直方图方面相关查...

qq_34910179的博客 1万+

手把手教你接入京东购物小程序:从领券到下单的全流程解析

本文详细解析了如何从API申请到领券下单,手把手教你接入京东购物小程序的全流程。涵盖京东联盟账号注册、商品信息获取、优惠券链接转换等关键技术实践,帮助开发者高效实现电商功能集成,提升用户购物体验。

g5h6i的博客 919

Es 聚合查询 nested分组聚合时无需指定字段类型

行程单索引,一个订单对应多个游客,将游客信息采用nested类型存入订单索引中。//在最外层的查询将agg聚合设置进去,并且使用nested。2.nested分组聚合查询。//统计出现频数最多的前5条。统计游客来源地top5。

qq_37158147的博客 1326

set_output_delay的本质

set_output_delay的本质

qq_33300585的博客 3399

基于Transformer的CFD代理模型:AeroTransformer原理、实现与优化

计算流体动力学(CFD)仿真是航空航天、汽车工程等领域的关键技术,但其高计算成本限制了设计优化效率。代理模型通过机器学习方法学习输入参数与流场输出间的映射关系,能实现秒级预测,大幅加速仿真流程。Transformer架构凭借其全局注意力机制,能有效建模流场中的长程物理关联,克服了传统卷积神经网络在捕捉全局依赖上的局限。通过预训练与微调策略,模型能先在大规模多样化数据集上学习通用流体规律,再针对特定任务快速适配,显著提升了小样本下的泛化能力与工程实用价值。AeroTransformer项目正是这一技术路线的典

weixin_33509203的博客 362

ElasticSearch:Aggregation聚合查询的入门与进阶

目录 桶(Buckets) 指标(Metrics) 将两者结合起来——聚合 常见的聚合查询 聚合查询的使用 1、简单的词频统计 2、数据按时间划分 3、数据按某个字段进行聚合后,再按时间排序 为了掌握聚合,要先了解两个主要概念: Buckets(桶):满足某个条件的文档集合。 Metrics(指标):为某个桶中的文档计算得到的统计信息。 就是这样!每个聚合只是简单地由一个或者多个桶,零个或者多个指标组合而成。可以将它粗略地转换为SQL: SELECT COUNT(field) F

熬过万丈孤独,藏下星辰大海 8881

matlab 质心重合法实现点云配准【2026最新版】

质心重合法是将源点云和目标点云的质心重合,以此缩小两点云集之间的平移误差,从而为下一步粗配准提供更好的初始位置姿态。

点云侠的博客 512

nested字段聚合

/ 创建Elasticsearch客户端。// 创建Elasticsearch客户端。如何查询出这2个bb为空的数据?对一层嵌套字段做聚合。

jifgnie的博客 898

嵌入式Linux&Android开发-TP调试

目录 一、修改DTS,添加新的I2C设备 二、修改Makefile,Kconfig 三、tp调试时的问题排查 一、修改DTS,添加新的I2C设备 &i2c4 { status = "okay"; clock-frequency = <400000>; gslX680@40 { compatible = "gslX680"; reg = <0x40>; touch-gpio = <&gp

嵌入式成长手册 579

PCL 利用RANSAC改进的ICP算法

本文介绍了一种基于RANSAC改进的ICP点云配准算法。算法原理部分阐述了在ICP迭代过程中使用RANSAC剔除错误匹配点对的方法。

点云侠的博客 198

ElasticSearch 实战:嵌套字段的聚合操作

在Elasticsearch中,如果您的文档结构包含嵌套对象(nested fields),直接对这些嵌套字段进行聚合可能会得到不准确的结果,因为Elasticsearch默认会扁平化处理嵌套对象。要正确地对嵌套字段进行聚合操作,您需要使用Elasticsearch提供的。查询结果将展示每个客户的ID,以及他们购买的每个产品的总销售额。是一个嵌套类型的字段,因为它包含了多个具有相同结构的子对象。聚合来处理嵌套字段,并在嵌套上下文中执行所需的度量聚合(如。分组,然后计算每个客户购买的每个产品的总销售额。

qq_33240556的博客 875

VMware下载与安装

一、VMware下载 二、VMware安装

欢迎订阅我的“JAVA全栈开发笔记(全)”专栏,价格优惠,仅需19.9元。 324

es 时间字段聚合_ElasticSearch 学习记录之ES几种常见的聚合操作

ElasticSearch 系列文章ES几种常见的聚合操作普通聚合POST /product/_search{"size": 0,"aggs": {"agg_city": {"terms": {"field": "departureCitys" //字段}}}}父子结构的索引的聚合POST product/_search{"size": 0,"aggs": {"months": {"childre...

weixin_39525812的博客 584

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Elasticsearch中object类型与nested类型以及数组之间的区别_es objec类型

/ 不知道从哪个版本改了,现在必须写 “categoryNst.class2”: “补水”,否则报错。“categoryObj.class1”: [“欧莱雅”,“欧莱雅”,“雅诗兰黛”],“categoryObj.class3”: [“面部护理”,“面部精华”,“面霜”]“categoryObj.class2”: [“补水”,“补水”,“美白”],“categoryNst.class2”: “补水”“categoryNst.class2”: “补水”“categoryNst.class2”: “补水”

2401_89733599的博客 656

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

ES 21 - 通过 Elasticsearch 实现聚合检索 (分组统计)

目录 1 普通聚合分析 1.1 直接聚合统计 1.2 先检索, 再聚合 1.3 扩展: fielddata和keyword的聚合比较 2 嵌套聚合 2.1 先分组, 再聚合统计 2.2 先分组, 再统计, 最后排序 2.3 先分组, 组内再分组, 然后统计、排序 1 普通聚合分析 1.1 直接聚合统计 (1) 计算每个tag下的文档数量, 请求语法: GET book_shop/it_book/_search { "size": 0, // 不显示命..

xiangjai的专栏 7724

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

elasticsearch知识总结

elasticsearch

岁月栖迟的博客 393

【Elasticsearch】nested聚合

以下是一个具体的嵌套聚合示例,假设我们有一个产品索引`products`,其中包含一个嵌套字段`resellers`,每个`reseller`有`reseller`(经销商名称)和`price`(价格)两个字段。子聚合可以是任何类型的聚合(如`min`、`max`、`avg`、`terms`等),用于对嵌套文档进行进一步的分析。• 指定嵌套字段的路径。• 子聚合的类型,例如`min`、`max`、`avg`、`terms`等。• `path`:指定嵌套字段的路径为`resellers`。

risc123456的博客 1069

Sql on Elasticsearch

esqlGit地址https://github.com/unimassystem/esql5      create table my_index.my_table ( id keyword, name text, age long, birthday date ); select * from my_index.my_type; selec...

kwame211的博客 301

ES聚合之Bucket聚合语法讲解

掌握Bucket aggregations(分桶聚合,相当于MySQL中的分组聚合 )语法,通过本文列举的各种案例举一反三。

前者已逝,后者未至。 3130

es内嵌文档查询_[ElasticSearch]ES操作之嵌套查询(nested)与退出嵌套(reverse_nested)操作...

对于嵌套类型的字段,要使用ES专用的嵌套查询嵌套字段举例:brandInfo:[​ {​ "group": "xx",​ "category": "xx",​ "subCategory": "xx",​ "brand": "xx",​ "subBr...

weixin_31043555的博客 1451

es统计有多少个分组_ES 24 - 通过 Elasticsearch 实现聚合检索 (分组统计)

1 普通聚合分析1.1 直接聚合统计(1) 计算每个tag下的文档数量, 请求语法:GET book_shop/it_book/_search{"size": 0, // 不显示命中(hits)的所有文档信息"aggs": {"group_by_tags": {// 聚合结果的名称, 需要自定义(复制时请去掉此注释)"terms": {"field": "tags"}}}}(2) 发生...

weixin_39752157的博客 701

es对分组后结果进行统计_ES 24 - 通过 Elasticsearch 实现聚合检索 (分组统计)

[TOC]1 普通聚合分析1.1 直接聚合统计(1) 计算每个tag下的文档数量, 请求语法:GET book_shop/it_book/_search{"size": 0, // 不显示命中(hits)的所有文档信息"aggs": {"group_by_tags": {// 聚合结果的名称, 需要自定义(复制时请去掉此注释)"terms": {"field": "tags"}}}}(2) ...

weixin_39834767的博客 2144

elasticsearch 基础 —— nested嵌套类型

nested类型是一种特殊的对象object数据类型(specialised version of the object datatype ),允许对象数组彼此独立地进行索引和查询。 1. 对象数组如何扁平化 内部对象object字段的数组不能像我们所期望的那样工作。 Lucene没有内部对象的概念,所以Elasticsearch将对象层次结构扁平化为一个字段名称和值的简单列表。 例如,以下文...

gmHappy 9047

通过 Elasticsearch 实现聚合检索

目录 1 普通聚合分析 1.1 直接聚合统计 1.2 先检索, 再聚合 1.3 扩展: fielddata和keyword的聚合比较 2 嵌套聚合 2.1 先分组, 再聚合统计 2.2 先分组, 再统计, 最后排序 2.3 先分组, 组内再分组, 然后统计、排序 版权声明 1 普通聚合分析 1.1 直接聚合统计 (1) 计算每个tag下的文档数量, 请求语法: GET book_shop/it_book/_search { "size": 0,

大灰狼的小绵羊哥哥的博客 905

elasticsearch聚合

from elasticsearch import Elasticsearch import time def query_day(): query = { "query":{ "bool":{ "must":{ "range":{ "p...

qq_42527487的博客 215
上一篇: Elasticsearch基础10——聚合分析
下一篇: Elasticsearch基础11——索引之别名使用
大·风
博客等级 码龄17年 255粉丝 282原创
评论 7
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大·风

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址