ES在搜索和数据分析中的应用越来越广泛,在之前项目中对ES的使用有些心得,最近有不少朋友和同事都问到了ES,刚好最近也有些时间,所以打算通过8~10篇文章介绍下ES.(其实我也不知道最终会写下多少篇),为了保持阅读的连贯性,可以先看前面几篇文章:
ES搜索引擎入门+最佳实践(一)_flame.liu的博客-CSDN博客
ES搜索引擎入门+最佳实践(二)_flame.liu的博客-CSDN博客
ES搜索引擎入门+最佳实践(三)_flame.liu的博客-CSDN博客
ES搜索引擎入门+最佳实践(四)_flame.liu的博客-CSDN博客
ES搜索引擎入门+最佳实践(五)_flame.liu的博客-CSDN博客
ES搜索引擎入门+最佳实践(六)_flame.liu的博客-CSDN博客
一.概要
聚合,排序,分页这些概念在MySQL中都有,但是ES中的实现与MySQL既有相似又有不同.在学习这些内容的时候可以做类比.本章将会介绍,桶聚合,聚合方式,聚合排序,聚合分页.
本章使用的索引仍然和之前的格式是一样的,代码如下:
PUT /goods
{
"mappings": { //映射
"properties": { //属性
"title":{ //将title定义为多字段
"type": "text",
"fields": {"title_key":{"type":"keyword"}} //title将建立text类型和keyword类型两个索引
},
"price":{"type": "double"}, //价格
"stockNum":{"type": "integer"}, //库存
"createTime":{"type": "date"}, //创建日期
"updateTime":{"type": "date", "format": "yyyy-MM-dd HH:mm:ss"}, //这里创建了两种日期格式
"tag":{"type": "keyword"}, //标签,这里考虑存入数组
"rating":{ //评价:这里设置为对象类型
"properties": { //对象类型这里需要使用到属性
"good_rating":{"type":"integer"},
"bad_rating":{"type":"integer"}
}
},
"location":{"type":"geo_point"}, //地理位置,其实这是一个对象类型
"isDeleted":{"type":"boolean"} //是否删除
}
}
}
}
索引中的数据请自行加入.本章需要使用到的一些关键字和说明如下表.
| 关键字 | 说明 |
| aggs | 聚合查询语句 |
| field | 在本章中用于指定需要聚合的字段名 |
| stats | stats聚合方式可以同时返回最大值,最小值,平均值,求和,以此减少多次聚合查询 |
| value_count | 统计指定的字段非空记录数,如果统计的字段是数组的话,会统计所有元素的个数 |
| missing | missing参数可以指定一个值用来代替空字段在聚合时的值. |
| buckets | 桶聚合,类似于MySQL中的分组聚合,按指定字段进行分组(分桶) |
| geo_distance | 地理位置过滤器 |
| _count | 引用执行结果中每个桶的文档数量 |
| order | 排序关键字 |
| top_hits | 返回当前桶的前N个记录 |
二.桶聚合
在ES进行聚合时,可以根据字段的值进行分桶(MySQL中叫做分组),字段的匹配方式有terms(相等),ranges(数值范围)和filter等.常用的是term,ranges两种方式进行分桶.针对每一个桶的数据再进行统计和计算.
2.1 简单的桶聚合
在下面案例中,演示了goods索引中的记录按照tag字段的字进行聚合,ES会将tag字段具有相同数据的记录分在一组.
GET /goods/_search
{
"size": 0, //不返回查询的记录
"aggs": { //aggs关键词封装聚合请求
"aggs_test": { //自定义的聚合名称
"terms": { //聚合的匹配方式
"field": "tag" //按照tag字段进行聚合(分组)
}
}
}
}
tag字段中相同的数据会被分配在一组,这有些像mysql中的order by. 在上面这个案例中使用的是terms的方式进行匹配分组聚合的,我们还可以使用ranges的方式,例如下面这个案例:
GET /goods/_search
{
"size": 0,
"aggs": { //aggs聚合子句
"aggs_text": { //自定义聚合子句的名称
"range": { //使用"范围"关键字聚合
"field": "price", //以price字段为依据
"ranges": [ //分范围的数组
{ "to": 23.5}, //from to 划分开始位置和终止位置
{ "from": 23.5, "to": 30}, //取值会包含from,但是不包含to的节点
{ "from": 30}
]
}
}
}
}
上面的案例将价格分成三组进行聚合,默认情况下将统计每个组的文档个数.
2.2 使用指标函数进行桶聚合
通常将记录进行桶聚合之后,不仅需要知道每个桶的记录数,更多情况下是需要对每个桶进行数据统计,例如max,min,avg,sum,count.下面代码将统计分桶之后每个桶的平均价格.
GET /goods/_search
{
"size": 0,
"aggs": {
"aggs_test": {
"range": {
"field": "price",
"ranges": [
{ "to": 23.5},
{"from": 23.5, "to": 40},
{"from": 40}
]
},
"aggs": { //在自定义的aggs_test聚合中再定义一个聚合
"aggs_test_fun": { //自定义的聚合名称
"avg": { //avg聚合函数
"field": "price", //指定聚合的字段,
"missing": 25 //如果记录的price字段为空,那么以25作为默认值
}
}
}
}
}
}
ES还提供了stats(统计数据)关键词,它可以一次性将max,min,avg,sum,count聚合指标都统计出来,在上面案例中将avg替换为stats即可.这里就不再赘述.
2.3 多维桶嵌套聚合
在之前的案例中,我们进行分桶只按照了一个维度(price的rangs)进行分桶聚合,在实际使用中可能需要有多个维度,例如按照商品(goods)的tag(标签)进行聚合之后,在按照price的范围进行聚合,然后在统计每个桶(每个分组)的指标(聚合函数).
GET /goods/_search
{
"size": 0,
"aggs": {
"aggs_test": { //先按照tag值进行分桶
"terms": {"field": "tag"},
"aggs": { //在tag分桶里在按照价格范围进行分桶
"aggs_test_rang": {
"range": {
"field": "price",
"ranges": [
{"to": 20},
{"from": 20,"to": 30},
{"from": 30}
]
},
"aggs": { //在价格范围的分桶中进行聚合函数计算
"aggs_test_rang_stats": {
"stats": {"field": "price"}
}
}
}
}
}
}
}
在上面的代码中先按照tag的维度进行分桶,例如会被分为10个桶,每个桶中再按照价格的范围(有三个价格范围),分成三个桶,然后在每个小桶里面按照stats进行统计计算.
2.4 地理距离聚合
我们经常在一些应用上需要进行地理位置的搜索,并且对搜索结果进行聚合计算,例如下面的代码演示了,先指定一个中心点,按照远离中心点的长度距离分成了三组,每组又按照价格进行了再次分组,在每个价格桶里面进行了聚合指标的计算.
GET /goods/_search
{
"size": 0,
"aggs": {
"aggs_test": {
"geo_distance": { //地理距离过滤器
"field": "location", //记录中location字段记录了地理位置,按照它进行分组
"origin": {"lat": 52.376, "lon": 4.894}, //指定地理位置的中心点,
"unit": "km", //分组聚合时的计算单位
"ranges": [ {"to": 30},{"from": 30,"to": 100},{"from": 100,"to": 300}] //按照中心点的偏移量进行分组
},
"aggs": {
"aggs_text_price": {
"range": {
"field": "price",
"ranges": [{ "from": 10,"to": 20},{ "from": 20,"to": 30},{ "from": 30,"to": 40}]
},
"aggs": {
"aggs_text_price_stats": {
"stats": {"field": "price","missing": 28}
}
}
}
}
}
}
}
三. 聚合方式
3.1 先查询再聚合
顾名思义先查询再聚合,就是先执行查询操作,再对查询操作进行聚合.
GET /goods/_search
{
"query": {
"terms": {"tag": [ "荔枝","西瓜"]} //先查询tag值
},
"aggs": { //对查新结果进行聚合分组
"aggs_test": {
"terms": {"field": "tag"},
"aggs": {
"aggs_test_price": {
"stats": { "field": "price"} //对查询分组之后的数据进行聚合指标的统计
}
}
}
}
}
注意上面的代码有明确的先后顺序,先查询,在按照tag分桶,在每个桶里面再进行统计计算.
3.2 前过滤器
前过滤器是在执行query查询操作之后,在执行聚合操作之前,对查询出来的数据再进行一次过滤,这个过滤不同于查询,不会对query查询结果产生影响,只会对聚合结果产生影响.例如下面代码,在查询title中包含西瓜的数据之后,再进行聚合之前将price<10的数据剔除掉了,再进行了对price的统计计算.
GET /goods/_search
{
"query": {
"match": {"title": "西瓜"} //先查询结果中包含西瓜的记录
},
"aggs": {
"aggs_test": { //在聚合子句中先进行前置过滤
"filter": {"range": {
"price": {"gte": 10} //选择价格>=10元的记录
}},
"aggs": {
"aggs_test_price":{
"terms": {"field": "tag"}, //对查询,过滤后的结果进行聚合
"aggs": {
"agg_test_price_stats": { //对聚合后的数据进行指标统计
"stats": {
"field": "price"
}
}
}
}
}
}
}
}
在案例中我们认为价格低于10元的西瓜不符合市场预期,可能会影响到西瓜价格数据的指标聚合,所以在聚合之前将价格低于10元剔除掉.
3.3 后过滤器
后过滤器是在聚合函数执行之后对查询的结果进行过滤,会影响最终查询的显示结果,但是不会影响聚合结果.例如下面这个案例
GET /goods/_search
{
"query": {"term": {"tag": {"value": "水果"}}},
"post_filter": {
"range": {"price": {"gte": 30}} //聚合之后过滤,只显示价格大于30的数据
},
"aggs": {
"aggs_text": {
"terms": {"field": "tag"},
"aggs": {
"aggs_text_price": {
"avg": {"field": "price" }
}
}
}
}
}
四.聚合排序
4.1 按照聚合后文档数量或者key进行排序
可以通过_count关键字引用聚合之后每组的文档计数值,通过order关键字对数据进行排序
GET /goods/_search
{
"size": 0,
"aggs": {
"aggs_test": {
"terms": {
"field": "tag",
"order": {"_count": "asc"} //根据tag分组后的每个组的数量进行排序
},
"aggs": {
"aggs_test_price": {
"range": {
"field": "price",
"ranges": [{"to": 10},{"from": 10,"to": 20},{"from": 20}]
}
}
}
}
}
}
将上面代码的_count换成_key可以根据分组之后的key进行排序,代码类似,这里就不再赘述.
4.2 按照聚合指标进行排序
在下面这个案例中,我们先按照tag进行分桶,这些桶将根据文档的数量进行排序,然后在每个桶里再按照isDeleted进行分桶并求平均值,每个小桶里面找平均值的asc进行排序.
GET /goods/_search
{
"size": 0,
"aggs": {
"aggs_test": {
"terms": {
"field": "tag",
"order": {"_count": "asc"} //根据tag分组后的每个组的数量进行排序
},
"aggs": {
"aggs_test_price": {
"terms": {
"field": "isDeleted", //按照是否被删除进行分组(桶)
"order": {"aggs_test_price_avg": "asc"} //在这个桶里按照计算的平均价格进行排序
},
"aggs": {
"aggs_test_price_avg": {"avg": {"field": "price"}}
}
}
}
}
}
}
五.聚合分页
5.1 top hits聚合
使用top_hits通过size指定返回的记录数,这里需要注意的是,不能对进行了指标运算的数据进行top_hits,并且top_hits应该是聚合函数中的另外一个aggs.在下面的示例中,指定了aggs_test_price聚合子句中的另外一个aggs,并设置了top_hits.
GET /goods/_search
{
"size": 0,
"aggs": {
"aggs_test": {
"terms": {
"field": "tag",
"order": {"_count": "asc"} //根据tag分组后的每个组的数量进行排序
},
"aggs": {
"aggs_test_price": {
"terms": {
"field": "isDeleted", //按照是否被删除进行分组(桶)
"order": {"_count": "asc"} //在这个桶里按照计算的平均价格进行排序
},
"aggs": {
"my_hite": {"top_hits": { "size": 10 }} //每一个按照isDeleted分组的桶里,返回前面10条数据
}
}
}
}
}
}
5.2 collapse聚合
使用collapse聚合配合使用form和size两个关键词可以实现分页功能.
collapse聚合实际是去除掉指定字段的重复数据.比如下面的代码,将price相同的记录聚集在一起,并且只显示第一条记录.
GET /goods/_search
{
"from": 0,
"size": 20,
"query": {
"term": {"tag": {"value": "水果" }}
},
"collapse": {
"field": "price" //相同的代码聚合在一起,只显示提一条记录
}
}
这里需要注意的是collapse只能对keyword数据类型和number数据类型起效,而且不能是数组.
3884



被折叠的 条评论
为什么被折叠?



