ElasticSearch学习随笔之嵌套操作

es的嵌套聚合、嵌套分析、下钻分析案例学习之Elasticsearch 07 es的restful api在学习和理解es的所欲知识点和功能点:   1、es最重要的api,让我们进行各种尝试、学习甚至在某些环境下进行使用的api,就是restful api。如果你学习不用es restful api,比如我上来就用java api来学习es,也是可以的,但是你根本就漏掉了es知识的一大块,你都不知道它最重要的restful api是怎么用的 2、学习用esrestf 阅读详情
AI摘要

本文详细介绍了ElasticSearch中嵌套数据类型的使用,包括创建嵌套mapping、添加和查询嵌套数据、排序和统计操作。通过实例展示了如何按照嵌套类型进行精准查询和排序,以及如何修改嵌套字段值。同时,讨论了ElasticSearch中关于嵌套操作的一些注意事项和最佳实践。

ElasticSearch

1、ElasticSearch学习随笔之基础介绍
2、ElasticSearch学习随笔之简单操作
3、ElasticSearch学习随笔之java api 操作
4、ElasticSearch学习随笔之SpringBoot Starter 操作
5、ElasticSearch学习随笔之嵌套操作
6、ElasticSearch学习随笔之分词算法
7、ElasticSearch学习随笔之高级检索
8、ELK技术栈介绍
9、Logstash部署与使用
10、ElasticSearch 7.x 版本使用 BulkProcessor 实现批量添加数据
11、ElasticSearch 8.x 弃用了 High Level REST Client,移除了 Java Transport Client,推荐使用 Elasticsearch Java API
12、ElasticSearch 8.x 使用 snapshot(快照)进行数据迁移
13、ElasticSearch 8.x 版本如何使用 SearchRequestBuilder 检索
14、ElasticSearch 8.x 使用 High Level Client 以 HTTPS 方式链接,SSL 证书、主机名验证器 各是什么,如何忽略
15、ElasticSearch 8.x 创建父子文档,用Join类型字段以及用has_child、has_parent 检索
16、ElasticSearch如何提高写入效率【面试题,面道既学到】

ElasticSearch,创始人 Shay Banon(谢巴农)
本文主要讲解ElasticSearch 基础操作,Kibana 以及 java api 调用操作。



前言

今天工作中遇到嵌套类型的数据,查询总是查询不到,一开始感到疑惑,为啥 match_all 的时候有,但是精确操作就查不到,查了半天才发现,嵌套操作有点区别。
本文主要对ElasticSearch嵌套(Nested) 操作,以便上手 用 ElasticSearch。

一、嵌套数据类型

在基础篇中介绍了一些 ES 的数据类型,比如:Text、keyword、byte、string 等,这些类型的数据操作起来比较容易,在 ES简单操作中介绍了,不过 ES 有些数据结构上稍微复杂一点,使用嵌套类型就比较明显和容易维护。
比如说一个子弹是 productName ,但是这个字段有中英文、id、raw等不同的值,如果这些字段用 string 类型存储,那字段就会很多,那么我们可以用嵌套类型的数据结构,这样维护起来就方便点,不过需要用嵌套的方式进行查询。
类似这样:

{
	"productName":{
		"cn":"手机",
		"en":"iphone",
		"id": 100,
		"raw":"苹果手机"
	}
}

二、添加数据

2.1 构建嵌套 mapping 映射

下面的 mapping 映射中,相当于 solr 的schema 定义固定的数据结构,我们也可以增加其他数据类型,不过在创建了映射之后就只能按照 mapping 来存放数据和操作。
productName 一个嵌套(nested)类型来存放的,在查询,排序等操作的时候就需要按照嵌套来操作。

PUT productinfo
{
  "mappings": {
    "properties": {
      "productName":{
        "type": "nested",
        "properties": {
          "cn":{
            "type":"keyword",
            "store":true
          },
          "en":{
            "type":"keyword",
            "store":true
          },
          "raw":{
            "type":"keyword",
            "store":true
          },
          "id":{
            "type":"keyword",
            "store":true
          }
        }
      },
      "productSize":{
        "type": "keyword",
        "store": true
      },
      "productDesc":{
        "type": "text",
        "store": true
      }
    }
  }
}

2.2 添加测试数据

我们用 bulk 来批量添加数据,按照 mapping 添加数据。

POST productinfo/_bulk
{"index":{"_index":"productinfo"}}
{"productName":{"cn":"苹果手机11","en":"iphone11","id":"1001","raw":"手机"},"productSize":16,"productDesc":"打电话,微信,拍照"}
{"index":{"_index":"productinfo"}}
{"productName":{"cn":"苹果手机12","en":"iphone12","id":"1002","raw":"手机"},"productSize":17,"productDesc":"打电话,微信,拍照3000像素"}
{"index":{"_index":"productinfo"}}
{"productName":{"cn":"小米手机","en":"xiaomi","id":"1003","raw":"手机"},"productSize":15,"productDesc":"打电话,微信,拍照,5G上网"}
{"index":{"_index":"productinfo"}}
{"productName":{"cn":"华为手机","en":"huawei","id":"1004","raw":"手机"},"productSize":14,"productDesc":"打电话,微信,拍照,打游戏"}

2.3 添加mapping之外的数据

也可以添加没有 mapping 的字段,比如 commonProductName 就没有 mapping,不过查询操作也不用按照嵌套来查询。

{"index":{"_index":"productinfo"}}
{"commonProductName":"笔记本电脑","productSize":14,"productDesc":"上网,工作,打游戏,学习,看电影"}
{"index":{"_index":"productinfo"}}
{"commonProductName":"液晶屏电视","productSize":60,"productDesc":"上网,看电影,追剧"}

2.4 查看添加的数据

用 match_all 来查看全部的数据。
这里有个不同之处,就是 es7 之前的版本,需要指定 dataType 类型,就像在 es 基础操作篇(见文档开头)那样,因为 基础篇是用 6.x 的版本写的。

查看添加的数据

三、嵌套操作

3.1 按照嵌套类型查询

说明:在搜索嵌套类型的字段的时候,需要指定 path 参数,来告诉 es 从 productName 字段下的 内嵌字段用 match、term、multi_match 等来搜索。
比如说现在要按照 productName 来搜索一个产品,搜索 “华为手机” 库里面有几个,搜索如下:

POST productinfo/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "nested": {
            "path": "productName",
            "query": {
              "bool": {
                "should": [
                  {
                    "match": {
                      "productName.cn": "华为手机"
                    }
                  }
                ]
              }
            }
          }
        }
      ]
    }
  }
}

搜索结果:
搜索华为手机

从搜索结果可以看到,进准搜索到了华为手机这个产品,当然,也可以模糊查询, 就像 es 操作的基础篇那样 (见文档开头系列目录),或者搜索 cn , en 另个字段,那么外面就是 should (or) 的关系 。

3.2 按照嵌套类型排序

下面按照 productName.cn 进行模糊搜索出来了两条数据,然后按照 productName.id 降序排序。

POST productinfo/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "nested": {
            "path": "productName",
            "query": {
              "bool": {
                "should": [
                  {
                    "wildcard": {
                      "productName.cn": "*苹果*"
                    }
                  }
                ]
              }
            }
          }
        }
      ]
    }
  },
  "sort": [
    {
      "productName.id": {
        "order": "desc",
        "nested_path": "productName"
      }
    }
  ]
}

排序结果如下:
通过productName.id排序
注意:es 提示了一行红字,意思是说 nested_path 已经弃用了,被 nested 替代了,不过我感觉还是用起来挺方便的。

那么官方推荐应该怎么写呢?如下:
下面的写法基本不变,不过坑的就是,nested 居然不提示,但是生效。

POST productinfo/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "nested": {
            "path": "productName",
            "query": {
              "bool": {
                "should": [
                  {
                    "wildcard": {
                      "productName.cn": "*苹果*"
                    }
                  }
                ]
              }
            }
          }
        }
      ]
    }
  },
  "sort": [
    {
      "productName.id": {
        "order": "desc",
        "nested":{
          "path":"productName"
        }
      }
    }
  ]
}

3.3 嵌套类型分组统计

按照 productName 和 productName.cn 进行分组统计,如下:

POST productinfo/_search
{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "productName_count": {
      "nested": {
        "path": "productName"
      },
      "aggs": {
        "cn_count": {
          "terms": {
            "field": "productName.cn",
            "size": 10
          }
        }
      }
    }
  }
}

执行结果如下:

统计出来,productName.cn 字段,有 3 个苹果11, 华为、小米、苹果12 各 1个。

分组统计
更复杂的分组统计可到官网查看,工作中大部分用到的以上的风阻统计就可以满足了,若有更复杂的,则继续在及过上过滤和统计。

3.4 修改嵌套类型字段值

修改按照 PUT 操作,带上 _id 即可修改。

PUT productinfo/_bulk
{"index":{"_index":"productinfo", "_id":"ZU8ga4MBZkN8aRGpIqAA"}}
{"productName":{"cn":"苹果手机12","en":"iphone11","id":"1008","raw":"手机"},"productSize":16,"productDesc":"打电话,微信,拍照"}

修改结果:
修改成功

四、总结

ElasticSearch 现在比较流行的全文搜索引擎,平时工作中用到的都是基础类型,有些情况下用到了嵌套类型字段,虽然数据在架构师清晰了,但是操作起来变的稍微复杂点,看情况使用吧。

ElasticSearch从入门到精通:数据导入 我是Jackpop,我们交个朋友吧!在第二部分中,我们学习了如何在ElasticSearch中执行搜索。但是,我们无法使用其批量API将.json数据文件导入ElasticSearch。在这部分中,我们将进行一些编程,并学习一些有关如何将.json飞行数据文件导入ElasticSearch的方法:ElasticSearch对数据格式有特定的格式要求: 这就意味着,你需要把下载的每一份json数据按照上述格式进行转换。主要满足如下2点:我们可以通过编写简单的Java程序,快速把json文件转换成对应格式: 最 阅读详情

相关推荐

SpringBoot整合Elasticsearch 添加数据 以及相关查询

SpringBoot整合Es

qq_44605317的博客 6698

ES 查询语句总结(2)内嵌对象查询

ES 查询语句总结(2)内嵌对象查询,并对内嵌的对象进行聚合等

LM813381916的博客 5104

Vue项目实战:海康WebControl插件从安装到预览功能全流程(附RSA加密避坑指南)

本文详细介绍了在Vue项目中集成海康威视WebControl插件的全流程,从环境准备、插件部署到核心功能实现。重点解析了使用JS_RequestInterface获取RSA公钥并进行加密参数初始化的关键步骤与常见避坑指南,帮助开发者高效完成监控视频预览功能的开发与调试。

linux6sysadmin的博客 1232

Elasticsearch 基本使用(二)简单查询 & 嵌套查询

【代码】Elasticsearch 基本使用(二)简单查询。

冰糖的博客 3134

PG-FP6编程器错误代码解析与高效排障实战指南

在嵌入式系统开发与量产烧录中,编程器是连接开发环境与目标硬件的重要桥梁。其工作原理是通过特定的通信协议(如UART、SWD)与微控制器(MCU)建立连接,完成程序代码的写入、擦除与校验。这项技术的核心价值在于确保固件能够准确、可靠地部署到硬件中,是产品从原型到量产的关键环节。在实际的工程实践中,尤其是在使用瑞萨(Renesas)PG-FP6这类编程器进行调试或批量生产时,工程师常会遇到各种通信失败、编程验证错误或电源异常等问题,这些问题往往以特定的错误代码形式呈现。深入理解这些错误代码背后的硬件连接、电源时

weixin_34387468的博客 584

SD-WAN组网案例——数据中心

SD-WAN组网案例——数据中心

2301_78457663的博客 713

es 嵌套对象查询

nested 类型用于处理嵌套的文档结构,其中一个文档中包含了另一个文档的数组。使用 es的自动类型推断,且是由多个对象组成。的数据,正常应该是没有的,但是结果却查出来了。是想要获取 goods中 包含。

qq_29744347的博客 2107

windows系统下,如何为comfyui如何安装triton

​ 有些加速插件、模型在安装的时候,比如说sageattention的安装,就需要提前安装triton这个包,不过这个包有点特殊,windows下略微不好装,经常会装失败。 🎠如何安装 之前也有人介绍过,要到github上找个wheel文件,找到对应的版本安装下就好了。 问题是:https://github.com/woct0rdho/triton-windows/releases 这个git地址上,已经找不到wheel文件了... ​

聚梦小课堂 4527

Elasticsearch嵌套字段的聚合操作

数据库字段 在之前介绍Elasticsearch字段的时候介绍过Elasticsearch的嵌套字段。在日常使用中,针对嵌套类型的聚合操作和普通字段类型有些许的不同。 嵌套类型 nested 是ES对对象数组设置的类型,它可以对对象数组进行索引。 我们插入一个这样的数据。 { "group" : "fans", "user" : [ { "first" : "Jo...

大风的博客 8307

从原理到实战:ARS548 4D毫米波雷达数据处理与多模态融合全解析

本文深入解析了4D毫米波雷达ARS548的工作原理与数据处理全流程。从FMCW测距测速、MIMO虚拟天线阵列到点云生成的三步FFT处理,提供了详尽的Python代码实现。文章进一步探讨了与激光雷达、相机的多模态时空对齐与融合策略,并指导如何构建用于自动驾驶感知训练的多模态标注数据集,为相关算法工程师提供了从理论到实践的完整指南。

weixin_29161719的博客 372

使用RustDesk或者AnyDesk的TCP隧道实现Codesys系列PLC的远程调试和下载

Codesys远程调试

exat500g的博客 7287

ElasticSearch学习随笔之简单操作

ElasticSerarch学习随笔之简单操作 ElasticSearch,创始人 Shay Banon(谢巴农) 本文主要讲解ElasticSearch 基础操作,Kibana 以及 java api 调用操作。 文章目录ElasticSerarch学习随笔之简单操作ElasticSearch,创始人 Shay Banon(谢巴农) 本文主要讲解ElasticSearch 基础操作,Kibana 以及 java api 调用操作。前言一、分词器测试二、索引的增删改2.1 新建索引2.1.1 新建最简单

qq_19283249的博客 3030

Python爬虫:爬取拼多多平台商品信息、销量、价格等数据

在本篇博客中,我们将深入探讨如何使用Python爬虫技术爬取拼多多平台的商品信息,包括商品的标题、销量、价格等详细数据。拼多多的商品页面通常是分页展示的,因此我们需要遍历多个页面,获取所有商品的信息。每个商品在拼多多平台上都有一个唯一的商品ID,我们可以通过该ID访问商品页面。通过以上的技术方案和代码示例,你已经掌握了如何使用Python爬虫获取拼多多平台上的商品信息、销量、价格等数据。等技术,解决拼多多平台的反爬虫机制,成功抓取我们所需的商品数据。,我们能够应对拼多多的反爬虫机制,稳定地获取到商品数据。

2201_76125261的博客 3663

ElasticSearch学习随笔之java api 操作

ElasticSerarch学习随笔之java api 操作 ElasticSearch,创始人 Shay Banon(谢巴农) 本文主讲 ElasticSearch Java api 调用操作。 文章目录ElasticSerarch学习随笔之java api 操作ElasticSearch,创始人 Shay Banon(谢巴农) 本文主讲 ElasticSearch Java api 调用操作。前言一、引入ES Client jar包二、操作案例2.0 实例化 ES Client 客户端2.1 增2.2

qq_19283249的博客 3830

[VCS]门级仿真及SDF反标

摘要:门级仿真在STA工具普及后仍是验证的重要环节,主要用于检查SDC完备性、异步电路时序、网表完整性及为功耗分析提供波形。门级仿真分为不带时序反标的前仿和带SDF反标的后仿,后仿需加载SDF文件提供精确延时信息。VCS提供多种仿真选项控制时序检查行为,SDF反标可通过命令或系统函数实现。后仿需特别注意关闭notimingcheck选项以确保时序检查有效性,并建议检查SDF反标报告和波形验证延时一致性。

元直的博客 9801

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

ElasticSearch学习随笔之SpringBoot Starter 操作

总结 spring boot 如何操作 ES,以及简单快速上手的案例,单元测试,可复制执行。

qq_19283249的博客 1567

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

ElasticSearch学习随笔之分词算法

本文主要对ElasticSearch分词算法进行简单讲解,在了解算法之前,我们先要知道两点,什么是相关性和相关性算分。站在用户的角度来看,检索是什么呢?是否找到所有相关的内容。是否得到了很多内容是不相关的。排在最前面的搜索结果打分是否合理。结合需求,结果排名是否平衡。那如何衡量相关性呢?Precision(查准率),尽可能的返回较少的无相关的文档。Recall(查全率),尽量返回较多的相关的文档。Ranking(排序),能够按照相关性进行排序。

qq_19283249的博客 2713

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

ElasticSearch学习随笔之基础介绍

ElasticSerarch学习随笔 ElasticSearch基础操作 文章目录ElasticSerarch学习随笔前言一、ElasticSearch是什么?1.1 ElasticSearch 与 Lucene 的关系ES 解决Lucene使用缺点的最好方案二、基本操作1.2.读入数据总结 前言 此文章仅仅对ElasticSearch基础操作进行记录,方便后续工作中使用,一些查询可以从这里cpoy CQL 一、ElasticSearch是什么? ElasticSearch(简称 ES) 是用 JAV

qq_19283249的博客 3001

Elasticsearch学习-嵌套文档

本文以Elasticsearch 6.8.4版本为例,介绍Elasticsearch嵌套文档的使用。 最近一段时间都在搞Elasticsearch搜索相关的工作,总结一下搜索知识点供大家参考。 在Elasticsearch取消了多个索引内创建多个type的机制,由于场景需要,所以调研了嵌套文档和父子文档 以文章和文章留言为例,嵌套文档都在一个文档内,而父子文档则分开存储了父文档与子文档,本...

大老杨的博客 2102

Elasticsearch聚合的嵌套桶如何排序

在elasticsearch的聚合查询中,经常对聚合的数据再次做聚合处理,这样的聚合结果如何进行排序呢,本文将对此展开讨论和实践。

程序员欣宸的博客 1万+

Elasticsearch - Elasticsearch 中的 “嵌套对象” 查询方法

本文深入探讨了Elasticsearch中的嵌套对象(nested)查询方法。首先分析了标准object类型的局限性,指出其扁平化存储会导致对象边界丢失,无法进行精确的跨字段组合查询。随后详细介绍了nested类型的特点和优势: nested类型将每个嵌套对象存储为独立的Lucene文档,保留对象边界 支持精确的对象级查询和多字段组合条件匹配 提供完整的嵌套聚合功能 文章对比了object与nested类型的差异,包括存储方式、查询精度、性能表现等核心维度,并给出了类型选择的最佳实践建议。同时通过实例演示了

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

最新版ES8的client API操作 Elasticsearch Java API client 8.0

我们在学习ES客户端时,一直使用的都是`Java High Level Rest Client`,在浏览官网时,发现官方给出的警告是:`Java REST` 客户端已被弃用,取而代之的是 `Java API client` 客户端,ES `8.x` 新版本中,`Type` 概念被弃用,所以新版 `JavaAPI` 也相应做出了改变,使用更加简便。ES 官方从 `7.15` 起开始建议使用新的 `JavaAPI` 如何使用最新的 `Elasticsearch Java client 8.0` 来创建索引并进

ShockChen7的博客 1万+

es 时间字段聚合_ElasticSearch 学习记录之ES几种常见的聚合操作

ElasticSearch 系列文章ES几种常见的聚合操作普通聚合POST /product/_search{"size": 0,"aggs": {"agg_city": {"terms": {"field": "departureCitys" //字段}}}}父子结构的索引的聚合POST product/_search{"size": 0,"aggs": {"months": {"childre...

weixin_39525812的博客 584

Easy-Es实战教程:如何优雅处理嵌套文档与父子关系

在现代搜索引擎应用开发中,处理复杂数据结构是提升查询效率的关键。Easy-Es作为一款高效的Elasticsearch ORM框架,提供了简洁的API来处理嵌套文档和父子关系,帮助开发者轻松应对复杂数据建模需求。本文将通过实战案例,带你掌握Easy-Es中嵌套文档与父子关系的核心用法,让你的Elasticsearch操作更上一层楼。 ## 嵌套文档 vs 父子关系:核心概念解析 在Elasti

gitblog_00631的博客 696

Elasticsearch基础学习-常用查询和基本的JavaAPI操作ES

关于ES数据库的和核心倒排索引的介绍一、Elasticsearch概述简介关于全文检索引擎关系型数据库的全文检索功能缺点全文检索的应用场景Elasticsearch 应用案例二、Elasticsearch学习准备安装下载关于es检索的核心-倒排索引正向索引(forward index)倒排索引(inverted index)三、使用kibana执行ES的操作索引创建全部索引查询单个索引查询删除索引创建文档Dynamic mapping 动态映射的说明指定id创建文档主键查询GET方式全查询POST方式全查询

后端开发 3907

ES更新嵌套数组(使用Java API)

最近在学习ElasticSearch,前些天在工作中遇到一个难以解决的问题,问题正如标题所示在使用Java TransportClient更新ES复杂数据结构数组,最后请教大佬问题得以解决。此文章将详细描述问题并提供解决办法。 博主要更新的数据格式大致如下: 原数据:一个嵌套类型的数组 "list":[ { "code":"9111364", "name":"企...

qq_34982426的博客 4692
上一篇: 微服务学习之Nacos(配置中心)
下一篇: Spring 学习之扩展点总结之后置处理器(一)
YPhen
博客等级 码龄12年 470粉丝 88原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址