es搜索 核心指标_Elasticsearch搜索引擎详解系列(1)

Elasticsearch以下简称ES,ES是使用Java编写的一种开源搜搜引擎,它在内部使用Lucene做索引与搜索,然后es不仅仅是Lucene,并且也不仅仅只是一个全文搜索引擎。

可以这样形容ES

  1. 一个分布式的实时文档存储,每个字段可以被索引与搜索。
  2. 一个分布式实时分析搜索引擎
  3. 能胜任上百个服务节点的扩展,并支持PB级别的结构化或者非结构化数据。

ES核心概念

集群(cluster):由一个或多个节点组成,并通过集群名称与其他集群进行区分

节点(node):单个ES实例。通常一个节点运行在一个隔离的容器或虚拟机中

分片(Shards):

ES支持PB级全文搜索,当索引上的数据量太大的时候,ES通过水平拆分的方式将一个索引上的数据拆分出来分配到不同的数据块上,拆分出来的数据库块称之为一个分片。

ES自动管理和组织分片,并在必要的时候对分片数据进行再平衡分配,所以用户基本上不用担心分片的处理细节。

在一个多分片的索引中写入数据时,通过路由来确定具体写入哪一个分片中,所以在创建索引的时候需要指定分片的数量,并且分片的数量一旦确定就不能修改。

为什么主分片不可变,举例来说:索引初始化时候默认分配5个分片,假如索引一个document id=5,根据ES文档路由原理该document应该被分配到shard=hash(5)%5=3 P3的分片上,这时候如果添加一个主分批拿,此时shard=hash(5)%6=5,那么根据计算就会定位到P5的分片上。而我们的数据再P3分片上。所以ES集群无法修改主分片数。

技术上来说,一个主分片最大能够存储Integer.MAX_VALUE-128个文档,但是实际最大值还需要参考你的使用场景。

在索引建立的时候就已经确定了主分片数,但是副本分片可以随时修改,索引内任意一个文档都归属于一个主分片,所以主分片的数据决定这索引能够保存的最大数据量。索引在默认情况下会被分配5个主分片。

副本(Replicas)

副本是对主分片的copy,每个主分片都有一个或多个副本分片,当主分片异常时,副本可以提供数据的查询等操作。

主分片和对应的副本分片是不会在同一个节点上的,所以副本分片数的最大值是N-1(N为节点数)

ES为了提高写入能力这个过程是并发写的,同时为了解决并发写的过程中数据冲突的问题,ES通过乐观锁(对应关系型数据库的悲观锁)的方式控制。每个文档都有一个_version(版本)号,当文档被修改是版本号递增。

副本越多,集群的可用性就越高,但是由于每个分片都相当于一个Lucene文件,会占用一定的文件句柄、内存及CPU。并且分片间的数据同步也会占用一定的网络宽带,所以索引的分片数和副本数也不是越多越好。

索引(index):index是保存相关数据的地方,索引实际上是指向一个或者多个物理分片的逻辑命名空间。事实上,我们的数据被存储和索引在分片中,索引只是一个把一个或多个分片分组在一起的逻辑空间,然而内部的一些细节不需要我们关心,文档存储在索引中。

类型(type):我们可以使用相同的类型表示相同的事物,因为他们的数据结构是相同的,每个类型都有自己的映射或结构定义,所有类型下的文档被存储在同一个索引下。

文档(document):一条记录,类似数据库中的一列。在es中,它是指最顶层根对象,这个根对象呗序列化成JSON并存储到ES中,指定了唯一的ID。

映射(mapping):映射是用于定义ES对索引中字段的存储类型、分词方式和是否存储等信息,就像数据库中的Schema,描述了文档可能具有的字段或属性、每个字段的数据类型。

下一篇简介更多ES的原理以及使用,敬请期待........

假如生活欺骗了你,

不要悲伤不要心急!

忧郁的日子里需要镇静;

相信吧,快乐的日子将会来临!

心儿永远向往着未来;

现在却常是忧郁。

一切都是瞬息,一切都将会过去;

而那过去了的,就会成为亲切的怀恋。

977d8c2d36ccc3c0db30a34f9768421a.png
ElasticSearch架构原理 ElasticSearch 本文主要介绍了ElasticSearch的架构原理,存储模型,近实时搜索原理和常用插件es-head和es-sql的简单安装。 参考: http://developer.51cto.com/art/201904/594615.htm https://blog.csdn.net/wangnan9279/article/details/79287846 http://www... 阅读详情

相关推荐

ElasticSearch特点|B+Tree|lucene倒排索引结构|lucene与elasticsearch的关系|基本概念

ElasticSearch特点 1. 天然分片,天然集群: es 把数据分成多个shard,下图中的P0-P2,多个shard可以组成一份完整的数据,这些shard可以分布在集群中的各个机器节点中。随着数据的不断增加,集群可以增加多个分片,把多个分片放到多个机子上,已达到负载均衡,横向扩展。 这种集群分片的机制造就了elasticsearch强大的数据容量及运算扩展性。 在实际运算过程中,每个查询任务提交到某一个节点,该节点必须负责将数据进行整理汇聚,再返回给客户端,也就是一个简单的节点上进行Map计算,

SmallScorpion 2015

ElasticSearch架构介绍及原理解析

目录 简介 架构原理 基本概念与MySQL的对比 分片机制 document路由原理 集群发现机制 shard&replica规则 避免脑裂 负载均衡 相关配置 容错过程与选举机制 扩容机制 容错机制 Lucene 结构原理 ​ Lucene索引实现 DocValues 关于ES索引与检索分片 运行原理解析 倒排索引说明 检索倒排索引 分词器Analyzer 建立索引和类型 分片内文档写入流程场景 多个分片的文档写入场景 确定文档存储位置 同步

不积跬步无以致千里 不积小流无以成江海 5515

Elasticsearch搜索引擎

本篇博客系统地介绍了Elasticsearch 7.14.0在windows环境下安装、基本使用、Springboot集成Elasticsearch以及ELK搭建。

weixin_44490884的博客 1685

Elasticsearch架构原理

1、Elasticsearch的节点类型 在Elasticsearch主要分成两类节点,一类是Master,一类是DataNode。 1.1 Master节点 在Elasticsearch启动时,会选举出来一个Master节点。当某个节点启动后,然后使用Zen Discovery机制找到集群中的其他节点,并建立连接。 discovery.seed_hosts: ["192.168.21.130", "192.168.21.131", "192.168.21.132"] 并从候选主节点中选举出.

chuixue24的博客 6388

电商场景下 ES 搜索引擎的稳定性治理实践

本文将介绍在完成了第一阶段对可支持从千万级到亿级商品量级搜索系统的搭建后,介绍一些扩容无法解决的 ES 性能问题,即对相关 ES 搜索引擎的稳定性治理实践。

字节跳动云原生计算官方账号 1819

ES elasticsearch 从入门到放弃-ELK和ELS简介

https://www.carc.top/post/90.html ELK解决方案 ELK是什么? ELK = ElasticSearch + Logstash + Kibana 这是一套开源的大型分布式的日志分析、搜索引擎解决方案。 随着技术的发展,ELK不局限于那三者,又有了Beats,因此社区通常不再说ELK,而是说ElasticStack(下文简称 ElasticStack),也就是以ElasticSearch为核心的技术栈。 ELS各个组件有什么作用? 如下图所示: Beats 用于采集一切数

欧阳金城-武 4677

Elasticsearch-1--什么是ES?

Elasticsearch以其分布式架构、实时搜索、灵活的数据模型和丰富的生态系统,成为大数据领域不可或缺的工具。无论是日志分析、搜索引擎还是实时监控,ES都能提供高效、可扩展的解决方案。然而,其复杂性和资源消耗也要求开发者具备一定的运维和调优能力。随着云原生和实时分析需求的增长,Elasticsearch的应用场景将持续扩展。Elasticsearch是当前最流行的分布式搜索与分析引擎,特别适合:需要快速搜索 + 复杂分析 + 实时响应的场景。

weisian的博客 3万+

搜索引擎之王:Elasticsearch从入门到精通

文章摘要: Elasticsearch是一个分布式、RESTful的开源搜索分析引擎,基于Apache Lucene构建,能够快速处理海量数据的搜索、存储与分析。其核心特性包括分布式架构、实时索引、高可用性和多功能性,适用于全文检索、日志分析、业务监控等场景。Elasticsearch的核心概念包括集群、节点、索引、文档和分片,通过横向扩展和副本机制实现高性能与高可用性。随着版本迭代,类型(Type)概念逐渐被移除,建议每个索引仅存储一种文档类型。本文将从基础原理到高级实践,全面解析Elasticsearc

wylee的博客 1271

Elasticsearch8(ES)保姆级菜鸟入门教程

干活!!实在是干活!两万字教程,本文详细解释了Elasticsearch8的核心概念(index、mapping、documents),包括ik分词器和客户端的安装与使用,以及Elasticsearch8中所有最常用的查询,以及标注了所有的关键词,并整合Spinrboot3进行实战开发。

TinpeaV的博客 1万+

运维学习————运维日志分析系统es——Elasticsearch

Elasticsearch 是一个分布式的开源搜索和分析引擎,适用于所有类型的数据,包括文本、数字、地理空间、结构化和非结构化数据。Elasticsearch 在 Apache Lucene 的基础上开发而成,由 Elasticsearch N.V.(即现在的 Elastic)于 2010 年首次发布。Elasticsearch 以其简单的 REST 风格 API、分布式特性、速度和可扩展性而闻名,是 Elastic Stack 的核心组件

m0_73376570的博客 2180

VerilogEval实战指南:从基准测试到模型微调的全流程解析

本文提供了VerilogEval实战指南,详细解析了从基准测试到模型微调的全流程。VerilogEval是一个自动化、标准化的测试框架,用于客观评估大语言模型生成Verilog硬件代码的能力。文章涵盖了环境搭建、核心机制解析、利用其生成合成数据进行模型微调的策略,以及如何将其工程化集成到自动化评估流程中,为硬件设计领域的AI应用提供了完整的方法论。

yy01234的博客 1007

【Elasticsearch】Elasticsearch 的核心概念

Elasticsearch 是一个基于 Apache Lucene 的开源搜索引擎。无论在开源还是专有领域,Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。

Data · Model · Agent · Repeat 1667

从零开始玩转Franka Panda机器人

本文总结了笔者在学习使用Franka Panda机器人时的一些方法和经验总结。

止于至玄 1万+

K8S部署ELK(三):部署Elasticsearch搜索引擎

K8S部署ELK(三):部署Elasticsearch搜索引擎

weixin_74812406的博客 1436

跟着Cell学单细胞转录组分析(五):单细胞转录组marker基因鉴定及细胞群注释

书接上回(跟着Cell学单细胞转录组分析(四):单细胞转录组测序UMAP降维聚类)。完成数据降维和细胞聚类后,最主要的环节和工作就是确定各个细胞群,明确是什么类型的细胞,正群的细胞定群很关键,涉及到整个研究,所以这一步宁愿多费时间,也不要出错。当然,这也不是一蹴而就的,需要反复的确认。 要确定各个群是什么细胞,首先需要了解细胞群的marker基因,因为不同类型的细胞突出 表达的基因也是不同的。这里使用FindAllMarkers鉴定各个细胞群的高表达基因。 DefaultAssay(scedata)

qq_42090739的博客 1万+

基于Matlab与Gurobi的园区微电网风光储协同规划:从独立运营到联合优化的建模实战

本文详细介绍了如何利用Matlab与Gurobi进行园区微电网的风光储协同规划建模实战。通过构建从独立运营到联合优化的数学模型,结合Yalmip工具箱,旨在解决源荷不匹配问题,实现储能系统的最优配置与运行,从而降低总供电成本并提升新能源利用率。

weixin_29053073的博客 147

搜索引擎之Elasticsearch

*简介:**ES全称:Elasticsearch,是一个基于Lucene库的搜索引擎。它提供了一个分布式、支持多租户的全文搜索引擎,具有HTTP Web接口和无模式JSON文档。Elasticsearch是用Java开发的,并在Apache许可证下作为开源软件发布。Elasticsearch官网:https://www.elastic.co/cn/products/elasticsearch。

aRtHuR1207的博客 1166

Linux系统之部署经典魔塔小游戏

Linux系统之部署经典魔塔小游戏

jks212454的博客 1840

搜索引擎Elasticsearch简介实践

前言 之前在寻找日志收集搜索解决方案时,最常看到的便是 ELK:Elasticsearch + Logstash + Kibana 方案。尽管由于它对服务器资源要求很高转而使用 了 Loki,但也对它初步研究过。今天,就对其中的 Elasticsearch 深入了解一番。 Elasticsearch 介绍 Elasticsearch 是一个开源的搜索引擎,我们可以用它来处理文本、地理空间(如坐标)、结构化(如 DB 里的表)、非结构化(如报表、图片)等数据,然后通过简单的 REST API 对其搜索。它的最

yue_xin_tech 2510

如何使用Python爬取并保存网页上的所有附件

爬虫(Crawler)是一种自动化程序,它通过模拟人工访问网页并下载网页上的数据或文件,常用于数据采集和分析。爬虫通常以“爬取”的形式自动浏览和提取网页中的各种信息。本文详细介绍了如何使用Python爬取并保存网页中的附件文件,涵盖了网页解析、文件下载、多线程与异步优化等内容。希望通过本文的讲解,能够帮助你理解并掌握附件爬取的技巧。在实际应用中,爬虫开发不仅需要解决技术问题,还要遵守网络道德和法律法规,避免不当使用爬虫造成负面影响。

2201_76125261的博客 968

STM32F4 SPI FLASH(W25Q128)驱动详解(含DMA+完整读写擦除+低功耗)

本文实现了一款基于STM32 HAL库的SPI Flash驱动,以W25Q128为例,提供了完整的初始化、读写、擦除、ID读取等功能。驱动集成了DMA传输、超时保护、页对齐写入等特性,支持扇区擦除、整片擦除、页写入及跨页缓冲写入。代码结构清晰,易于移植到其他SPI Flash型号(如W25Q64、W25Q16等),适用于数据存储、固件升级、文件系统等嵌入式场景。

kevin1499的博客 98

Elasticsearch 搜索引擎基础知识详解

本文介绍了Elasticsearch搜索引擎的核心原理与应用。在大数据时代,Elasticsearch凭借倒排索引和分布式架构,解决了传统数据库在全文检索、模糊匹配等方面的不足。文章详细阐述了搜索引擎的评价指标(精准率、召回率、F1值)和倒排索引的实现原理(包括Term Dictionary、Posting List及压缩算法)。同时分析了全文检索流程中的分词器作用和查询优化策略。最后指出Elasticsearch在电商搜索、日志分析等场景中的典型应用价值,为构建高效搜索系统提供了理论基础和实践指导。

持续输出Java相关知识 889

浅谈银行内部户治理

为避免该问题的发生,对内部户入账类交易,或内部户是可透支的账户(如系统间往来),可考虑通过异步方式更新账户余额(当然,根本上还是要考虑银行业务量的实际,异步消息接口很多时候没有同步接口方便),另外,在进行内部户余额更新时,可以通过定时的借贷方发生额轧差的方式,将多次的锁请求,简化为一次(当然,发生额明细本身在加工账户交易历史时,是不能汇总的)。内部户在银行系统中,属于业务属性较少,实现相对简单,原理也很容易讲清的系统,但管中窥豹,越是基础的东西,越能看出一家银行业务、内控的专业程度。

银行信息系统应用架构详解 806

Elasticsearch 入门指南:从零开始学搜索引擎

是一款基于 Lucene 的分布式搜索引擎,它不仅支持高效的全文检索,还能处理结构化数据的复杂查询。对于一个大三学生来说,掌握 Elasticsearch 的基础知识不仅能提升你的技术栈,还能为未来的实习或工作增添一份竞争力。通过本文的学习,相信你已经对 Elasticsearch 的核心概念、基本操作以及一些实用技巧有了初步的了解。在当今的信息时代,搜索功能几乎是每个应用程序的核心需求。无论是电商网站的商品搜索、社交媒体的内容检索,还是日志分析中的关键词查找,搜索都在发挥着不可或缺的作用。

Leaton的博客 1274

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Logstash输入Kafka输出Es配置

Logstash是一个开源的数据收集引擎,具有实时管道功能。它可以从各种数据源中动态地统一和标准化数据,并将其发送到你选择的目的地。Logstash的早期目标主要是用于收集日志,但现在的功能已经远远超出这个范围。任何事件类型都可以通过Logstash进行分析,通过输入、过滤器和输出插件进行转换。Logstash的工作原理是使用管道方式进行日志的搜集处理和输出。这个管道包括三个阶段:输入、处理和输出。输入插件从数据源那里消费数据,过滤器插件根据你的期望修改数据,输出插件将数据写入目的地。

技术人集结地 4193

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Elasticsearch vs Solr 全面对比:2025 最新选型指南

和Solr是目前全球最主流的两大开源全文检索引擎,均基于Lucene开发,核心检索能力同源,但在分布式架构、生态、易用性、运维成本、社区活跃度上有巨大差异。ES 和 Solr 到底有什么区别?新项目该选哪一个?高并发、大数据、微服务场景谁更强?本文从核心区别、架构、分布式、性能、生态、运维、选型建议全方位对比,用流程图、对比表、通俗总结让你一次性看懂,不再踩坑!天生分布式、开箱即用、生态强大、云原生、主流首选Solr传统检索引擎、功能全面、大数据结合好、部署复杂、社区衰退。

✨ 欢迎来到【Seal ^_^ 的CSDN博客】!✨ 2024
上一篇: 中常用的函数_mmcv中常用的一些功能及函数
下一篇: gridview不显示bit_色彩要求高?这款27寸2K +10.7亿色的显示器工作娱乐都适合
米凯勒 法比恩
博客等级 码龄7年 19粉丝 93原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址