ES实战系列-Elasticsearch介绍

搜索引擎优化:从策略到实战的全面指南 本文深入探讨了搜索引擎优化(SEO)的基本策略和实战技巧。首先,强调了关键词分析的重要性,并指导如何创建可读且含有关键词的网页。接着,介绍了如何在主要搜索引擎中注册并优化网站,以及如何通过其他网站的链接来提升网站排名。文章还讨论了在特定业务领域内注册的重要性,以及如何使用付费点击(Pay Per Click)策略。此外,本文强调了创建有用且对访客有价值的内容是SEO成功的关键,并分享了如何使网站对搜索引擎友好,同时又能够吸引和保持用户的注意。 阅读详情

Elasticsearch介绍

优势

  • 高可用
  • 海量数据搜索、PB级
  • 便于扩展,可以很方便增加一个节点
  • 实时的,延时低于1ms

全文检索

Lucene词汇表和架构

  • 文档(Document): 索引和搜索时的主要数据载体,包含一个或多个现存有数据的字段
  • 字段(field): 文档的一部分,包含名称和值两部分
  • 词(term): 一个搜索单元,表示文本中得一个单词
  • 标记(token): 表示在字段中出现词得属性,又词得文本、开始和结束偏移量以及类型组成

使用案例

  • Github
  • 维基百科
  • 百度

对比Elasticsearch和Solr

  • Solr利用zookeeper分布式管理,Elasticsearch自带分布式协调管理能力
  • Solr支持更多的数据,ES仅支持json
  • Solr官方提供的功能更多,es有很多第三方插件
  • Solr在传统的搜索应用好于es,es处理实时应用搜索效率更好

对比Elasticsearch和splunk

JSON

  • JSON(JavaScript Object Notation)是一种轻量级的数据交换格式,不仅易于人们阅读和编写
  • json基本数据类型
    • 数字:有符号的十进制数字,可能包含小数部分,也可能使用指数E表示法,但不能包括非数字,如NaN。该格式不区分整数和浮点数。
    • 字符串:0个或多个Unicode字符的序列。字符串用双引号分隔,并支持反斜杠转义语法。
    • 布尔值:为true或false的任一值。
    • 数组:0个或多个值的有序列表,每个值可以是任何类型。数组使用方括号符号,元素以逗号分隔。
    • 对象:名称/值对的无序集合,其中名称(也称为键)是字符串。由于对象旨在表示关联数组,推荐每个键在对象内是唯一的。对象用大括号分隔,并使用逗号分隔每对,而在每一对中,用冒号(:)将键或名称与其值分隔开
    • null:一个空值,使用单词null

ES基础

  • ES把输入文档和复杂的查询语法及输出的查询结果封装为XContent,数据就可以采用XML和JSON格式表示成可读的形式

  • 使用RESTFul API隐藏Lucene的复杂性

  • Lucene是由一个Java语言开发的开源全文检索引擎工具包。把Lucene用Netty封装成服务,使用JSON访问就是Elasticsearch,底层是Luecen

  • 内置了对分布式集群和分布式索引的管理,所以相对Solr来说,不需要额外安装ZooKeeper,其更容易分布式部署

  • 搜索系统整体架构

    image-20200727183334227

ES结构主要特征

  • 每一个运行的实例称之为一个节点,可以在同一台计算机上运行多个实例,也可以在每台计算机上只运行一个实例
  • 多个运行的实例可以组成一个集群,集群中存在一个动态选举出的一个主节点(master),主节点宕机,会自动选出新的主节点,所以不存在单点故障
  • 为了实现容错,Elasticsearch把查询文档集合分解为多个小的索引,每一个小的索引称之为==分片(shard),每一个分片都可以有0到多个副本(replicas),每一个副本==都是分片的完整复制品,这样提高了查询速度
  • 通过**Gateway来管理集群恢复,可以配置集群加入多个节点才能启动恢复数据。网关配置用于恢复任何失败的索引,当节点崩溃重新启动时,Elasticsearch将网关读取所有的索引和元数据**
  • Transport:内部节点或者集群客户端之间的交互方式,默认使用TCP协议进行交互,同时支持HTTP协议(JSON格式)、Thrift,Servlet,Memcached,ZeroMQ等多种传输协议
  • 支持多种扩展插件

数据架构的主要概念

  1. 索引(Index)

    • 逻辑数据的存储单元,相当于RDBMS的数据库
    • 其结构为快速有效的全文索引准备,不存储原始值
    • ES把索引放在一台或多台服务器上
  • 每个索引有一个多个分片(Shards),每个分片可以有多个副本(replica)
  1. 文档(document)

    • 存储在ES中的主要实体,相当于RDBMS中的一行记录
    • 在文档中,相同字段必须有相同类型
    • 多值字段(multivalued):文档由多个字段组成,每个字段多次出现在一个文档里
  2. 文档类型

    • 一个索引对象可以存储很多不同用途的对象

    • 相当于Mysql中的表
  3. 映射

    • ES在映射中存储有关字段的信息,每一个文档类型都有自己的映射

Elasticsearch主要概念

  1. 节点和集群

  2. 分片

    • 作用:解决遇到大量文档时,内存限制、硬盘能力、处理能力不足、无法快速响应,可以把数据拆分成shard,存放在不同节点上,其中每个分片都是一个独立的索引,
    • 查询的索引分布在多个**分片**上,ES会把查询发送给每个相关的分片,并将结果合并在一起
    • 应用程序并不知道分片的存在,多个分片可以加快索引
  3. 副本(replica)

    • 作用:为了提高查询吞吐量和实现可用性
    • replica是一个分片的精确复制,每个分片有零个或多个副本
    • 主分片(primary):被动选择更改索引操作,其余成为副本分片(replica shard)
    • 主分片丢失,该分片数据在集群不可用,集群将提升副本为新的主分片
  4. Query DSL

    • 查询语言
  5. 时光之门

索引建立和搜索

*

  • Elasticsearch使用文档的唯一标识符来计算文档应该被放到哪个分片中

  • 执行搜索请求

    image-20200728113204001

ES与关系型数据库(RDBMS)对比

ElasticsearchRDBMS
ClusterDatabase
ShardShard
Indextable
FieldColumn
DocumnetRow

image-20200730111038866

分词器

  • 从一串文本切分出一个一个的词条,对词条进行标准化

  • 包括三部分

    • character filter: 分词前的预处理,过滤HTML标签,特俗符号转换
    • tokenzier:分词
    • token filter:标准化
  • 内置分词器

    image-20200730125636189

HTTP协议

  • 客户端发起一个到服务器指定端口的http请求,服务器端按指定格式返回网页或者其他网络资源

image-20200727185414248

  • URL

    image-20200727185925968

Vitis 安装与环境配置完全指南:从版本选择到 License 避坑 在 FPGA 和自适应 SoC 的开发流程中,统一的软件平台是连接硬件设计与嵌入式软件的关键桥梁。Vitis 作为 AMD/Xilinx 推出的统一工具平台,集成了传统嵌入式开发、HLS 高级综合以及基于 OpenCL 的加速应用开发能力,其核心定位是让开发者能够更高效地完成从硬件平台到应用交付的全链路工作。然而,工具链的落地往往受制于版本匹配、环境变量、系统依赖库以及许可证授权等基础环节。版本选型需与 Vivado 严格绑定,磁盘空间和组件范围影响安装成功率;Windows 与 Linux 下的环境配置各 阅读详情

相关推荐

开源人形机器人硬件生态:关键技术、产业链与低成本突破 | OpenLoong 社区线下分享会

本文将深入探讨人形机器人硬件平台的关键技术、产业链与核心部件以及降低成本的策略。从硬件平台的核心技术,到机器人核心零部件的详细介绍,再到产业链各环节的协同发展以及实现低成本化的创新思路,将一同剖析人形机器人迈向广泛应用所面临的挑战与机遇,展望其未来的发展趋势,为开发者和相关从业者提供一些参考与启示。

OpenLoong_的博客 2423

ES应用实战

es操作

聪聪 1748

Polyworks宏脚本开发入门:5分钟搞定环境搭建与基础命令录制

本文详细介绍了Polyworks宏脚本开发的入门指南,包括环境搭建、基础命令录制和核心对象操作。通过5分钟快速启动开发模式,掌握自动化操作流程和脚本调试技巧,帮助工程师高效完成工业测量与三维检测任务。

weixin_29306875的博客 548

ElasticSearch实战

ElasticSearch实战

LMY0210的博客 1223

【Flink on k8s】- 1 - Flink Kubernetes Operator 简介 2023

Flink Kubernetes Operator 可以与 Kubernetes 的其他功能和工具集成,可以帮助用户快速定位和解决问题。Flink Kubernetes Operator可以在Kubernetes上实现高可用性,以确保 Flink 集群的稳定性和可靠性。Flink Kubernetes Operator 可以快速地部署 Flink 集群,而无需手动配置和管理集群。Flink Kubernetes Operator可以将Flink集群与其他应用程序隔离,以避免资源争用和干扰。

欢迎来到我的博客,一起探索代码里的世界! 1358

(第100天)Oracle GoldenGate 常见故障处理指南

OGG 运维的核心在于细致的配置管理和主动的问题排查。熟悉常见错误、掌握关键操作流程、并善用日志和调试工具,是保障数据同步任务稳定运行的关键。希望这份指南能帮助您更高效地解决 OGG 同步中遇到的问题。祝您运维顺利!

LuciferLiu_DBA 309

硬核 ES 实战

上篇我们讲到了 Elasticsearch 全文检索的原理《别只会搜日志了,求你懂点原理吧》,通过在本地搭建一套 ES 服务,以多个案例来分析了 ES 的原理以及基础使用。这次我们来讲下 Spring Boot 中如何整合 ES,以及如何在 Spring Cloud 微服务项目中使用 ES 来实现全文检索,来达到搜索题库的功能。而且题库的数据量是非常大的,题目的答案也是非常长的,通过 ES 正好可以解决 mysql 模糊搜索的低效性。通过本实战您可以学到如下知识点:Spring Boot 如何整合 ES。

程序员高级码农的博客 1370

5.17华为OD机试真题 新系统 - 输出二叉树后序遍历结果 (Java/Py/C/C++/Js/Go)

5.17华为OD机试真题 新系统 - 输出二叉树后序遍历结果 (Java/Py/C/C++/Js/Go)

算法大师! 529

5个 elasticsearch实战应用案例和详细分析

,"mate70, 非凡大师"},"name": {},通过同义词分析器,用户搜索“ huawei mate”时也可以匹配到包含“mate”的文档,从而进一步提升搜索的准确性。小结一下通过上述步骤,我们可以实现一个完整的 Elasticsearch 全文搜索与高亮显示的功能。这个功能适用于电商平台、博客搜索、文档系统等多种业务场景,提供快速、高效、用户友好的搜索体验。这五个案例涵盖了 Elasticsearch 在全文搜索、日志分析、推荐系统、数据聚合与筛选、地理位置搜索等典型业务场景中的应用。

威哥爱编程,华为 HDE,鸿蒙极客、CSDN博客专家、《鸿蒙 HarmonyOS 5/6 开发之路》系列图书第一作者 3608

ComfyUI报错ModuleNotFoundError: No module named ‘comfy.options‘

好家伙,我一想我刚刚好像用了pip安装了comfy模块,不会是和ComfyUI自带的comfy模块产生冲突了吧。(3)还有的说是项目不是最新版,叫更新到最新版本的,好家伙,我报错之前根本没更新也没错,突然就报错的。(4)还有的说没有comfy.options这部分代码,叫自己去拉一个,我一看也有啊。我也不知道啥时候脑抽风去装这么个东西的,幸好我聪明机智,一眼就知道了。看把我气的,然后网上搜集各种资料,一个一个去试。

满目星辰 5172

【C++】DDS:FastDDS环境配置与使用示例

FastDDS环境配置与使用示例

DevFrank的博客 6516

ElasticSearch快速入门实战

全文检索是一种通过对文本内容进行全面索引和搜索的技术。

Zhuxiaoyu_91的博客 2299

FPGA实现DDR接口

verilog// DDR2控制器状态机// 初始化序列// 发出初始化命令endendendend// 自动预充电end// 其他状态...endcaseendend。

whm128的博客 1012

ElasticSearch搜索引擎教程—>实战篇 1:目录

面试前的“练手”还是很重要的,所以开始面试之前一定要准备好啊,不然也是耽搁面试官和自己的时间。我自己是刷了不少面试题的,所以在面试过程中才能够做到心中有数,基本上会清楚面试过程中会问到哪些知识点,高频题又有哪些,所以刷题是面试前期准备过程中非常重要的一点。一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!试辅导),让我们一起学习成长!**

2401_84023604的博客 403

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Elasticsearch聚合学习之四:结果排序

在前面的实战中,聚合的结果以桶(bucket)为单位,放在JSON数组中返回,这些数据是没有排序的,今天来学习如何给这些数据进行排序。

程序员欣宸的博客 1万+

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

2019新版《龙果学院Elasticsearch顶尖高手系列(高手进阶篇教程)》

课程简介:龙果学院Elasticsearch顶尖高手系列-高手进阶篇 视频教程----------------------01.课程介绍02.用大白话告诉你什么是Elasticsearch03.Elasticsearch的功能、适用场景以及特点介绍04.手工画图剖析Elasticsearch核心概念:NRT、索引、分片、副本等05.在windows上安装和启动Elasticseach06....

weixin_44995021的博客 978

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

java与es8实战之一:以builder pattern开篇

欣宸原创《java与es8实战》系列的开篇,重温经典,夯实基础,再出发

程序员欣宸的博客 1613

ElasticSearch实战系列四: ElasticSearch理论知识介绍

前言 在前几篇关于ElasticSearch的文章中,简单的讲了下有关ElasticSearch的一些使用,在将这些使用方法的时候又总是不得不讲下一些理论知识,虽然本人是一个实战派,不太喜欢将这些理论知识,因为这块可以查看官方文档,那里会写得很详细。但是在使用了ElasticSearch 但是越写越发现还是得写一篇有关ElasticSearch有关的理论知识文章的,这样有利于在后续的文章中。 在上...

虚无境的博客 715

ElasticSearch实战系列九: ELK日志系统介绍和安装

前言 本文主要介绍的是ELK日志系统入门和使用教程。 ELK介绍 ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具。 Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索

虚无境的博客 1362

自然语言处理系列四十七》Elasticsearch搜索引擎》Elasticsearch代码实战

【配套新书教材】《自然语言处理原理与实战》(人工智能科学与技术丛书)【陈敬雷编著】【清华大学出版社】新书特色:本书从自然语言处理基础开始,逐步深入各种NLP热点前沿技术,使用了Java和Python两门语言精心编排了大量代码实例,契合公司实际工作场景技能,侧重实战。

weixin_52610848的博客 1454

ES101系列02 | ElasticSearch基础CRUD

这是该系列的第二篇,主要讲解 ElasticSearch 基础的 CRUD 操作,可以自己去到 Kibana 的 Dev Tool 实战操作,未来会持续更新该系列。

Lance_Yuan24的博客 550

Elasticsearch聚合学习之二:区间聚合

本文是《Elasticsearch聚合学习》系列的第二篇,上一篇是我们熟悉了聚合的基本操作,本篇的内容是按照区间聚合的实战操作;

程序员欣宸的博客 5785

Elasticsearch聚合学习之三:范围限定

在聚合查询时,很少用到索引中的全部文档,这就需要我们对数据的范围做限定,本文对范围限定涉及的各种操作进行了说明和实践。

程序员欣宸的博客 3446

Elasticsearch顶尖高手系列:高手进阶篇

因此在《Elasticsearch顶尖高手系列-高手进阶篇》中,我们将会更加深入地学习各种高阶的技术: 1、在“深度探秘搜索技术”中,我们非常深入、系统而且细致地剖析和实战演练了各种高阶的搜索技术; 2、在“彻底掌握IK中文分词”中,我们全面演示了如何基于IK中文分词器来构造一个中文搜索引擎; 3、在“深入聚合数据分析”中,我们讲解了各种常见的、高阶的数据分析功能; 4、在“数...

shun35的博客 1470

elasticsearch 成立时间均值_Elasticsearch聚合学习之二:区间聚合

欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容:原创文章分类汇总及配套源码,涉及Java、Docker、K8S、Devops等本文是《Elasticsearch聚合学习》系列的第二篇,上一篇是我们熟悉了聚合的基本操作,本篇的内容是按照区间聚合的实战操作;环境信息以下是本次实战的环境信息,请确保您的Elasticsearch可以正常运行...

weixin_42325867的博客 129
上一篇: CISP学习笔记
下一篇: ES实战系列-Elasticsearch安装
why123wh
博客等级 码龄11年 26粉丝 98原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址