【ES系列】Elasticsearch简介:为什么需要它?(基础篇)

【ES系列】Elasticsearch从入门到精通保姆级教程 | 启篇 🔥 本系列将带你从零开始学习Elasticsearch,通过保姆级教程,手把手教你掌握这个强大的搜索与分析引擎。无论你是完全的新手,还是想系统学习ES的开发者,这个系列都能满足你的需求。 阅读详情

🔥 本文将详细介绍Elasticsearch的前世今生,以及为什么它在当今的技术栈中如此重要。本文是ES起飞之路系列的基础篇第一章,适合想要了解ES的读者。

在这里插入图片描述

一、什么是Elasticsearch?

1. ES的定义

Elasticsearch(简称ES)是一个基于Apache Lucene构建的开源搜索引擎,由Elastic公司开发和维护。它不仅仅是一个搜索引擎,更是一个分布式的文档存储和分析引擎,能够存储、搜索和分析大规模数据。

想象一下,ES就像是一个超级强大的图书馆管理系统。在这个系统中,你可以存放海量的"图书"(数据),并且能够在几毫秒内找到你想要的任何"图书"。不仅如此,它还能帮你分析这些"图书"的各种信息,比如哪类书最受欢迎、不同时期的阅读趋势等。而且,这个"图书馆"可以根据需求无限扩展,添加更多的"分馆"(节点)来存储更多的数据。

2. ES的核心特性

2.1 分布式存储
  • 支持PB级数据的分布式存储:
    • 数据自动分片和备份
    • 集群自动发现和管理

就像一个大型连锁超市,ES可以把数据分散存储在多个"仓库"(节点)中。每个"商品"(数据)都会有多个副本存放在不同的仓库,即使一个仓库出了问题,其他仓库的副本也能确保数据安全。而且,当有新的仓库加入时,系统会自动调整商品的存放位置,确保每个仓库的负载均衡。

2.2 实时搜索
  • 近实时搜索能力(NRT,Near Real-Time):
    • 毫秒级的搜索响应
    • 支持复杂的全文检索

这就像你在使用淘宝搜索商品,输入关键词后立即就能看到结果。ES能在海量数据中快速找到你需要的信息,不管是精确匹配还是模糊搜索,都能在眨眼间完成。比如,你可以搜索"红色运动鞋",ES会立即找出所有包含这些关键词的商品,甚至包括"红色的跑步鞋"这样的相关描述。

2.3 高可用性
  • 多节点架构,无单点故障:
    • 自动故障转移
    • 自动数据平衡

这就像一个永不停机的服务系统。即使某个服务点出现故障,其他服务点会立即接管工作,确保服务不中断。就像你在淘宝购物,即使某个服务器出现问题,你依然可以正常浏览和购买商品,因为系统会自动切换到其他正常运行的服务器。

2.4 RESTful API
  • 提供简单的REST API:
    • 支持多种编程语言
    • JSON格式数据交互

这就像是ES提供了一个统一的"万能插座",不管你使用什么编程语言(Java、Python、PHP等),都可以通过这个"插座"来操作ES。数据的传输采用JSON格式,就像是各国人都使用英语交流一样,确保了通信的标准化和简单化。

3. ELK技术栈简介

ELK是一个完整的日志分析解决方案,由三个开源项目组成。想象一下一个完整的大数据处理流水线:

3.1 Elasticsearch(存储和搜索引擎)
  • 就像是一个超大的仓库,负责存储所有收集到的数据
  • 提供强大的搜索和分析能力
  • 作为整个系统的"大脑"
3.2 Logstash(数据收集和处理)
  • 像是一条传送带,负责收集各处的数据
  • 可以从不同的源头收集数据(比如日志文件、数据库、消息队列等)
  • 在传输过程中可以对数据进行清洗和转换,确保数据的质量
3.3 Kibana(可视化平台)
  • 就像是一个智能数据大屏,把复杂的数据变成直观的图表
  • 提供友好的界面来管理和监控ES
  • 可以制作各种数据分析报表,帮助决策

💡 提示:现在这个技术栈通常被称为"Elastic Stack",因为它还包含了Beats(轻量级数据采集器)等其他组件。Beats就像是分布在各处的小记者,专门负责收集特定类型的数据,比如系统日志、网络数据等。

这三个组件就像是一个完整的数据处理工厂:Logstash负责收集原材料(数据),ES负责加工和存储,Kibana则负责展示成品(数据可视化)。它们协同工作,特别适合处理日志分析、业务监控、运营分析等场景。比如,一个电商平台可以用ELK来实时监控订单情况、分析用户行为、发现潜在问题等。

二、为什么会出现ES?

在介绍ES的解决方案之前,我们先来看看在ES出现之前,传统数据库在处理某些场景时遇到的问题。

1. 传统数据库的痛点

1.1 全文检索效率低

传统关系型数据库(如MySQL)在进行全文检索时,通常使用LIKE语句进行模糊匹配。比如要搜索"苹果手机",SQL语句可能是:

SELECT
Elasticsearch搜索引擎 本篇博客系统地介绍了Elasticsearch 7.14.0在windows环境下安装、基本使用、Springboot集成Elasticsearch以及ELK搭建。 阅读详情

相关推荐

elasticsearch(ES)简介及安装-----笔记

ES是一款非常强大的开源搜索引擎,可以帮助我们从海量数据中快速找到需要的内容。ES结合kibana、Logstash、Beats,也就是elastic stack(ELK)。被广泛应用在日志数据分析、实时监控等领域。elasticsearch是elastic stack的核心,负责存储、搜索、分析数据。kibana负责数据可视化,elasticsearch负责存储、计算、搜索数据,logstash\Beats负责数据抓取。elasticsearch底层实现是Lucene计术。

weixin_44846205的博客 2392

分布式搜索引擎之elasticsearch基本使用3

因为我们还需要部署kibana容器,因此需要让es和kibana容器互联。

weixin_43956070的博客 1434

autoDL算力云装Xinference[坑与步骤]

在页面直接点击下载会出现下着下载进度条消失,试了几次才出现这个报错,现在我们就继续安装缺少的包吧。这一步成功绕开了系统盘空间限制。先租用一个合适的服务器,建议不要选最新版本,跟我选的一样即可,不然后面会出现。最近在 AutoDL 上尝试部署。🚫 不要直接使用以下命令。点击下面链接即可打开。

ngadminq的博客 2390

Python+OpenCV实现游戏自动刷怪脚本(附完整代码)

本文详细介绍了如何使用Python和OpenCV开发游戏自动刷怪脚本,涵盖环境搭建、图像识别、行为决策引擎及反检测优化等关键技术。通过完整的代码示例,帮助开发者实现从简单脚本到智能自动化系统的升级,提升游戏效率。

weixin_29032489的博客 529

零基础玩转NILM:用nilmtk提取UKDALE电器数据的保姆级教程

本文为零基础用户提供了一份详细的NILM入门指南,重点讲解如何使用nilmtk工具包从UKDALE数据集中提取电器级用电数据。教程涵盖环境搭建、核心概念解析、数据提取实战及常见问题排查,帮助读者快速掌握非侵入式负荷监测的数据预处理关键步骤。

rgv234567的博客 501

跨越边界:用MessagePipe实现无缝的进程间通信

MessagePipe是一个用于.NET平台的消息传递库,它专注于简化异步消息处理和进程间通信。通过提供一系列易于使用的API,开发者可以快速搭建起稳定可靠的通信管道,支持多种传输协议(如TCP、Unix域套接字等),并内置了序列化/反序列化功能,使得跨语言和跨平台的数据交换变得轻而易举。为了方便序列化和反序列化操作,我们需要为每种消息定义对应的类或结构体,并标记属性。这样可以确保消息在发送方和接收方之间正确无误地传递。[Key0set;[Key1set;

墨夶的博客 817

鸿蒙开发之hdc命令行

hdc(HarmonyOS Device Connector)是HarmonyOS为开发人员提供的用于调试的命令行工具,通过该工具可以在windows/linux/mac系统上与真实设备进行交互。

xiangzhihong8的专栏 5837

【Flink】Flink 消费一段时间1万多条数据就卡死

我们有个现场环境,发现了奇怪的现象,就是每次启动任务后,消费1万多条数据后就会卡死,然后整个流不消费,也不往下输出,看起来卡死了一样。缺图这里面出现的网闸原因导致的,但是经过我们写了一个简单的kafka消费程序,然后在出问题的节点上消费数据,实际排查,发现不是这个问题。这个问题,发现也不是,这段时间没有进行过kafka数据清理。里面的问题。因为这个问题,我们后面的代码刻意规范了,不这样操作。后来是在没办法了,然后我们dump了线程,发现有如下代码。

九师兄 353

基于Simulink的光伏-储能-柴油机混合微网仿真

摘要:本文基于Simulink平台构建光伏-储能-柴油机混合微网仿真模型,实现可再生能源与备用电源的协同控制。通过光伏优先、储能调节、柴油机兜底的规则控制策略,在24小时仿真中验证了系统在晴天、阴天和夜间三种典型工况下的运行性能。模型采用PVArray模块模拟光伏发电,Simscape电气库构建储能系统,自定义MATLAB函数实现柴油机启停逻辑和能量管理。仿真结果显示系统功率平衡误差<5%,储能SOC维持在20%-80%,柴油机日均运行时间<4小时,满足设计指标。文章详细说明了建模步骤、参数设置

xiaoheshang_123的博客 71

【WRF-UCM】BEP+BEM 模拟:README

【WRF-UCM】BEP+BEM 模拟:README

WW、forever的博客 226

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

上一篇: 【ES系列】Elasticsearch从入门到精通保姆级教程 | 启篇
下一篇: 【实战手册】8000w数据迁移实践:MySQL到MongoDB的完整解决方案
果冻kk
博客等级 码龄5年 1062粉丝 51原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址