ELK之简介+Elasticsearch集群部署+索引管理

ELK集群搭建(基础教程) ELK集群搭建(基础教程) 目录: 机器准备 集群内各台机器安装Elasticsearch 安装部署Kafka(注:每个节点都配置,注意ip不同) 安装logstash工具 安装filebeat ELK收集Nginx的json日志 ELK收集Nginx正常日志和错误日志 ELK收集Tomcat日志 ELK收集docker日志 配置filebeat收集单个docker日志 modules日志收集 使用redis作为缓存收集日志 使用Kafka做缓存收集日志 阅读详情
AI摘要

本文介绍了ELK平台,它由ElasticSearch、Logstash和Kiabana组成,可完成日志查询、排序、统计等功能。还阐述了其架构组件和工作原理,以及与其他组件结合的方案。同时详细说明了Elasticsearch集群部署步骤,包括前期准备、软件部署等,最后介绍了索引管理和查看索引信息的方法。

目录

一.ELK 简介

1.ELK 是什么

2.ELK 的架构组件和工作原理​

3.ELK与其他组件结合

4.ELK 适用场景 

二. Elasticsearch集群部署

1.前期准备

​2. 部署elasticsearch软件

1. 安装elasticsearch

2.修改elasticsearch主配置文件

3. 配置jvm堆内存大小

4. es性能调优参数

5.修改内核参数

6.配置systemd 服务 

3.查看elasticsearch节点信息

4.Elasticsearch-head查看ES信息

三.Elasticsearch 索引管理

1.语法格式

2.创建索引

3.删除索引

四.查看索引信息

1.浏览器访问​

2.命令行查看

1.查看索引配置参数

2.查看索引字段 

3.查看 索引列表

3.命令行修改

1.修改索引的配置参数

2.修改索引的字段 

4.创建和删除索引的别名 

5.文档管理

1.创建文档

2.查询文档

3.修改文档 

 4.删除文档


一.ELK 简介

1.ELK 是什么

ELK平台是一套完整的日志集中处理解决方案,将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求。

2.ELK 的架构组件和工作原理

1).ElasticSearch:是基于 Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,提供搜集、分析、存储数据三大功能。
Elasticsearch 是用 Java 开发的,可通过 RESTful Web 接口,让用户可以通过浏览器与 Elasticsearch 通信。
Elasticsearch是一个实时的、分布式的可扩展的搜索引擎,允许进行全文、结构化搜索,它通常用于索引和搜索大容量的日志数据,也可用于搜索许多不同类型的文档。

2).Logstash:作为数据收集引擎。它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储到用户指定的位置,一般会发送给 Elasticsearch。
Logstash 由 Ruby 语言编写,运行在 Java 虚拟机(JVM)上,是一款强大的数据处理工具, 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能,常用于日志处理。

3).Kiabana:Kibana 通常与 Elasticsearch 一起部署,Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard,Kibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据,可以用来汇总、分析和搜索重要数据。

原理:

(1)在所有需要收集日志的服务器上部署 Logstash;或者先将日志进行集中化管理在日志服务器上,在日志服务器上部署 Logstash。
(2)Logstash 收集日志,将日志格式化并输出到 Elasticsearch 群集中。
(3)Elasticsearch 对格式化后的数据进行索引和存储。
(4)Kibana 从 ES 群集中查询数据生成图表,并进行前端数据的展示。

总结:Logstash 作为日志搜集器,从数据源采集数据,并对数据进行过滤,格式化处理,然后交由 Elasticsearch 存储,Kibana 对日志进行可视化处理。

3.ELK与其他组件结合

1.Filebeat:轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat,并指定目录与日志格式,Filebeat 就能快速收集数据,并发送给 Logstash 进行解析,或是直接发给 Elasticsearch 存储,优点:比Logstash更轻量,CPU、内存资源消耗更少。常应用于 ELFK 架构当中,也叫做 ELK Stack。

2.Fluentd:是一个流行的开源数据收集器。由于 Logstash 太重量级的缺点,Logstash 性能低、资源消耗比较多等问题,随后就有 Fluentd 的出现。相比较 Logstash,Fluentd 更易用、资源消耗更少、性能更高,在数据处理上更高效可靠,受到企业欢迎,成为 Logstash 的一种替代方案,常应用于 EFK 架构当中,因为使用 go 语言所以经常用于 K8S 集群进行数据统一收集。

3.缓存/消息队列(Redis、Kafka、RabbitMQ等):可以对高并发日志数据进行流量削峰和缓冲,这样的缓冲可以一定程度的保护数据不丢失,还可以对整个架构进行应用解耦。

总结:日记收集方案ELK  ->   ELFK(Filebeat + ELK)  ->   EFLFK(Filebeat + Kafka + ELK)

4.ELK 适用场景 

服务器规模较小时:
1)如果只有几台或十几台服务器,为了节约成本可以不做任何的日志集中管理,直接登录到服务器捞日志查看(缺点明显:操作繁琐效率低下;当服务器不可用时,则无法及时收集查看日志)
2)通过 rsyslog 或 shell/python脚本实现自动化收集日志,集中保存到统一的日志服务器中进行统一管理(缺点:当服务器数量较多时,管理和检索日志的成本会比较高)

服务器规模较大时:
采用大型的日志系统 ELK/EFK 来实现自动收集日志、集中存储日志、图形化展示和检索日志等功能、针对于云原生、容器的场景:EFK   Loki

二. Elasticsearch集群部署

1.前期准备

2. 部署elasticsearch软件

1. 安装elasticsearch

tar -zvf elasticsearch-7.17.27-linux-x86_64.tar.gz -C /usr/local/
cd /usr/local/
mv elasticsearch-7.17.27 elasticsearch
mkdir /usr/local/elasticsearch/data    #创建存放数据目录

注意:elasticsearch 7.x之前的版本都是需要安装 jdk 的,但是在7.x版本之后就内置了 jdk 环境,所以可以不安装环境,也可以安装 jdk 环境。

2.修改elasticsearch主配置文件

cd /usr/local/elasticsearch/config              #备份
cp elasticsearch.yml elasticsearch.yml.bak
vim elasticsearch.yml
--17--取消注释,指定集群名称
cluster.name: my-elk-cluster
--23--取消注释,指定各个的节点名称:node01,node02,node03
node.name: node02
--33--取消注释,指定数据存放路径
path.data: /usr/local/elasticsearch/data
--37--取消注释,指定日志存放路径
path.logs: /
ELK企业级日志分析系统 ELK平台是一套完整的日志集中处理解决方案,将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求ELK 是 Elasticsearch、Logstash、Kibana 的缩写,这三个工具组合在一起,用于数据收集、存储、 搜索和可视化分析。它们的角色如下:核心搜索和分析引擎,负责存储数据并提供快速的全文搜索和分析功能。 阅读详情

相关推荐

Elasticsearch搜索引擎

本篇博客系统地介绍了Elasticsearch 7.14.0在windows环境下安装、基本使用、Springboot集成Elasticsearch以及ELK搭建。

weixin_44490884的博客 1685

利用Kibana来查看和管理Elasticsearch的索引

利用Kibana来查看和管理Elasticsearch的索引

RisenWang 的博客 2万+

13. 搜索引擎-ES(Elasticsearch)

Elasticsearch是一个开源的分布式搜索引擎,广泛应用于搜索、日志分析、监控等领域。它与MySQL等传统数据库不同,采用倒排索引机制实现高效搜索。Elasticsearch是ELK技术栈的核心组件,常与Logstash、Kibana等工具配合使用。

princemilo的博客 1722

华为云网站部署、负载均衡ELB、Elasticsearch部署(ELK)

添加服务主机Elasticsearch与关系型数据库对比DatabaseIndexTableTypeRowDocumentColumnFiledInsertDeleteUpdateSelete服务启动成功验证集群失败,因为选票没有超过半数需要在es-0002上一样的操作,安装Elasticsearch、配置、起服务。

m0_67252568的博客 1776

基于ELK搭建网站实时日志监控平台

基于ELK搭建网站实时日志监控平台 1 为什么要用到ELK 早在传统的单体应用时代,查看日志大都通过SSH客户端登服务器去看,使用较多的命令就是 less 或者 tail。如果服务部署了好几台,就要分别登录到这几台机器上看,等到了分布式和微服务架构流行时代,一个从APP或H5发起的请求除了需要登陆服务器去排查日志,往往还会经过MQ和RPC调用远程到了别的主机继续处理,开发人员定位问题可能还需要根据TraceID或者业务唯一主键去跟踪服务的链路日志,基于传统SSH方式登陆主机查看日志的方式就像图中排查线路的工

weixin_40055163的博客 4309

ELK集群部署实战指南:Elasticsearch, Logstash, Kibana

ELK是一套开源的、功能强大的日志分析工具。它由三个主要组件构成:Elasticsearch,一个基于Lucene的搜索引擎,用于存储、搜索和分析数据;Logstash,一个数据处理管道,能够从不同来源收集数据,然后进行过滤和解析;Kibana,一个数据可视化工具,可以让用户方便地对日志数据进行可视化。Logstash的灵活性来源于其插件机制。通过插件,Logstash可以轻松扩展来支持新的输入源、过滤器和输出目标。Logstash社区提供了大量插件,涵盖从常见数据源到复杂数据转换的各种需求。

weixin_36382073的博客 1025

从零开始的ELK集群部署指南

htmltable {th, td {th {pre {简介:ELK(Elasticsearch, Logstash, Kibana)是用于高效处理日志数据的开源工具栈。本部署手册详细指导了如何安装、配置并优化ELK集群,使其能够对大量日志数据进行有效管理和分析。涵盖Elasticsearch的网络设置、分片与副本配置、节点角色定义及安全性强化;Logstash的数据收集、转换与输出配置;以及Kibana的界面安装、索引模式定义、数据分析和监控。

weixin_32999557的博客 1118

HDMI调试避坑指南:从AVI InfoFrame到通用控制包,这些DataIsland Packet细节千万别忽略

本文深入解析HDMI调试中DataIsland数据包的关键细节,包括AVI InfoFrame、通用控制包和音频时钟再生包(ACR)的配置与故障排查。通过实际案例和寄存器配置示例,帮助工程师快速定位显示异常、色彩失真和音频中断等问题,提升HDMI接口调试效率。

weixin_30897233的博客 640

ITU-R BT.2390报告解读:高动态范围电视制作与国际交换指南

HDR电视技术解析:从标准到应用 本文系统介绍了HDR电视技术的核心原理与实现方法。HDR的核心目标是还原真实世界的亮度范围(0.001-10000尼特),而非单纯提高亮度。

磁头说产品的博客 938

ST MotorControl Workbench 6.2.1 自定义硬件配置避坑指南

本文详细介绍了ST MotorControl Workbench 6.2.1在自定义硬件配置中的常见问题与解决方案,涵盖功率板配置、采样电路校准、电机参数设置及代码生成避坑指南,帮助开发者高效完成电机控制项目开发。

red88的博客 1027

C#上位机性能优化全攻略:彻底解决界面卡顿+多线程死锁+PLC数据延迟,产线实测稳定运行2年

一开始我们用的是网上找的零散优化代码,根本满足不了要求,后来花了2个月的时间,把之前27条产线的代码整理、重构、优化,做了一套这套方案上线后,连续稳定运行2年零3个月:界面响应时间稳定在50ms以内,多线程死锁率持续为0,PLC数据延迟稳定在150ms以内,系统可用率≥99.99%,帮客户一年省下了超过480万的停线损失、罚款损失和人工成本,客户第二年就把剩下的22条产线也全部交给我们做了,还介绍了3家同行。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 297

FCTA/FCTB 前方交通穿行预警/制动系统技术规范

FCTA&FCTB前方交叉路口预警制动系统是针对十字路口和停车场等"鬼探头"场景设计的驾驶辅助系统。系统在自车速度0-40km/h范围内工作,通过角雷达和摄像头检测侧向来车.

未知艺术家的博客 748

KEPServerEX 6 之 EX 6.11.718.0 发布说明

KEPServerEX 6.11.718.0 发布说明

-雲飛兄-博客 2884

使用静态库在嵌入式系统中进行开发

静态库是一种包含预编译对象代码的文件,它可以与应用程序链接在一起,并在编译时将库的代码复制到最终的可执行文件中。静态库是包含预编译对象代码的文件,可以与应用程序链接在一起,并在编译时将库的代码复制到最终的可执行文件中。需要注意的是,由于嵌入式系统的资源限制,开发人员应该仔细选择需要包含在静态库中的功能,并避免引入不必要的依赖关系。需要注意的是,由于嵌入式系统的资源限制,开发人员应该仔细选择需要包含在静态库中的功能,并避免引入不必要的依赖关系。的静态库文件,可以在嵌入式系统的应用程序中使用它了。

ZrElixir的博客 210

RK3568平台开发系列讲解(DMA篇)DMA engine使用

DMA传输属于异步传输,在启动传输之前,slave driver需要将此次传输的一些信息(例如src/dst的buffer、传输的方向等)提交给dma engine(本质上是dma controller driver),dma engine确认okay后,返回一个描述符(由struct dma_async_tx_descriptor抽象)。DMA_PREP_PQ_DISABLE_P、DMA_PREP_PQ_DISABLE_Q、DMA_PREP_CONTINUE,PQ有关的操作,TODO。

内核笔记 1728

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

上一篇: Zabbix 简介+部署+对接Grafana(详细部署!!)
下一篇: LNMP架构部署论坛
嘻嘻嘻哈哈哈嘻嘻嘻
博客等级 码龄4年 390粉丝 24原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址