目录
一.ELK 简介
1.ELK 是什么
ELK平台是一套完整的日志集中处理解决方案,将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求。
2.ELK 的架构组件和工作原理
1).ElasticSearch:是基于 Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,提供搜集、分析、存储数据三大功能。
Elasticsearch 是用 Java 开发的,可通过 RESTful Web 接口,让用户可以通过浏览器与 Elasticsearch 通信。
Elasticsearch是一个实时的、分布式的可扩展的搜索引擎,允许进行全文、结构化搜索,它通常用于索引和搜索大容量的日志数据,也可用于搜索许多不同类型的文档。
2).Logstash:作为数据收集引擎。它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储到用户指定的位置,一般会发送给 Elasticsearch。
Logstash 由 Ruby 语言编写,运行在 Java 虚拟机(JVM)上,是一款强大的数据处理工具, 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能,常用于日志处理。
3).Kiabana:Kibana 通常与 Elasticsearch 一起部署,Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard,Kibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据,可以用来汇总、分析和搜索重要数据。
原理:
(1)在所有需要收集日志的服务器上部署 Logstash;或者先将日志进行集中化管理在日志服务器上,在日志服务器上部署 Logstash。
(2)Logstash 收集日志,将日志格式化并输出到 Elasticsearch 群集中。
(3)Elasticsearch 对格式化后的数据进行索引和存储。
(4)Kibana 从 ES 群集中查询数据生成图表,并进行前端数据的展示。
总结:Logstash 作为日志搜集器,从数据源采集数据,并对数据进行过滤,格式化处理,然后交由 Elasticsearch 存储,Kibana 对日志进行可视化处理。
3.ELK与其他组件结合
1.Filebeat:轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat,并指定目录与日志格式,Filebeat 就能快速收集数据,并发送给 Logstash 进行解析,或是直接发给 Elasticsearch 存储,优点:比Logstash更轻量,CPU、内存资源消耗更少。常应用于 ELFK 架构当中,也叫做 ELK Stack。
2.Fluentd:是一个流行的开源数据收集器。由于 Logstash 太重量级的缺点,Logstash 性能低、资源消耗比较多等问题,随后就有 Fluentd 的出现。相比较 Logstash,Fluentd 更易用、资源消耗更少、性能更高,在数据处理上更高效可靠,受到企业欢迎,成为 Logstash 的一种替代方案,常应用于 EFK 架构当中,因为使用 go 语言所以经常用于 K8S 集群进行数据统一收集。
3.缓存/消息队列(Redis、Kafka、RabbitMQ等):可以对高并发日志数据进行流量削峰和缓冲,这样的缓冲可以一定程度的保护数据不丢失,还可以对整个架构进行应用解耦。
总结:日记收集方案ELK -> ELFK(Filebeat + ELK) -> EFLFK(Filebeat + Kafka + ELK)
4.ELK 适用场景
服务器规模较小时:
1)如果只有几台或十几台服务器,为了节约成本可以不做任何的日志集中管理,直接登录到服务器捞日志查看(缺点明显:操作繁琐效率低下;当服务器不可用时,则无法及时收集查看日志)
2)通过 rsyslog 或 shell/python脚本实现自动化收集日志,集中保存到统一的日志服务器中进行统一管理(缺点:当服务器数量较多时,管理和检索日志的成本会比较高)
服务器规模较大时:
采用大型的日志系统 ELK/EFK 来实现自动收集日志、集中存储日志、图形化展示和检索日志等功能、针对于云原生、容器的场景:EFK Loki
二. Elasticsearch集群部署
1.前期准备

2. 部署elasticsearch软件
1. 安装elasticsearch
tar -zvf elasticsearch-7.17.27-linux-x86_64.tar.gz -C /usr/local/
cd /usr/local/
mv elasticsearch-7.17.27 elasticsearch
mkdir /usr/local/elasticsearch/data #创建存放数据目录

注意:elasticsearch 7.x之前的版本都是需要安装 jdk 的,但是在7.x版本之后就内置了 jdk 环境,所以可以不安装环境,也可以安装 jdk 环境。
2.修改elasticsearch主配置文件
cd /usr/local/elasticsearch/config #备份
cp elasticsearch.yml elasticsearch.yml.bak
vim elasticsearch.yml
--17--取消注释,指定集群名称
cluster.name: my-elk-cluster
--23--取消注释,指定各个的节点名称:node01,node02,node03
node.name: node02
--33--取消注释,指定数据存放路径
path.data: /usr/local/elasticsearch/data
--37--取消注释,指定日志存放路径
path.logs: /
1685



被折叠的 条评论
为什么被折叠?



