先聊个结论:Prometheus + Grafana 这套组合,目前就是 Kubernetes 监控领域事实上的标准方案。我自己在测试集群和生产环境里反复搭过好几遍,第一次装的时候觉得组件多、概念多、YAML 写不完,真把链路跑通之后才意识到,整套体系的边界其实非常清晰:Prometheus 负责收数据、存数据、算数据,Grafana 负责把数据画成图,Alertmanager 负责把异常喊出来。这篇文档就把部署 Prometheus 全家桶、接入 Grafana、配置告警这三件事完整拆开讲一遍,顺带把我在实际环境中踩过的坑都标出来。适合刚准备给 K8s 集群加监控的同学,也适合已经部署成功但正在排查“为什么没有数据”“为什么内存一直涨”这类问题的人。
下面直接进入正题。
1. 为什么是 Prometheus+Grafana:监控方案选型背后的逻辑
1.1 K8s 集群监控到底在监控什么
一个 Kubernetes 集群,表面看是一堆 Node 和 Pod,真到排查故障的时候,你需要的不是“谁挂了”,而是“什么东西在什么时候开始不对”。所以监控对象至少要分四层: 节点层、集群组件层、工作负载层、业务指标层 。
可以用一张表把监控对象对应清楚:
| 监控层 | 核心指标示例 | 采集组件 |
|---|---|---|
| 节点层 | CPU、内存、磁盘、网络、inode 耗尽 | node-exporter |
| 集群组件层 | API Server 延迟与错误率、etcd 写入耗时、调度器状态 | 组件自带的 /metrics 接口,部分需要额外暴露 |
| 工作负载层 | Pod 状态、容器资源用量、重启次数、副本可用性 | kubelet 内置 cAdvisor + kube-state-metrics |
| 业务指标层 | 请求量、错误率、P95 延迟、队列长度 | 业务应用自行暴露 Prometheus 格式指标 |
四层缺一不可。很多新手只盯着容器 CPU 和内存,真出了故障才发现 API Server 的延迟指标早就开始报警了,或者节点磁盘 inode 耗尽半天找不到原因。我在下面几章里给的告警规则模板,也是围绕这几层设计的。
1.2 Prometheus 的核心设计理念与优势
Prometheus 最核心的设计是 Pull 模型 。它主动从一个 HTTP 端点拉取指标,目标不暴露 /metrics ,数据就进不来,目标挂了,它也自然拿不到数据。这个思路在容器环境里特别吃香,因为 Pod IP 随时会变,Prometheus 配合服务发现可以不断问 K8s API:“你现在有哪些 Node、哪些 Pod、哪些 Service?”拿到列表后再去逐批拉指标。相比之下,以前用 Zabbix 那一套 Agent 主动上报的方案,在动态环境里光是维护节点列表就要疯掉。
另一个设计优势是 多维数据模型 。Prometheus 里的每条指标都是一条带标签的时间序列,比如:
container_cpu_usage_seconds_total{namespace="default", pod="nginx-7c8b5d5b9c-xxxx", container="nginx"}
这种设计让告警和查询变得非常灵活:你可以按 namespace 聚合,按 deployment 聚合,也可以精确取某一个 Pod 的数据。配合 PromQL 这个查询语言,出一张“某个应用所有实例的平均 CPU 使用率”的图,一句话就能查出来。
1.3 Grafana 在其中的角色定位
Grafana 在这套体系里干的是 展示层 的活,它不采集数据,也不负责判断异常,它做的是把 Prometheus 里的时序数据变成人类能一眼看懂的面板。它最大的价值有两个:一是可以把无数套业务和基础设施的指标汇总到一个入口,二是可以对同一份数据做多视角的观察,比如同样的内存数据,既可以看集群总趋势,也可以看某个 Pod 的波动。
另外提醒一点,Grafana 本身也带告警功能,可以直接在面板上设置 Alert rules。但在 Prometheus 体系里,建议优先用 Alertmanager 做告警,因为规则写在 PrometheusRule 里,版本可控、可 GitOps,切换集群成本低。Grafana 告警适合那种“临时盯一个指标”的场景,不一定是要长期跑的核心链路。
1.4 与其他监控方案对比后的取舍
Zabbix 是很成熟的传统监控,基础设施监控做得早,但容器时代它的服务发现能力跟不上,而且指标模型不是面向标签的,告警规则写起来繁琐。云厂商提供的托管监控(比如各种云原生监控服务)确实省心,但如果你的集群是自建或者混合云,数据出网、成本、多集群统一视图都是问题。SkyWalking 这类 APM 工具更关注调用链和性能分析,定位是“链路追踪 + 性能剖析”,不是通用的基础设施监控。
所以如果你的目标是自建一套 K8s 基础设施监控,Prometheus + Grafana 是生态最成熟、资料最全、二次开发成本最低的组合。尽量别再纠结“要不要上 XX ”,先顺手把 Prometheus 这套跑起来,后续再按需叠加其他组件。
2. 部署前必懂:Prometheus 监控 K8s 的核心概念
2.1 数据采集链路:从 Exporter 到仪表盘
整套链路一句话概括: Exporter 暴露指标,Prometheus 抓取指标,Grafana 查询展示指标 。你可以把它类比成查水表:Exporter 是装在家里的水表,Prometheus 是抄表员,定期挨家挨户看数字,Grafana 就是给你出月度用水账单的系统。
在 K8s 里,Exporter 经常以一个 Sidecar 容器或者一个独立 Deployment 的形式跑在集群里。不过容器本身的指标不需要你自己部署 Exporter,因为 kubelet 内部已经内置了 cAdvisor,它会暴露每个容器的 CPU、内存、网络、磁盘 IO 指标。也就是说,Pod 建好后,Prometheus 只要能从 kubelet 的 /metrics/cadvisor 端点拉到数据,容器级别的指标就全有了。
2.2 服务发现机制:为什么静态配置不行
传统监控里你会在配置里写死一批 IP,比如 1.2.3.4:9100 ,但对 K8s 来说 Pod IP 是临时资源,随时会被调度到别的节点,重启后 IP 就变了。所以 Prometheus 在 K8s 环境里必须用 服务发现 :
- 发现全部 Node,用来抓 node-exporter 的指标;
- 发现全部 Pod,用来抓容器和业务指标;
- 发现全部 Service/Endp
919



被折叠的 条评论
为什么被折叠?



