前言目前公司已经将有状态服务部署在 Kubernetes 集群中，所以对存储能力的需求也越来越强烈。由于我们使用的是灵雀云的产品，部署在腾讯云上所以这里我们使用腾讯云的 CBS 做存储，腾讯自己有自己的开源 CSI 插件来对接 CBS。 kubernetes-csi-tencentcloudkubernetes-csi-tencentcloud 是腾讯云 Cloud Block Storage 服

背景Kubernetes 默认提供 CPU 和内存作为 HPA 弹性伸缩的指标，如果有更复杂的场景需求，比如基于业务单副本 QPS 大小来进行自动扩缩容，可以考虑自行安装 prometheus-adapter 来实现基于自定义指标的 Pod 弹性伸缩。 Promethue-adapter的作用prometheus采集到的metrics并不能直接给k8s用，因为两者数据格式不兼容，这时就需要另外一个

cAdvisor 和 KubeStateMetrics 简介在部署监控组件监控 Kubernetes 集群服务之前，先了解下监控组件 cAdvisor 和 Kube State Metrics 都是什么。本人从相应的俩个组件的 Github 和相关网址收集了一些信息，分别对其进行描述。 什么是 cAdvisorcAdvisor (Container Advisor) 是 Google 开源的一个容

Alertmanager 中有三个关于告警时间的参数： group_wait：alertmanager 在接收到一条新的告警（第一次出现的告警）时，将这条告警发送给 receiver 之前需要等待的时间 group_interval：对于一条已经出现过的告警，alertmanager 检查会每隔 group_interval 时间检查一次告警 repeat_interval： 对于一条已经出现过

Kubeadm如果使用Containerd前面的主机初始化步骤这里我不再赘述，可以参考 使用Kubeadm搭建一个高可用集群 文章中的初始化部分。我直接从Containerd的安装开始，这里我使用3台主机做演示。 IP Hostname role CPU Memory 172.16.50.200 k8s-master-01 master 4 8G 172.16.50.203 k8s

前面我们已经学习了 Prometheus 的使用，了解了基本的 PromQL 语句以及结合 Grafana 来进行监控图表展示，通过 AlertManager 来进行报警，这些工具结合起来已经可以帮助我们搭建一套比较完整的监控报警系统了，但是也仅仅局限于测试环境，对于生产环境来说则还有许多需要改进的地方，其中一个非常重要的就是 Prometheus 的高可用。 单台的 Prometheus 存在单

Prometheus自身不具备告警能力，因此需要结合第三方告警程序来实现监控指标告警。 AlertManager是一款不错的告警程序，首先由prometheus配置告警规则，当告警规则触发后，会把告警信息推送给Altermanager，AlertManager收到告警之后在根据配置的路由，根据报警级别不同分别发送给不同的receive（收件人），AlertManager可以实现email、企业微信

我们在使用Prometheus过程中，随着时间的推移，存储在 Prometheus 中的监控指标数据越来越多，查询的频率也在不断的增加，当我们用 Grafana 添加更多的 Dashboard 的时候，可能慢慢地会体验到 Grafana 已经无法按时渲染图表，并且偶尔还会出现超时的情况，特别是当我们在长时间汇总大量的指标数据的时候，Prometheus 查询超时的情况可能更多了，这时就需要用到Pr

Prometheus 聚合函数一般说来，单个指标的价值不大，监控场景中往往需要将一些具有相同指标名的指标值进行聚合计算（这些指标名很有可能来自不同target只是拥有同样的指标名，也有可能是某一个target上某一个指标的多个维度，例如：有的一个指标名有多个时间序列）。例如计数、求和、平均值、分位数、标准 差及方差等。 什么是聚合计算：对查询结果事先按照某种分类机制进行分组(group by)并将

PromQL基础Prometheus会将所有采集到的样本数据以时间序列（time-series）的方式保存在内存数据库中，并且定时保存到硬盘上，每个数据称为一个样本。时间序列（time-series）是按照时间戳和值的序列顺序存放的，我们称之为向量(vector). 每条时间序列（time-series）通过指标名称(metrics name)和一组标签集(labelset)命名。如下所示，可以将