prometheus几种高可用架构介绍及联邦架构部署_51CTO博客_prometheus 架构
prometheus几种高可用架构介绍及联邦架构部署
关注
头发太长l
prometheus几种高可用架构介绍及联邦架构部署
原创
头发太长l
2020-09-24 16:38:07
©著作权
文章标签
prometheus
高可用
联邦架构
文章分类
Linux
系统/运维
©著作权归作者所有：来自51CTO博客作者头发太长l的原创作品，请联系作者获取转载授权，否则将追究法律责任
**问题背景：**单个prometheus性能到达瓶颈问题、多个prometheus-server数据汇总问题等
**
prometheus监控数据持久化**
首先大家都知道prometheus是自带数据存储功能的。
优点是简单易用，基本无需配置
缺点是：1、存在数据无法长久保存（尤其是频繁变更的监控对象，监控对象变化，短时间内监控数据也会随之丢失，如k8s等）
2、基于本地存储的话，Prometheus监控系统扩展比较难
以上缺点可以配置远程存储解决，使用remote_write和remote_read这两个接口，从第三方存储服务中进行监控数据的读写
prometheus集群方案
这里有篇文章介绍了几种prometheus的集群架构，可参考： https://zhuanlan.zhihu.com/p/86763004
**
方案一：**
多个prometheus监控相同的对象。意思就是一台node在被两台或两台以上的prometheus同时监控
缺点：对于被监控端，可能会多出一倍或以上的查询请求
优点：只要有一台prometheus还在运行，就不会影响监控
方案二：
联邦集群，prometheus数据层层往上汇聚（类似金字塔结构）
优点：数据汇总展示，prometheus-worker压力较小，如合理规划可以分类监控，数据保留更灵活（参考https://zhuanlan.zhihu.com/p/86763004）
缺点：prometheus-primary压力较大，可通过配置文件使不同的prometheus-primary收集不同类的监控数据（参考同上链接）
官网描述： https://prometheus.io/docs/prometheus/latest/federation/
这里进行方案二+远端存储（influxdb）的集群架构实现
**
环境：**
3台centos7的服务器，关闭防火墙、selinux
角色分配：
*.*.6.127 prometheus-primary+influxdb+grafana
*.*.6.138 prometheus-worker
*.*.6.225 prometheus-worker
操作：
1、安装prometheus
下载安装包： https://prometheus.io/download/
解压、安装、配置成为系统服务（3台都操作）
2、安装influxdb（6.127）
yum install即可，因为是做测试，使用默认的配置文件直接启动
create database "prometheus"
create retention policy "prometheus_retention" on "prometheus" duration 4w replication 1 default
show retention policies on prometheus
创建数据库
默认数据保留策略为一周，可以新建保留策略
获取prometheus连接远端存储的一个插件
github地址： https://github.com/prometheus/prometheus/tree/master/documentation/examples/remote_storage/remote_storage_adapter
执行（此插件占用9201端口。注意红框内容，根据自己实际内容进行更改）
nohup ./remote_storage_adapter --influxdb-url=http://127.0.0.1:8086/ --influxdb.database="prometheus" --influxdb.retention-policy=prometheus_retention &
3、修改prometheus-worker的prometheus.yml文件
systemctl直接启动prometheus即可
**
4、修改prometheus-primary的prometheus.yml文件**
联邦集群的核心就在于每一个Prometheus Server都包含一个用于获取当前实例中监控样本的接口/federate，对于prometheus-primary来说，从federate获取数据跟从exporter获取数据没什么区别
math[]：表示你想获取prometheus-worker里哪些job的数据，也可以使用正则匹配
honor_labels：配置true可以确保当采集到的监控指标冲突时，能够自动忽略冲突的监控数据。如果为false时，prometheus会自动将冲突的标签替换为exported_的形式。还可以添加标签以区分不同的监控目标
systemctl启动prometheus
网页输入ip:9090查看
**
5、grafana展示**
通过正常的dashboard导入或者自建图表进行数据展示
**
end...
文章到这里就结束了，prometheus更灵活的高可用架构还需看真实的环境和自己的实际需求，这里就抛砖引玉，希望大家有更好的点子可以分享出来**
打赏
收藏
评论
分享
举报
上一篇：prometheus通过blackbox_exporter监控主机端口、主机状态、网页状态
下一篇：centos7安装zabbix5.0+postgresql（TSDB）
提问和评论都可以，用心的回复会被更多人看到
评论
发布评论
全部评论
()
最热
最新
相关文章
Prometheus之联邦
一 联邦介绍 联合允许 Prometheus 服务器从另一个 Prometheus 服务器抓取选定的时间序
服务器
数据
用例
Prometheus学习（十）之Prometheus联邦、迁移
0.前言 本文来自Prometheus官网手册和Prometheus简介 FEDERATION 允许Prometheus服务器从另一台Prometheus服务器抓取选定的时间序列。 1.用例 联盟有不同的用例。通常，它用于实现可扩展的Prometheus监控设置或将相关指标从一个服务的Prometh ...
Prometheus
服务器
用例
时间序列
数据
Prometheus学习系列（九）之Prometheus 联邦、迁移
前言 本文来自Prometheus官网手册 和 Prometheus简介 FEDERATION 允许Prometheus服务器从另一台Prometheus服务器抓取选定的时间序列。
Prometheus
PMM
monitor
服务器
时间序列
prometheus2.0 联邦的配置
prometheus2.0 在参数上有原先的1.X有较大的变化，很多参数被去掉了。另外优化了CPU占用、存储空间占用等，具体可以看官方文档。这里贴一下prometheus2.0的联邦（又称Shard）搭建方法，一些理论知识就不贴了，自己去google扒吧：官网对于联邦的介绍：https://prometheus.io/docs/prometheus/latest/federation/安装prom
prometheus
联邦
使用Thanos实现Prometheus指标联邦
Prometheus是CNCF中已经毕业的项目之一，主要用于监控和告警。在Kubernetes生态中，它是应用最为广泛的监控和告警工具之一。Rancher用户可以通过使用内置的监控堆栈（https://rancher2.docs.rancher.cn/docs/cluster-admin/tools/monitoring/_index）来快速利用Prometheus。Prometheus将其指标（
java
prometheus联邦统一收集
# my global config global: scrape_interval: 30s # Set the scrape interval to every 15 seconds. Default is every 1 minute. evaluation_interval: 30s # E
lua
docker
Promthues 联邦集群简介
参考： https://www.prometheus.wang/ha/scale-prometheus-with-federation.html 使用联邦集群 如上图所示，在每个数据中心部署单独的Prometheus Server，用于采集当前数据中心监控数据。并由一个中心的Prometheus S ...
数据
数据中心
时间序列
3d
html
Prometheus实战之联邦+高可用+持久
导航:这里主要是列出一个prometheus一些系统的学习过程，最后按照章节顺序查看，由
数据
配置文件
腾讯云
联邦学习原理-中篇
1、联邦学习实际应用场景2、FATE联邦学习架构简介
数据
建模
解决方案
联邦学习原理-上篇
联邦学习原理简介
数据
建模
信息增益
Kubernetes使用集群联邦实现多集群管理
来自在1.3版本之后，增加了“集群联邦”...
初始化
tomcat
ide
Kubernetes 使用 Kubefed 创建集群联邦
Kubernetes 使用 Kubefed 创建集群联邦1 前提要求2 安装 kubefed2.1 在 Ubuntu 上使用 snap 安装3 选择一个主集群4 部署一个联邦控制面板4.1 基本和令牌验证支持4.2 给联邦组件传递命令行参数4.3 配置一个 DNS 服务提供商4.型...
ide
edn
命名规则
Prometheus原理简介
Prometheus已广泛用于 Kubernetes 集群的监控系统中Prometheus 是一套开源的系统监控报警框架
时间序列
数据
数据模型
Prometheus 监控 Ceph 集群
Prometheus监控Ceph集群PrometheusModule—CephDocumentationPrometheus模块启用：[root@node1~]#cephmgrmoduleenableprometheus[root@node1~]#cephmgrservices{"dashboard":"https://node1:8443/","prometheus":"http://node1
ceph
prometheus
Prometheus 监控 Redis 集群
Prometheus 监控 Redis cluster，其实套路都是一样的，使用 exporter。exporter 负责采集指标，通过 http 暴露给 Prometheus 拉取。granafa 则通过这些指标绘图展示数据。Prometheus 收集的数据还会根据你设置的告警规则判断是否要发送给
redis
单实例
数据
linux
github
Prometheus跨集群采集
背景恩不想搭建太多prometheus了，想用一个prometheus,当然了前提是我A集群可以连通B集群网络，实现Prometheus跨集群采集采集关于A集群A集群以及prometheus搭建参照：Kubernetes1.20.5安装PrometheusOprator(https://www.yuque.com/duiniwukenaihe/ehb02i/tm6vl7)B集群B
prometheus
kubernetes
HDFS联邦机制实现HA原理
其他
hadoop 高可用联邦模式集群搭建
一、环境准备与系统优化 1.1、hadoop组件介绍 (1) hdfs 组件 作用 NameNode 负责管理hdfs文件系统，集群中分主从节点 bootstrapStandby 从节点复制主节点的元数据目录 DataNode 主要是用来存储数据文件 JournalNode 两个NameNode为了 ...
hadoop
高可用
hdfs
mapreduce
zookeeper
prometheus几种高可用架构介绍及联邦架构部署
为解决单个prometheus性能到达瓶颈问题、多个prometheus-server数据汇总等问题，部署分布式prometheus联邦架构+远程存储（influxdb）实现prometheus的高可用
prometheus
高可用
联邦架构
头发太长l
关注
私信
近期文章
1.SpringBoot2.x系列教程84--SpringBoot中整合日志功能
2.Day12_10_Redis教程之DesktopManager连不上Redis服务器的解决办法
3.Day02_09_Nginx教程之开启Gzip压缩
4.SpringBoot2.x系列教程51--NoSQL之SpringBoot整合MongoDB
5.Day05_01_Git教程之版本控制简介
签到领勋章
返回顶部
举报文章
请选择举报类型
内容侵权
涉嫌营销
内容抄袭
违法信息
其他
具体原因
包含不真实信息
涉及个人隐私
原文链接（必填）
补充说明
0/200
上传截图
格式支持JPEG/PNG/JPG，图片不超过1.9M
取消
确认
已经收到您得举报信息，我们会尽快审核
打赏
收藏
评论
分享
51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
开源基础软件社区
LeaTech全球CTO领导力峰会
移动端
公众号矩阵
博客
免费课程
课程排行
直播课
软考学堂
精品班
厂商认证
IT技术
2022年软考
PMP项目管理
在线学习
企业服务
CTO训练营
技术经理研习营
LeaTech峰会
文章
资源
问答
开源课堂
专栏
直播
51CTO博客
首页
关注
排行榜
订阅专栏
学堂
精培
开源社区
CTO训练营
51CTO
班级博客
登录注册
手机随时阅读
写文章
搜索历史
清空
热门搜索
查看【
】的结果
Copyright 2005-2022 51CTO.COM
版权所有 京ICP证060544号
关于我们
官方博客
意见反馈
了解我们
全部文章
在线客服
网站地图
热门标签
友情链接
开源基础软件社区
51CTO学堂
51CTO
汽车开发者社区