kafka manager的使用，kafka manager页面参数说明_窝头就辣椒的博客-CSDN博客_kafka manager页面
kafka manager的使用，kafka manager页面参数说明
窝头就辣椒
于 2019-02-25 12:04:49 发布
20061
收藏
90
分类专栏：
kafka
工具
kafka-manager
kafka
同时被 3 个专栏收录
2 篇文章
1 订阅
订阅专栏
工具
3 篇文章
0 订阅
订阅专栏
kafka-manager
1 篇文章
0 订阅
订阅专栏
kafka-manager是kafka集群管理工具，由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容(从githup上kafka-manager项目的readme得到功能列表)：
 - Manage multiple clusters  - Easy inspection of cluster state (topics, consumers, offsets, brokers, replica distribution, partition distribution)  - Run preferred replica election  - Generate partition assignments with option to select brokers to use  - Run reassignment of partition (based on generated assignments)  - Create a topic with optional topic configs (0.8.1.1 has different configs than 0.8.2+)  - Delete topic (only supported on 0.8.2+ and remember set delete.topic.enable=true in broker config)  - Topic list now indicates topics marked for deletion (only supported on 0.8.2+)  - Batch generate partition assignments for multiple topics with option to select brokers to use  - Batch run reassignment of partition for multiple topics  - Add partitions to existing topic  - Update config for existing topic  - Optionally enable JMX polling for broker level and topic level metrics.  - Optionally filter out consumers that do not have ids/ owners/ & offsets/ directories in zookeeper.
翻译如下
管理多个集群 轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发） 运行首选副本选举 使用选项生成分区分配以选择要使用的代理 运行分区重新分配（基于生成的分配） 使用可选主题配置创建主题（0.8.1.1具有与0.8.2+不同的配置） 删除主题（仅支持0.8.2+并记住在代理配​​置中设置delete.topic.enable = true） 主题列表现在指示标记为删除的主题（仅支持0.8.2+） 批量生成多个主题的分区分配，并可选择要使用的代理 批量运行重新分配多个主题的分区 将分区添加到现有主题 更新现有主题的配置 可随意开启对broker级别或者对topic级别的JMX轮询 可方便的过滤出没有id 、所有者、延迟或目录等的消费者
下面通过页面 的操作步骤详细讲解下kafka-manager的使用
添加集群 
图1
Enable JMX Polling 是否开启 JMX 轮训，该部分直接影响部分 kafka broker 和 topic 监控指标指标的获取（生效的前提是 kafka 启动时开启了 JMX_PORT。主要影响如下指标的查看：
broker/topic 的combined metrics 综合指标
图2
Poll consumer information
是否开启获取消费信息，直接影响能够在消费者页面和 topic 页面查看消费信息
图3
图4
      
Enable Active OffsetCache 是否开启 offset 缓存，决定 kafka-manager 是否缓存住 topic 的相关偏移量。
其它参数说明
参数名参数说明默认值备注brokerViewUpdatePeriodSecondsBroker视图周期更新时间/单位（s）30 clusterManagerThreadPoolSize集群管理线程池大小2 clusterManagerThreadPoolQueueSize集群管理线程池列队大小100 KafkaCommandThreadPoolSizeKafka命令线程池大小2 logkafkaCommandThreadPoolQueueSizelogkafka命令线程池列队大小100 logkafkaUpdatePeriodSecondsLogkafka周期更新时间/单位（s）30 partitionOffsetCacheTimeoutSecsPartition Offset缓存过期时间/单位（s）5 brokerViewThreadPoolSizeBroker视图线程池大小83 * number_of_brokersbrokerViewThreadPoolQueue SizeBroker视图线程池队列大小10003 * total # of partitions across all topicsoffsetCacheThreadPoolSizeOffset缓存线程池大小8 offsetCacheThreadPoolQueueSizeOffset缓存线程池列队大小1000 kafkaAdminClientThreadPoolSizeKafka管理客户端线程池大小8 kafkaAdminClientTheadPoolQueue SizecKafka管理客户端线程池队列大小1000 kafkaManagedOffsetMetadataCheckMillisOffset元数据检查时间30000（这部分解释属自己理解）kafkaManagedOffsetGroupCacheSizeOffset组缓存大小100000（这部分解释属自己理解）kafkaManagedOffsetGroupExpireDaysOffset组缓存保存时间7（这部分解释属自己理解）Security Protocol安全协议PLAINTEXT[SASL_PLAINTEXT,SASL_SSL,SSL]
topic管理  
图5
Brokers Skew% （broker 倾斜率） 该 topic 占有的 broker 中，拥有超过该 topic 平均分区数的 broker 所占的比重。举个例子说明
图6
上图，我们以一个 6 个分区，2 个副本的 topic 举例，该 topic 一共 6 * 2 = 12 个 分区，分布在 5 个 broker 上，平均一个 broker 应该拥有 2.4 个分区，因为分区为整数，所以 2 个或者 3 个都是属于平均范围，5 个 broker 并没有那个拥有超过平均分区数的，所以 Brokers Skew% 为 0。 如果此时，我将 broker 1 上的分区 1 的副本移动到 broker 2 上，如下图所示：
图7
上图，broker 2 上拥有 4 个分区，超过平均的 2 个或 3 个的平均水平，broker 2 就倾斜了，broker 倾斜率 1/5=20%。
图8
注意如下这种情况也是不计算作倾斜的。
图9
Brokers Leader Skew% （broker leader 分区倾斜率） 该 topic 占有的 broker 中，拥有超过该 topic 平均 Leader 分区数的 broker 所占的比重。同样举个例子说明：
图10
我们还是以一个 6 个分区，2 个副本的 topic 举例，该 topic 一共有 6 个 Leader 分区，分布在 5 个 broker 上，平均一个 broker 应该拥有 1.2 个 Leader 分区，因为分区为整数，所以 1 个或者 2 个都是属于平均范围，如图所示，5 个 broker 没有那个拥有超过 2 个的 Leader 分区，所以 Brokers Leader Skew% 为 0。 如果此时，我们将 broker3 的 Leader 分区移动到 broker2，如下图所示：
图11
图12
图13
此时，broker2 拥有 3 个 leader 分区，超过平均范围的 2 个，所以 broker2 就 Leader 分区倾斜了，倾斜率 1/5=20%。
Under Replicated% 该 topic 下的 partition，其中副本处于失效或者失败的比率。失败或者失效是指副本不处于 ISR 队列中。目前控制副本是否处于 ISR 中由 replica.log.max.ms 这个参数控制。
replica.log.max.ms: 如果一个follower在这个时间内没有发送fetch请求或消费leader日志到结束的offset，leader将从ISR中移除这个follower，并认为这个follower已经挂了，默认值 10000 ms
用下图举例说明：
图14
broker1 此时拥有 partition1 和 partition4，其中 partition4 时 Leader，partition1 是副本，如果此时 broker 故障不可用，则会出现如下情况：
图15
上述两张图片时接连展现，先是发现borker1 上 partition4 这个 Leader 分区失效，继而从 ISR 队列中取出 broker4 上的副本作为 Leader 分区，然后在后期同步检测过程中发现broker1 上 partition1 这个副本失效。最后导致的结果就是 partition1 和 partition4 都出于副本失效或者失败的状态。此时 Under Replicated 的数值为：2/6=33%。
图16
总结
上面三个参数对于衡量 topic 的稳定性有重要的影响：Broker Skew: 反映 broker 的 I/O 压力，broker 上有过多的副本时，相对于其他 broker ，该 broker 频繁的从 Leader 分区 fetch 抓取数据，磁盘操作相对于其他 broker 要多，如果该指标过高，说明 topic 的分区均不不好，topic 的稳定性弱；Broker Leader Skew：数据的生产和消费进程都至于 Leader 分区打交道，如果 broker 的 Leader 分区过多，该 broker 的数据流入和流出相对于其他 broker 均要大，该指标过高，说明 topic 的分流做的不够好；Under Replicated: 该指标过高时，表明 topic 的数据容易丢失，数据没有复制到足够的 broker 上。
topic 详情
图17
Preferred Replicas 分区的副本中，采用副本列表中的第一个副本作为 Leader 的所占的比重，如上图，6 个副本组，其中只有 partition4 不是采用副本中的第一个在 broker1 中的分区作为 leader 分区，所以 Preferred Replicas 的值为 5/6=83%。
上述是关于“优先副本”的相关描述，即在理想的状态下，分区的 leader 最好是 “优先副本”，这样有利于保证集群中 broker 的领导权比较均衡。重新均衡集群的 leadership 可采用 kafka manager 提供的工具
topic 操作
操作说明Delete Topic删除 topicReassign Partitions平衡集群负载Add Partitions增加分区Update ConfigTopic 配置信息更新Manual Partition Assignments手动为每个分区下的副本分配 brokerGenerate Partition Assignments系统自动为每个分区下的副本分配 broker
一般而言，手动调整、系统自动分配分区和添加分区之后，都需要调用 Reassign Partition。
Manual Partition Assignments 一般当有 Broker Skew 时或者 Broker Leader Skew 后可以借助该功能进行调整，本文前面的 Broker Skew 和 Broker Leader Skew 的说明都借助了该工具。 例如将下图中的 broker1 的分区4 移动到 broker2 上。
Generate Partition Assignments 该功能一般在批量移动 partition 时比较方便，比如集群新增 broker 或者 topic 新增 partition 后，将分区移动到指定的 broker。 例如下图将 topic 由原来的分布在 5 个 broker 修改为 4 个 broker：
消费监控
kafka manager 能够获取到当前消费 kafka 集群消费者的相关信息。
文章参考 https://www.jianshu.com/p/6a592d558812
窝头就辣椒
关注
关注
14
点赞
90
收藏
评论
kafka manager的使用，kafka manager页面参数说明
kafka-manager是kafka集群管理工具，由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容(从githup上kafka-manager项目的readme得到功能列表)： - Manage multiple clusters - Easy inspection of cluster state (topics, consumers, offsets, br...
复制链接
扫一扫
专栏目录
kafka manager可视化管理工具
08-15
kafka 可视化工具 偏向Kafka集群管理，若操作不当，容易导致集群出现故障。对Kafka实时生产和消费消息是通过JMX实现的
kafka-manager-2.0.0.2.zip
07-11
kafka-manager-2.0.0.2.zip
kafkaManager用于监控kafka消息队列的broker、分区、数据等信息
评论 4
您还未登录，请先
登录
后发表或查看评论
kafka-manager
12-19
kafka-manager-1.3.3.15, https://github.com/yahoo/kafka-manager
kafka-manager：kafak的管理界面的安装和使用
weixin_30667301的博客
01-04
142
下载打包
release下载：https://github.com/yahoo/kafka-manager/releases
源码位置：https://github.com/yahoo/kafka-manager
从上面两处获取的都是源码，需要自己打包，才可以使用
1、进入解压后的 Kafka-manager 目录，执行下面的命令：./sbt clean dist。如果之前从来没有用...
Kafka图形管理界面Kafka-eagle安装配置详解
最新发布
IT之一小佬的博客
10-29
1399
Kafka图形管理界面Kafka-eagle安装配置详解
kafka集群管理工具kafka-manager
yizhiniu_xuyw的专栏
10-23
633
一、kafka-manager简介
kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容：
管理多个集群
轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发）
运行首选副本选举
使用选项生成分区分配以选择要使用的代理
运行分区重新分配（基于生成的分配）
使用可选主题配置创建主题（0.8.1.1具有与0.8.2+不同的配置）
删除主题（仅支持0.8.2+并记住在代理配​​置中设置dele.
kafka集群管理工具kafka-manager部署安装
coding_1994的博客
05-04
3019
一、kafka-manager 简介
为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个集群的工具，有如下功能：
1.管理多个kafka集群
2.便捷的检查kafka集群状态(t...
Kafka Manager的简介以及安装使用
hailunw的专栏
07-03
618
简介
Kafka Manager 是 Yahoo 推出的 Kafka 管理工具，支持：
管理多个集群
轻松检查集群状态 (topics, brokers, replica distribution, partition distribution)
执行复制选举
生成分区指派，基于集群的状态
分区的重新指派
该项目基于 Play Framework 框架开发。
安装配置以及使用
...
Kafka重要的监控指标
紫蝶侠的博客
07-10
3796
Kafka监控:主要性能指标
Kafka Manager几个指标含义
Brokers Spread：看作broker使用率，如kafka集群9个broker，某topic有7个partition，则broker spread: 7 / 9 = 77%
Brokers Skew：partition是否存在倾斜，如kafka集群9个broker，某topic有18个partition，正常每个broker应该2个partition。若其中有3个broker上的partition数>2，则broker
Kafka集群管理工具kafka-manager的安装使用
baidu_35692846的博客
12-09
1722
一.kafka-manager简介
kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容：
管理多个集群
轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发）
运行首选副本选举
使用选项生成分区分配以选择要使用的代理
运行分区重新分配（基于生成的分配）
使用可选主题配置创建主题（0.8.1.1具有与0.8.2+不同的配置）
删除主题（仅支持0.8.2+并记住在代理配​​置中设置d..
Kafka Manager的使用
Widsom的博客
07-08
8402
Kafka Manager的使用
1.安装
Kafka Manager是雅虎开发的一个基于Web的kafka管理工具。具有非常强大的功能。
kafka manager项目地址：https://github.com/yahoo/kafka-manager
下载编译kafka manager
# 从git上下载Kafka manager源码
git clone https://githu...
记kafka-manager踩过的一个大坑
qq_36448452的博客
10-30
2238
记kafka-manager踩过的一个大坑
踩过一个大坑：
Yikes! Ask timed out on
[ActorSelection[Anchor(akka://kafka-manager-system/),
Path(/user/kafka-manager/kafka007/kafka-state)]] after [2000 ms]
如下图所示：
原因：
解决：
kafka-manager监控管理kafka工具
07-16
直接下载解压，修改zookeeper配置属性启动即可，希望可以帮助小伙伴们，直接下载解压，修改zookeeper配置属性启动即可，希望可以帮助小伙伴们
kafka manager安装
chen_peng7的博客
08-06
1129
一、下载kafka-manager源码
前往https://github.com/yahoo/kafka-manager/releases，根据自己的需要，下载合适版本的Kafka Manager源码
二、mac安装sbt
brew install sbt
解压源码,在源码根目录下执行如下命令构建项目：
sbt clean dist
构建成功后，在target/universal目录下找到类似cmak-3.0.0.5.zip的文件，这个就是构件好的Kafka Manager啦。
...
kafka manager安装和使用
qq_40841531的博客
08-02
1033
1、GitHub下载kafka manager的源码并且编译
链接：https://github.com/yahoo/CMAK.
2、编译命令和编译完成后的文件路径
编译命令：sbt clean dist
编译成功后的文件位置在target目录的子目录下面如下图
3、修改配置文件里面zookeeper集群的配置
配置文件路径：kafka-manager/conf/application.conf
4、修改kafka manager里面conf目录下面application.conf里面的zookeepe
Kafka-Manager集群可视化管理工具安装及使用
WoAiShuiGeGe的博客
10-13
439
一、下载
官网地址：http://www.kafka-eagle.org/articles/docs/changelog/changelog.html
二、解压缩
Kafka界面管理工具-kafkamanager
小程序员的大梦想
02-24
4349
在上一篇文章《Linux安装Kafka》中，已经介绍了如何在Linux安装Kafka，以及Kafka的启动/关闭和创建发话题并产生消息和消费消息。这篇文章就介绍介绍Kafka管理界面(kafka-manager)的安装和使用
kafka-manager 是雅虎开源的apache-kafka管理工具，是用Scala写，所以在web页面进行操作即可。
♛ 1 下载
下载地址：https://gi...
kafka监控工具kafka-manager(cmak)安装及使用
qq_40662424的博客
07-25
158
代码】kafka监控工具kafka-manager(cmak)安装及使用。
kafka manager监测不到consumer
jm88621的博客
09-11
5768
第一步，首先勾选poll
第二步，在创建consumer时必须设置group_id，否则manager监测不到
def consume(topic):
# 必须设置group_id，否则kafka manager监测不到
consumer = KafkaConsumer(topic,
bootstrap_servers=s...
kafka manager管理平台安装与配置
pingzi_1119的专栏
04-22
270
0、环境准备：Java 8+ kafka集群搭建参考：https://www.cnblogs.com/frankdeng/p/9403883.html
启动kafka服务和集群
本系统里kafka集群是正常运行中的，只是新增一个kafka manager，所以不需要这一步。
1、可以从官网下载源码并编译再安装，但是编译的过程非常非常慢且容易出错，所以本次从网上找了编译好的...
【Kafka】kafka-eagle几个指标含义
九师兄
09-22
2191
1.概述
转载:kafka-eagle几个指标含义
1. Preferred Leader
默认用Replicas副本集里的第一个副本作为leader。
2. Brokers Spread
看作broker使用率，如kafka集群9个broker，某topic有7个partition，则broker spread: 7 / 9 = 77%
3. Brokers Skew
partition是否存在倾斜，如kafka集群9个broker，某topic有18个partition，正常每个broker应该2个pa
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：大白
设计师：CSDN官方博客
返回首页
窝头就辣椒
CSDN认证博客专家
CSDN认证企业博客
码龄10年
暂无认证
11
原创
11万+
周排名
141万+
总排名
15万+
访问
等级
1235
积分
24
粉丝
49
获赞
14
评论
311
收藏
私信
关注
热门文章
简单数据预测—使用Python训练回归模型并进行预测（转自蓝鲸网站分析博客）
43788
kafka manager的使用，kafka manager页面参数说明
20060
hive创建表格，简单创建及复杂创建（指定分隔符，存储格式、分区等）
16193
java split简单用法，误区
14560
一张图看懂三大开源运维监控框架对比（zabbix、nagios和open-falcon详细比较）
10227
分类专栏
运维
1篇
大数据
1篇
kylin
1篇
java
7篇
hadoop
7篇
hadoop，Python，数据分析
Python
3篇
工具
3篇
hive
3篇
算法
3篇
hbase
1篇
kafka
2篇
kafka-manager
1篇
数据仓库
1篇
最新评论
kafka manager的使用，kafka manager页面参数说明
winrh:
非常详细，赞
简单数据预测—使用Python训练回归模型并进行预测（转自蓝鲸网站分析博客）
fengdiyu:
我要分析的问题有好几个变量，这个怎么搞
简单数据预测—使用Python训练回归模型并进行预测（转自蓝鲸网站分析博客）
weixin_44957010:
博主图片看不到了怎么办
简单数据预测—使用Python训练回归模型并进行预测（转自蓝鲸网站分析博客）
m0_52126923:
将数据分割为训练集和测试集的时候出现了报错，该怎么办呢？报错内容未framework not contribute（）大概是这样子的保存该如何解决呢？
kafka manager的使用，kafka manager页面参数说明
jeff.sheng:
博主组织的不错哦
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
kafka使用ssl加密和认证
kylin源代码的编译，打包（记一次修改bug记录）
一种通用的数据仓库分层方法
2020年1篇
2019年6篇
2018年9篇
2017年6篇
2016年1篇
2015年3篇
2014年2篇
目录
目录
分类专栏
运维
1篇
大数据
1篇
kylin
1篇
java
7篇
hadoop
7篇
hadoop，Python，数据分析
Python
3篇
工具
3篇
hive
3篇
算法
3篇
hbase
1篇
kafka
2篇
kafka-manager
1篇
数据仓库
1篇
目录
评论 4
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值