博客 Kafka ui 搭建以及使用

Kafka ui 搭建以及使用

   数栈君   发表于 2023-09-06 10:10  1476  0

Kafka ui

kafka 本身没有自带相关的 ui 界面,但是很多时候没有页面意味着只有使用命令行进行相关操作如创建 topic、更改 topic 信息、重置 offset 等等。但实际使用中这种效果很差劲,我们一般还是会借助其他软件,实现对 kafka 的页面管控。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/348fc73c7d0ccbed0edfffe8aaaf5608..png
  

结合这张图与实际体验,推荐大家使用 ui for apache kafka 进行 kafka 的 ui 界面化管理。

kafka-ui 搭建

其实 kafka-ui 是没有安装过程的,在 github 上已经打包成了 jar 包,当前最新版本为 0.4,下载地址如下:

https://github.com/provectus/kafka-ui/releases

我们下载最新的 jar 后,放到服务器上如图:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/7dc46965d9406e3249410fa62ce62907..png
  

创建一个 application.yml 文件:

kafka:
    clusters:
        - name: kafka3_cluster
        bootstrapServers: 192.168.111.128:9092,192.168.111.129:9092,192.168.111.130:9092
        metrics:
            port: 9094
            type: JMX

        - name: OTHER_KAFKA_CLUSTER_NAME
        bootstrapServers: 10.10.10.10:9092
        metrics:
            port: 9094
            type: JMX

spring:
    jmx:
        enabled: true
    security:
        user:
            name: maggot
            password: maggot

auth:
    type: LOGIN_FORM #LOGIN_FORM # DISABLED

server:
    port: 10300

logging:
    level:
        root: INFO
        com.provectus: INFO
        reactor.netty.http.server.AccessLog: INFO

management:
    endpoint:
        info:
            enabled: true
        health:
            enabled: true
    endpoints:
        web:
            exposure:
                include: "info,health"

clusters

在 kafka 中配置相关的 kafka 集群,每一个 clusters 为一个集群,需要配置:

        name

设置一个集群名

        bootstrapServers

brokers 连接,针对 kraft 架构,就很方便,不用再配置 zookeeper 相关配置。

        metrics

配置该集群的 JMX 相关配置,如果没有可省略。(在启动 kafka 时,启动命令行前面添加 JMX_PORT=9094 )

登陆配置

    auth.type
使用 LOGIN_FORM 开启;或者 DISABLED 关闭认证。如果开启了,需要 spring.security.user 中配置用户名与密码。

    spring.security.user

配置的登陆账号密码。

kafka-ui http 端口

    server.port

kafka-ui http 端口。

todo 进行 SASL_SSL 认证配置

kafka-ui 使用

多集群切换

点击左侧进行多集群切换,绿色为集群健康,黄色为警告,红色为已经挂掉。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/a7d73fe13c0fe1262aca2f5a85be6779..png
  

集群 Broker 统计信息

所有 broker 总数、controllers 总数、版本号。Partitions 在线数量,URP 数量,在副本数的数量和 OSR 的数量。

下面为每个 broker 的详细数据信息。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/0bf36dfe10ede5a97fa12d19a40f797c..png
  

Topic 信息

在 Topics 中,可以看到所有的 topic,也可以进行搜索。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/4383bc71298082c62c9d66301b70b681..png
  

在查询到自己想看的 topic 后可以点击 topic name 进行详细的 topic 查看:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/6b7583d91cbffdbb46ffa9e2af469e2e..png
  

可以通过切换 overview、messages、consumers、settings 进行切换。在左边有三个点的按钮都可以操作,

其中右上角的对当前 topic 操作,包含:编辑 topic 信息、 清空 topic 数据、重建 topic、删除 topic。
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/cb3ce7051d755906beeb207c0be9e3cc..png
  
针对每个 broker 也可以清空数据:
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/491d1e73d33af5b79267bfca536c098e..png
  

创建 topic
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/3faa2384531636a96872e6b36f8b1065..png
  

在 add custom parameter 中添加额外信息。

Consumers
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/b09cbac2d78e7f1f8b20636019365c91..png
  

左边也可以进行清空状态操作
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/4c2fc9ff84439eeb99f040208b6a0574..png
  




免责申明:


本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!

《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:
https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:
https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群