草庐IT

Kafka可视化工具-Offset Explorer使用

开着拖拉机回家 2024-01-13 原文

目录

一、概述

二、环境信息

三、安装和使用

3.1 下载Offset Explorer 和安装

3.2 软件配置

3.2.1Properties

3.2.2Properties

3.2.3Advanced

3.2.4 JAAS config

3.2.5修改配置文件

3.3 基本使用

3.3.1查看topic分区列表及分区leader位置信息

3.3.2查看数据

一、概述

Offset Explorer（以前称为Kafka Tool）是一个用于管理和使Apache Kafka ®集群的GUI应用程序。它提供了一个直观的UI，允许人们快速查看Kafka集群中的对象以及存储在集群主题中的消息。它包含面向开发人员和管理员的功能。

一些关键功能包括：

  1. 快速查看所有Kafka集群，包括它们的代理、主题和消费者
  2. 查看分区中的消息内容并添加新消息
  3. 查看消费者的偏移量，包括Apache Storm Kafka spout消费者
  4. 以漂亮的打印格式显示JSON、XML和Avro消息
  5. 添加和删除主题以及其他管理功能
  6. 将分区中的单个消息保存到本地硬盘驱动器
  7. 编写您自己的插件，允许您查看自定义数据格式
  8. Offset Explorer在Windows、Linux和Mac OS上运行

二、环境信息

系统环境：windows 10

Offset explorer版本：2.2

Kafka版本：Kafka2.0.0

三、安装和使用

3.1 下载Offset Explorer 和安装

下载地址：Offset Explorer

下载到本地的 .exe文件

Next

accept Next

安装路径 ，Next

Next

Finish

3.2 软件配置

3.2.1Properties

下载安装完毕，进行新增连接，启动offsetexplorer.exe，在Add Cluster窗口Properties 选项下填写Cluster name 和 kafka Cluster Version等参数信息。

  • 集群名称：可随意填写；
  • 集群版本：需要确认，不同版本之间差异大；
  • zookeeper所在的服务器ip地址：
  • 端口；

3.2.2Properties

配置安全项,根据自己环境选择选择，我的环境是SASL_PLAINTEXT，下面选择SASL_PLAINTEXT即可。

SASL_PLAINTEXT：使用SASL框架来做认证和数据加密，使用明文传输数据

SASL_SSL：使用SASL框架来做认证和数据加密，使用SSL加密传输数据

3.2.3Advanced

Bootstrap servers：配置自己的kafka的broker地址

SASL Mechanism: 填写GSSAPI（这里表示SASL的实现，GSSAPI是一套接口，现在只有Kerberos v5实现了这个接口；这里实际就是指的是Kerberos）

3.2.4 JAAS config

如果不是使用GSSAPI可以参考官网；否则有两种方法，第一种命令行启动添加配置，第二种修改配置文件;

我们 JAAS 也可以不用配置 直接用参数 添加到 offsetexplorer.exe 启动命令后面。

com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
storeKey=true
client=true
serviceName="kafka"
keyTab="D:/work/winner/kerberos/kafka/kafka.service.keytab"
principal="kafka/hdp103@WINNER.COM";

update 配置后 cd 到 offsetexplorer 的安装目录，添加启动参数 krb5.conf。

offsetexplorer.exe  -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/krb5.conf

JAAS 中没有配置可以 在启动参数中添加 JAAS.conf 路径。

offsetexplorer.exe -J-Djava.security.auth.login.config=D:/work/winner/kerberos/kafka/kafka_client_winner_jaas.conf -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/kafka.service.keytab -J-Djava.security.krb5.conf=D:/work/winner/kerberos/kafka/krb5.conf

3.2.5修改配置文件

找到offset explorer安装目录，然后打开offsetexplorer.vmoptions文件，在末尾添加如下信息（保存关闭，以后每次启动都会生效，如果访问其他KDC集群，请修改配置然后重启）：

3.3 基本使用

3.3.1查看topic分区列表及分区leader位置信息

3.3.2查看数据

kafka成功连接之后可以看到该kafka的Topics信息，如果是集群kafka，可以看到集群下所有节点的信息。

  • 打开某一个topic，点击Data查看数据，一开始是没有数据的；
  • 选择消费方式，是从开始消费还是从最新开始消费；
  • 选消费方式后，点击左上角的“绿色三角符号” 播放按钮才会展示数据，可设置查询的条数。

列表分别展示：消息所属的partition（分区） , offset（偏移量）, message（消息数据），timestamp（数据生成时间戳），

选中具体数据后，查看下方面板

————————————————

参考链接

原文链接：Offset explorer连接Kerberos认证的Kafka_offset连接kafka_过悟的博客-CSDN博客

原文链接：Kafka消息可视化工具-Offset Explorer使用_kafka消息查看工具_水w的博客-CSDN博客

原文链接：Kafka的终极UI工具丨Offset Explorer功能简介_offsetexplorer_51component技术交流的博客-CSDN博客

ExplorerOffsetxffsectionimgkafkaOffset Explorer

有关Kafka可视化工具-Offset Explorer使用的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  5. ruby - 在 Ruby 中使用匿名模块 - 2

    假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外，还有什么方法可以访问C和m中的其他内容？我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)？如何在使用完匿名模块后将其删除，使其定义的常量不再存在？ 最佳答案 三个答案:是的，使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

  6. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我

  7. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  8. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  9. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

  10. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

随机推荐