一，Kafka基本概念网上很多，随便列几个： kafka笔记_千峰kafka笔记_kyrielx的博客-CSDN博客Kafka基本原理（8000字小结）基础没看完，下面别看了，容易头晕。 二，高可用Partition+Replication再加上consumergroup基本就保证了高可用。三，高性能这个需要重点说下，因为市面上消息队列产品很多，kafka据说时目前最快，总得有个原因把。直接上图： 3.1Producer传统的数据库或者消息中间件都是想办法让client端更轻量，将server设计成重量级，仅让client充当应用程序和server之间的接口。但是kafka将许多工作放在了客户
一.安装：1.1Windows本机tar包安装1.下载tar包地址：ApacheDownloadMirrors，点击下面的连接先将tar包下载下来 2.解压到任意地址但自己要记得位置 3.进入到config文件找到server.properties更改信息搜索，然后找到下面的地方将下面代码复制进去。server.properties文件可以用于配置监听的host、port、broker等注意：这个zookeeper.connect=localhost:2181和log.dirs=./logs是原先就有的，找到修改即可。默认的ZooKeeper连接服务为localhost:2181#存储到日志文
叙述当前Kafka认证方式采用动态增加用户协议。自0.9.0.0版本开始Kafka社区添加了许多功能用于提高Kafka群集的安全性，Kafka提供SSL或者SASL两种安全策略。SSL方式主要是通过CA令牌实现，此文主要介绍SASL方式。1）SASL验证:验证方式Kafka版本特点SASL/PLAIN0.10.0.0不能动态增加用户SASL/SCRAM0.10.2.0可以动态增加用户SASL/Kerberos0.9.0.0需要独立部署验证服务SASL/OAUTHBEARER2.0.0需自己实现接口实现token的创建和验证，需要额外Oauth服务2）SSL加密:使用SSL加密在代理和客户端之间
使用Kafka的小伙伴，有没有为无法直观地查看Kafka的Topic里的内容而发过愁呢？下面推荐给大家一款带有可视化页面的Kafka工具：KafkaTool（目前最新版本是2.0.4）KafkaTool工具下载下载地址http://www.kafkatool.com/download.html下载界面不同版本的Kafka对应不同版本的工具，个人使用的是0.11，所以下载的是最新的2.0.4版本如果是Windows，直接点击exe文件，一键安装即可。KafkaTool工具使用1、Kafka连接配置1）启动KafkaTool在安装目录下，双击可执行文件kafkatool.exe，启动KafkaTo
什么是大数据测试 大数据测试通常是指对采用大数据技术的系统或应用的测试。大数据测试可以分为两个维度，一个维度是数据测试，另一个维度是大数据系统测试和大数据应用产品测试。 数据测试： 主要关注数据的完整性、准确性和一致性等。 大数据系统测试和大数据应用产品测试： 这里的大数据系统一般是指使用hadoop生态组件搭建的或者自主研发的大数据系统。自主研发的大数据系统主要包括数据的存储、计算和分析等应用。 大数据系统测试主要包括功能、基准、安全和可靠性测试。功能测试主要是对数据的采集和传输、数据的存储和管理、数据计算、数据的查询和分析，以及数据的可视化等功能的测试。基准测试主要用于对比和评估
什么是大数据测试 大数据测试通常是指对采用大数据技术的系统或应用的测试。大数据测试可以分为两个维度，一个维度是数据测试，另一个维度是大数据系统测试和大数据应用产品测试。 数据测试： 主要关注数据的完整性、准确性和一致性等。 大数据系统测试和大数据应用产品测试： 这里的大数据系统一般是指使用hadoop生态组件搭建的或者自主研发的大数据系统。自主研发的大数据系统主要包括数据的存储、计算和分析等应用。 大数据系统测试主要包括功能、基准、安全和可靠性测试。功能测试主要是对数据的采集和传输、数据的存储和管理、数据计算、数据的查询和分析，以及数据的可视化等功能的测试。基准测试主要用于对比和评估
Kafka到HDFS，除了用KafkaAPI和flume之外，还可以用kettle，最大优点是不用写代码！版本：Kettle版本：8.2、Hadoop版本：3.1.3前提： 详情请看鄙人的一百零一、Kettle8.2.0连接Hive3.1.2(踩坑，亲测有效)http://t.csdn.cn/mWfOChttp://t.csdn.cn/mWfOC前提一、Hadoop系列配置文件已复制到kettle路径下 路径为：D:\java\kettle\pdi-ce-8.2.0.0-342\data-integration\plugins\pentaho-big-data-plugin\hadoop
xxx系列文章xxxx系列(1)―xxxx系列(2)―xxxxx系列(3)―提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录xxx系列文章前言一、问题描述二、问题解决二、验证结论前言在最近使用Kafka过程中，发现使用@KafkaListener指定分区消费时（指定了所有分区），如果服务是多节点，会出现重复消费的现象，即两个服务节点中的消费者均会消费到相同信息，这与消费者组中只有一个消费者可以消费到消息的规则不相符，于是花时间找了找原因参考链接：Consumer机制小龙虾你抓不到(上面博主的专栏)KafkaConsumerassignVSsubscribeKafka的a
解压文件启动zookeeper配置kafka环境变量查看Kafka的版本内容分发Kafka文件到slave1、slave2修改server.properties文件 在Master、slave1和slave2节点上分别启动Kafka在Master节点上执行如下命令来创建Topic解压文件tar-zxvfkafka_2.12-2.4.1.tgz-C/optmvkafka_2.12-2.4.1kafka启动zookeeper 提前安装好在每个节点启动zkServer.shstart配置kafka环境变量vim/etc/profileexportKAFKA_HOME=/opt/kafk
Kafka系列之：连接器客户端配置覆盖策略一、背景二、公共接口三、推荐的改动四、兼容性、弃用和迁移计划一、背景KAFKA引入了每个源连接器和接收器连接器从工作线程属性继承其客户端配置的功能。在工作线程属性中，任何具有“生产者”或“消费者”前缀的配置。分别应用于所有源连接器和接收器连接器。虽然最初的提案允许覆盖源连接器和接收器连接器，但它在允许连接器的不同配置方面仍然受到限制。通常，连接用户希望能够执行以下操作：-对于每个连接器使用不同的主体，以便它们可以在细粒度级别控制ACL能够优化每个连接器的生产者和消费者配置，以便根据其性能特征设置连接器KIP-296：客户端配置的连接器级别可配置性旨在通
