常见的大概这两种情况1.找不到zoo.cfg文件在下载zookeeper后，在%zookeeper安装目录%/conf目录下有一个zoo.sample.cfg文件，把zoo.sample.cfg文件改名为zoo.cfg再重启zkServer.cmd@echooffREMLicensedtotheApacheSoftwareFoundation(ASF)underoneormoreREMcontributorlicenseagreements.SeetheNOTICEfiledistributedwithREMthisworkforadditionalinformationregardingco
文章目录1.排查2.解决方法1：方法2：1.排查1.启动zookeeper后查看状态/bin/zkServer.shstatus发现报错Errorcontactingservice.Itisprobablynotrunning.[root@zookeeper01apache-zookeeper-3.8.2-bin]#./bin/zkServer.shstatus/usr/bin/javaZooKeeperJMXenabledbydefaultUsingconfig:/opt/apache-zookeeper-3.8.2-bin/bin/../conf/zoo.cfgClientportfoun
Reids：Redis只保证最终一致性，副本间的数据复制是异步进行（Set是写，Get是读，Reids集群一般是读写分离架构，存在主从同步延迟情况），主从切换之后可能有部分数据没有复制过去可能会「丢失锁」情况，故强一致性要求的业务不推荐使用Reids，推荐使用zk。Redis集群各方法的响应时间均为最低。随着并发量和业务数量的提升其响应时间会有明显上升（公网集群影响因素偏大），但是极限qps可以达到最大且基本无异常ZooKeeper：使用ZooKeeper集群，锁原理是使用ZooKeeper的临时顺序节点，临时顺序节点的生命周期在Client与集群的Session结束时结束。因此如果某个Cli
ansible部署zookeeper和kafka集群基础环境准备配置ansible文件（zookeeper）配置ansible文件（kafka）节点IPansible192.168.200.75node1192.168.200.76node2192.168.200.77node3192.168.200.78基础环境准备基础环境配置就不过多赘述了主机名、主机解析、免密访问、ansible下载、配置ansible主机、防火墙、selinux、配置centos2009镜像、配置ftp远程。均已配置配置ansible文件（zookeeper）在ansible节点的/root目录下创建example目录
配置文件说明配置项tickTime=2000dataDir=/zookeeper-data/initLimit=5syncLimit=2maxClientCnxns=2048autopurge.snapRetainCount=3autopurge.purgeInterval=14lw.commands.whitelist=stat,ruok,conf,isro,mntrauthProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProviderrequireClientAuthScheme=saslquorum.cnxn.
作者：禅与计算机程序设计艺术1.简介随着互联网的飞速发展，各种信息数据越来越多，数据的存储也越来越依赖于分布式文件系统或NoSQL数据库。而传统的单机数据库往往不具备弹性可扩展性和高可用容错能力，在面对海量数据时难免会遇到性能瓶颈。为了解决这一问题，人们又提出了分布式文件系统或NoSQL数据库，但这类数据库通常都采用Master-Slave模式，需要一个单点的协调者（Master）负责全局管理，并且不具备水平扩展能力。因此，当数据量达到一定规模后，仍然会面临如何横向扩展的问题。在分布式系统中，最知名的就是ApacheHadoop，它是一个开源的框架，提供大数据集并行处理的能力，其底层依赖HDF
基本信息：Centos-7.9、Java-1.8、Python-3.9、Scala-2.12、Hadoop-3.2.1、Spark-3.1.2、Flink-1.13.1、Hive-3.1.3、Zookeeper-3.8.0、Kafka-3.2.0、Nginx-1.23.1目录一、相关文件下载地址二、虚拟机基础配置三、语言环境安装1.Java环境安装2.Python环境安装3.Scala环境安装四、大数据组件安装1.Hadoop集群安装2.MySQL安装3.Spark安装4.Flink安装5.Hive安装6.Zookeeper安装7.Kafka安装8.Nginx安装五、过程中存在的问题1.环境配
broker-listbroker：kafka服务端，可以是一个服务器也可以是一个集群。producer和consumer都相当于这个服务端的客户端。broker-list：指定集群中的一个或多个服务器，一般在使用kafka-console-producer.sh的时候，这个参数是必备参数，另外一个必备的参数是topic。bootstrap-serversvszookeeperbootstrap-servers指的是目标集群的服务器地址，这和broker-list功能一样，不过在consoleproducer要求用broker-list。1、以前用consoleconsumer测试消息收发时会
Kafka超时问题（已解决），kafka.zookeeper.ZooKeeperClientTimeoutException:Timedoutwaitingforconnectionwhileinstate:CONNECTING一、报错内容及原因二、解决办法三、其他解决方案参考四、Kafka启动命令一、报错内容及原因1.Kafka正常运行一段时间后，用测试工具发送数据时报了错：2.于是单独用黑窗口启动Kafka，看看具体报啥错：3.原因JDK版本和Kafka版本不匹配。（我手里项目较多，用的JDK版本也不一样，有的时候忘了把JDK切换回去，就报了这个错）。我的Kafka版本：二、解决办法更换J
注意：低版本需要安装zookeeper，在2.8及以上可移除zookeeper前往官网下载！！！不要下载src文件1.解压文件tarxzfkafka_2.13-3.4.0.tgz进入文件cdkafka_2.13-3.4.0进入cdconfig/kraft2.修改server.properties以下属性vimserver.properties3.我们需要在启动服务器之前创建kafka集群id。执行下列命令，并记下运行生成的uuid：./bin/kafka-storage.shrandom-uuidZ_aPqvh6SPyxIIHEo9Os8A！！！只需要一个集群ID4.接下来我们格式化所有存储目
