基本信息：Centos-7.9、Java-1.8、Python-3.9、Scala-2.12、Hadoop-3.2.1、Spark-3.1.2、Flink-1.13.1、Hive-3.1.3、Zookeeper-3.8.0、Kafka-3.2.0、Nginx-1.23.1目录一、相关文件下载地址二、虚拟机基础配置三、语言环境安装1.Java环境安装2.Python环境安装3.Scala环境安装四、大数据组件安装1.Hadoop集群安装2.MySQL安装3.Spark安装4.Flink安装5.Hive安装6.Zookeeper安装7.Kafka安装8.Nginx安装五、过程中存在的问题1.环境配
broker-listbroker：kafka服务端，可以是一个服务器也可以是一个集群。producer和consumer都相当于这个服务端的客户端。broker-list：指定集群中的一个或多个服务器，一般在使用kafka-console-producer.sh的时候，这个参数是必备参数，另外一个必备的参数是topic。bootstrap-serversvszookeeperbootstrap-servers指的是目标集群的服务器地址，这和broker-list功能一样，不过在consoleproducer要求用broker-list。1、以前用consoleconsumer测试消息收发时会
Kafka超时问题（已解决），kafka.zookeeper.ZooKeeperClientTimeoutException:Timedoutwaitingforconnectionwhileinstate:CONNECTING一、报错内容及原因二、解决办法三、其他解决方案参考四、Kafka启动命令一、报错内容及原因1.Kafka正常运行一段时间后，用测试工具发送数据时报了错：2.于是单独用黑窗口启动Kafka，看看具体报啥错：3.原因JDK版本和Kafka版本不匹配。（我手里项目较多，用的JDK版本也不一样，有的时候忘了把JDK切换回去，就报了这个错）。我的Kafka版本：二、解决办法更换J
注意：低版本需要安装zookeeper，在2.8及以上可移除zookeeper前往官网下载！！！不要下载src文件1.解压文件tarxzfkafka_2.13-3.4.0.tgz进入文件cdkafka_2.13-3.4.0进入cdconfig/kraft2.修改server.properties以下属性vimserver.properties3.我们需要在启动服务器之前创建kafka集群id。执行下列命令，并记下运行生成的uuid：./bin/kafka-storage.shrandom-uuidZ_aPqvh6SPyxIIHEo9Os8A！！！只需要一个集群ID4.接下来我们格式化所有存储目
ZooKeeper是应用于分布式应用程序分布式协调服务。ZooKeeper最早起源于雅虎研究院的一个研究小组。当时，研究人员发现，在雅虎的很多大型系统基本都需要依赖一个类似的系统来进行分布式协调，但是这些系统都存在分布式单点问题，所以雅虎的开发人员就试图开发出一个通用的无单点问题的分布式协调框架，以便让开发人员将精力集中在处理业务逻辑上。特性我们来看看ZooKeeper官网上对ZooKeeper的介绍。ZooKeeper是简单的ZooKeeper是复制的ZooKeeper是有序的ZooKeeper是快速的ZooKeeper可以协调分布式应用程序，同时它自己也支持分布式部署，所以说ZooKeep
1、zkCli的常用命令操作（1）Help（2）ls使用ls命令来查看当前znode中所包含的内容（3）ls2查看当前节点数据并能看到更新次数等数据（4）stat查看节点状态（5）set1）设置节点的具体值2）set节点value值set/testatguigu（6）get1）获得节点的值2）get节点（7）create1）普通创建create/testdemo0012）-s含有序列3）-e临时（8）delete删除无子节点的目录（9）rmr递归删除2四字命令2.1是什么？zookeeper支持某些特定的四字命令，他们大多是用来查询ZK服务的当前状态及相关信息的。通过telnet或nc向zoo
文章目录Windows安装Kafka1.安装JDK并配置好对应的环境变量2.安装配置Zookeeper1.下载安装包ApacheZookeeper2.解压并进入Zookeeper目录防止端口8080启动后被占用，这里考虑先配置下3.安装Kafka3.1下载安装包3.2、解压并进入Kafka目录，Windows安装Kafka1.安装JDK并配置好对应的环境变量●新建一个文件夹jre●1.环境变量如下-安装的路径●2.点击path新建●3.建一个系统变量.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar2.安装配置Z
1：Zookeeper实现分布式锁Zookeeper是一个分布式协调服务，分布式协调主要是来解决分布式系统中多个应用之间的数据一致性,Zookeeper内部的数据存储方式类似于文件目录形式的存储结构,它的内存结果如下图所示：2：Zookeeper加锁原理在Zookeeper中的指定路径下创建创建节点，然后客户端根据当前路径下的节点状态来判断是否加锁成功，如下图一种情况为例，线程1创建节点成功后，线程2再去创建节点就会创建失败3：Zookeeper节点类型持久节点：在Zookeeper中创建后会进行持久储存，直到客户端主动删除临时节点：以客户端会话Session维度创建节点，一旦客户端会话断开，
🌸🌸重点写在前面——注意docker本机地址请使用host.docker.internal🌸🌸由于macOS的docker底层实现的不同，主要原因是macOS的docker在容器和宿主之间无法通过ip直接通信。因此在安装的时候需要特殊注意与ip相关的设置，当容器需要访问宿主ip时，需要使用docker.for.mac.host.internal或者host.docker.internal代替。这里向zookeeper注册的时候，使用的是host.docker.internal，我们在程序中连接kafka的时候，直接使用localhost会报错，如：Errorconnectingtonodeho
环境和安装包准备：管理界面包：kafka-manager-1.3.3.7.zip(链接)kafka二进制包：kafka_2.13-3.5.0.tgz(链接)java包：jdk-8u291-linux-x64.tar.gz(链接)节点IPbrokerid10.10.10.10010.10.10.11110.10.10.122安装java:解压：tar-zxfjdk-8u291-linux-x64.tar.gz编辑/etc/profile配置文件，文件末尾添加如下配置：exportJAVA_HOME=/usr/java/jdk1.8.0_333#java解压目录exportJRE_HOME=${J
