LogServiceImpl@Service@Slf4jpublicclassLogServiceImplimplementsLogService{privatestaticfinalStringTOPIC_NAME="ods_link_visit_topic";@AutowiredprivateKafkaTemplatekafkaTemplate;/***记录日志**@paramrequest*@paramshortLinkCode*@paramaccountNo*@return*/@OverridepublicvoidrecodeShortLinkLog(HttpServletReques
部署ZKdockerrun-d--namezookeeper-p2181:2181-twurstmeister/zookeeper部署Kafka dockerrun-d--namexdclass_kafka\ -p9092:9092\ -eKAFKA_BROKER_ID=0\ --envKAFKA_HEAP_OPTS=-Xmx256M\ --envKAFKA_HEAP_OPTS=-Xms128M\ -eKAFKA_ZOOKEEPER_CONNECT=[内网ip]:2181\ -eKAFKA_ADVERTISED_LISTENERS=PLAINTEXT://[外网ip]:9092\ -eKAFK
1安装Redis1.1创建配置文件redis.conf切换到自己的目录下如本文是放在/home/ubuntu下cd/home/ubuntuvimredis.confbind0.0.0.0protected-modeyesport6379requirepassqwe123456tcp-backlog511timeout0tcp-keepalive300daemonizenopidfile/var/run/redis_6379.pidloglevelnoticelogfile"/tmp/redis.log"databases16always-show-logonostop-writes-on-bg
Zookeeper与Kafka一、Zookeeper概述1.Zookeeper定义2.Zookeeper工作机制3.Zookeeper特点4.Zookeeper数据结构5.Zookeeper应用场景6.Zookeeper选举机制二、部署Zookeeper集群1.准备3台服务器做Zookeeper集群2.安装Zookeeper3.拷贝配置好的Zookeeper配置文件到其他机器上4.配置Zookeeper启动脚本5.设置开机自启三、Kafka概述1.为什么需要消息队列（MQ）：2.使用消息队列的好处3.消息队列的两种模式4.Kafka定义5.Kafka简介6.Kafka的特性7.Kafka系统架
1.概述对于分布式系统，人们首先对现实中的分布式系统进行高层抽象，然后做出各种假设，发展了诸如CAP,FLP等理论，提出了很多一致性模型，Paxos是其中最璀璨的明珠。我们对分布式系统的时序，复制模式，一致性等基础理论特别关注。在共识算法的基础上衍生了选举算法，并且为分布式事务提供了部分的支持。本文从常见的几种分布式存储系统看看实践中的分布式系统设计细节。理论结合实际，能更好地帮助我们加深理解。2.分片先来看看分片的定义：Theword“Shard”means“asmallpartofawhole“.HenceShardingmeans dividingalargerpartintosmall
目录一、简介二、环境搭建1、Kafka部署2、Kafka测试3、可视化工具三、工程搭建1、工程结构2、依赖管理3、配置文件四、基础用法1、消息生产2、消息消费五、参考源码标签：Kafka3.Kafka-eagle3；一、简介Kafka是一个开源的分布式事件流平台，常被用于高性能数据管道、流分析、数据集成和关键任务应用，基于Zookeeper协调的处理平台，也是一种消息系统，具有更好的吞吐量、内置分区、复制和容错，这使得它成为大规模消息处理应用程序的一个很好的解决方案；二、环境搭建1、Kafka部署1、下载安装包：kafka_2.13-3.5.0.tgz2、配置环境变量open-e~/.bash
Kafka生产者、消费者命令行操作1.查看操作生产者命令参数bin/kafka-console-producer.sh参数--bootstrap-server，连接的KafkaBroker主机名称和端口号。--topic，操作的topic名称。2.发送消息bin/kafka-console-producer.sh--bootstrap-serverhadoop102:9092--topicfirst3.消费者命令行操作bin/kafka-console-consumer.sh参数--bootstrap-server，连接的KafkaBroker主机名称和端口号。--topic，操作的topic
文章目录一、kafka集群实例角色规划二、准备工作三、修改Kraft协议配置文件三、格式化存储目录四、启动集群，完成基础测试五、一键停止集群脚本一、kafka集群实例角色规划在本专栏的之前的一篇文章《kafka3种zk的替代方案》已经为大家介绍过在kafka3.0种已经可以将zookeeper去掉。上图中黑色代表Broker（消息代理服务），褐色/蓝色代表Controller(集群控制器服务)左图（kafka2.0）：一个集群所有节点都是Broker角色，kafka从三个Broker中选举出来一个Controller控制器，控制器将集群元数据信息（比如主题分类、消费进度等）保存到zookeep
1、业务场景一个大的binlog数据库，还原出来了很多SQL语句binlog生成SQL语句方式SQL语句需要顺序执行，因为不顺序执行，比如先新增了一条数据，才有可能修改这条数据，假如先执行修改操作，后执行新增操作，那这个数据就错了2、技术方案选型如果表的binlog文件很小，直接执行就可以了；如果表的binlog太大，那直接执行效率非常低，而且如果某个是否读写出了问题都不知道要从哪里重新执行（如执行时机器出现问题，执行SQL不仅需要读入binlog文件，还要执行SQL语句，频繁的执行SQL可能导致数据库CPU等飙升，可能存在一些执行错误的问题）；借助消息队列，可以重复消费来实现，并且通过代码抓
