前言前文介绍了消息队列相关知识，并未针对某个具体的产品，所以略显抽象。本人毕业到现在使用的都是公司内部产品，对于通用产品无实际经验，但是各种消息中间件大差不差，故而本次选择一个相对较熟悉的Kafka进行详细介绍。MQ面试题之Kafka1.kafka架构只需深入理解上图即可清楚Kafka的工作流程。描述一下Kafka是什么，以及它的主要特点是什么？Kafka是由Apache软件基金会开发的一个开源流处理平台，主要用于构建实时数据管道和流应用程序。它是一个高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据。Kafka的主要特点包括：高吞吐量：Kafka可以处理数百万的消息，每
目录1.Docker安装与启动1.1安装Docker 1.2设置ustc的镜像 1.3Docker的启动与停止2.常用命令2.1镜像相关命令2.1.1查看镜像2.1.2搜索镜像 2.1.3 拉取镜像2.1.4 删除镜像2.2容器相关命令2.2.1查看容器2.2.2 创建与启动容器2.2.3停止与启动容器2.2.4文件拷贝2.2.5目录挂载2.2.6查看容器IP地址2.2.7删除容器3.应用部署3.1MySQL部署3.2Tomcat部署 3.3Nginx部署3.4Redis部署 4.迁移与备份4.1 容器保存为镜像4.2 镜像备份4.3镜像恢复与迁移 5.Dockerfile5.1 什么是Doc
KafkaKafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。Kafka可以用作Flink应用程序的数据源。Flink可以轻松地从一个或多个Kafka主题中消费数据流。这意味着您可以使用Kafka来捕获和传输实时数据，并将其发送到Flink进行进一步处理。Flink和Kafka在实时数据处理和流处理应用程序中通常协同工作，Kafka用于数据传输和捕获，而Flink用于数据处理和分析。Kafka由生产者Broker消费者组成，生产者和消费者是由Java语言编写的，Broker由Scala语言写的。基础架构Producer：kafka生产
今天来聊下大数据场景下比较流行的消息队列组件kafka。本篇文章将主要从理论角度来介绍。kafka是一款开源、追求高吞吐、实时性，可持久化的流式消息队列，可同时处理在线（消息）与离线应用(业务数据和日志)。在如今火热的大数据时代，得到了广泛的应用。整体架构kafka的消息以Topic进行归类，支持分布式distribution、可分区partition和可复制replicated的特性。下面为本人梳理的一张Kafka系统架构图。Kafka的架构相较于其他消息系统而言，比较简单。其整体流程简述如下Producer与指定Topic各分区Partition的Leader连接，从而将消息push到Br
目录1、概念介绍Kafka由来ZooKeeperKafka特性Kafka使用场景Kafka复制备份 2、Kafka架构BrokerTopicProducerPartitionConsumersConsumerGroupDistribution1、概念介绍Kafka由来Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日
💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗💗关注git在本地的配置问题，可以参考这篇文章，写的较为详细：非常详细的Git环境配置步骤，如果相以gitee作为远程仓库也是同样的操作😊下面这张图个人觉得很不错，等学完了这一套之后就会觉得是真牛逼画的👉初始化相关操作：gitinit：初始化本地仓库，建立工作区，并对工作区进行版本监控gitstatus：查看当前状态，可以显示文件的新建、修改、删除等等操作gitadd.:添加工作区所有文件到到版本库的暂存区中，如果你要提交的是单个文件，你也可以用gitadd后面跟单个或者多个那文件即可👉提交到版本库分支：gitcommit-m"c
Ksql的常用命令关键字：KingbaseES、ksql、交互工具、人大金仓、KingbaseES一、什么是ksql？1.1ksql概述Ksql是KingbaseES基于终端的前端，是KingbaseES的交互式客户端工具。提供交互式查询，通过文件输入或者命令行输入，得到查询结果。此外，ksql还提供一些元命令和多种类似shell的特性来为编写脚本和自动化多种任务提供方便。1.2ksql命令行架构Ksql命令行使用了一个两层模型，其中包括：1）客户端（用户命令行接口）：命令行用户界面基于字符终端来实现。2）数据库（KingbaseES数据库）：KingbaseES数据库使用基于消息的协议在Ks
一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。二、项目背景项目行业属于交通行业，因此数据具有很多交通行业的特征，比如转向比数据就是统计车辆左转、右转、直行、掉头的车流量等等。三、业务需求（一）预估数据规模（二）指标查询频率指标的实时查询由Flink实时数仓计算，离线数仓这边提供指标的T+1的历史数据查询四、数仓技术架构（一）简而言之，数仓模块的数据源是Kafka，终点是ClickHouse数据库第一步，用kettle采集Kafka的数据写入到HDFS中；第二步，在Hive中建数仓，ODS
导言我们知道，当下流行的MQ非常多，不过很多公司在技术选型上还是选择使用Kafka。与其他主流MQ进行对比，我们会发现Kafka最大的优点就是吞吐量高。实际上Kafka是高吞吐低延迟的高并发、高性能的消息中间件，配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。除此之外，在热招的Java架构师岗位面试中，Kafka相关的面试题被面试官问到的几率也是非常大的，所以拥有一定年限的开发者，搞懂Kafka是很有必要的。那么怎么才能有效且快速学习Kafka呢？大佬的笔记必不可少：腾讯技术官手撸笔记分享，全新演绎“Kafka部署实战”，已开源。 添加图片注释，不超过140字（可选）一、
目录什么是Zookeeper？Zookeeper工作机制Zookeeper特点Zookeeper数据结构Zookeeper选举机制实验部署Zookeeper集群1.安装前准备安装JDK下载安装包2.安装Zookeeper修改配置文件拷贝配置好的Zookeeper配置文件到其他机器上在每个节点上创建数据目录和日志目录在每个节点的dataDir指定的目录下创建一个myid的文件配置Zookeeper启动脚本设置开机自启分别启动Zookeeper查看当前状态Kafka概述为什么需要消息队列（MQ）使用消息队列的好处消息队列的两种模式Kafka定义Kafka简介Kafka的特性Kafka系统架构部署k
