一、Kafka存在哪些方面的优势1.多生产者可以无缝地支持多个生产者，不管客户端在使用单个主题还是多个主题。2.多消费者支持多个消费者从一个单独的消息流上读取数据，而且消费者之间互不影响。3.基于磁盘的数据存储支持消费者非实时地读取消息，由于消息被提交到磁盘，根据设置的规则进行保存。当消费者发生异常时候，意外离线，由于有持久化的数据保证，可以实现联机后从上次中断的地方继续处理消息。4.伸缩性用户在开发阶段可以先试用单个broker，再扩展到包含3个broker的小型开发集群，然后随着数据量不断增长，部署到生产环境的集群可能包含上百个broker。5.高性能Kafka可以轻松处理巨大的消息流，在
SMQTTX介绍SMQTTX是基于SMQTT的一次重大技术升级，基于Java开发的分布式MQTT集群，是一款高性能，高吞吐量，并且可以完成二次开发的优秀的开源MQTTbroker，主要采用技术栈：reactor3、reacotr-netty、netty、ignite等开源软件，基于SMQTTX可以轻松完成百万级别设备接入。集群配置机器节点配置192.168.0.928c/16g192.168.0.1878c/16g压测场景❝本次压测使用Emq-bench进行❞连接压测连接管理页面[root@ecs-143990-0003 bin]# ./emqtt_bench conn -h 192.1
SMQTTX介绍SMQTTX是基于SMQTT的一次重大技术升级，基于Java开发的分布式MQTT集群，是一款高性能，高吞吐量，并且可以完成二次开发的优秀的开源MQTTbroker，主要采用技术栈：reactor3、reacotr-netty、netty、ignite等开源软件，基于SMQTTX可以轻松完成百万级别设备接入。集群配置机器节点配置192.168.0.928c/16g192.168.0.1878c/16g压测场景❝本次压测使用Emq-bench进行❞连接压测连接管理页面[root@ecs-143990-0003 bin]# ./emqtt_bench conn -h 192.1
分布式通信：消息队列什么是消息队列？队列是一种具有先进先出特点的数据结构，消息队列是基于队列实现的、存储具有特定格式的消息数据。消息以特定格式放入这个队列的尾部后直接返回，不需要系统马上处理，之后有其他进程从队列头部开始读取消息，按照消息放入顺序逐一处理。引入消息队列的好处是可以提升响应速度，实现组件之间的解耦。消息队列的工作原理消息队列模式包括3个核心部分：生产者，产生消息或者数据，并将其插入到消息队列中。消息队列，一种具有先进先出特点的数据结构，用来存储消息。消费者，从消息队列中获取消息，进行相关处理。生产者将发送的消息插入到消息队列，称为入队，消费者从消息队列中按照顺序取出消息进行处理，
分布式通信：消息队列什么是消息队列？队列是一种具有先进先出特点的数据结构，消息队列是基于队列实现的、存储具有特定格式的消息数据。消息以特定格式放入这个队列的尾部后直接返回，不需要系统马上处理，之后有其他进程从队列头部开始读取消息，按照消息放入顺序逐一处理。引入消息队列的好处是可以提升响应速度，实现组件之间的解耦。消息队列的工作原理消息队列模式包括3个核心部分：生产者，产生消息或者数据，并将其插入到消息队列中。消息队列，一种具有先进先出特点的数据结构，用来存储消息。消费者，从消息队列中获取消息，进行相关处理。生产者将发送的消息插入到消息队列，称为入队，消费者从消息队列中按照顺序取出消息进行处理，
broker的数量最好大于等于partition数量一个partition最好对应一个硬盘，这样能最大限度发挥顺序写的优势。一个broker如果对应多个partition，需要随机分发，顺序IO会退化成随机IO。实验条件：3个Broker，1个Topic，无Replication，异步模式，3个Producer，消息Payload为100字节：第一阶段：当Partition数量小于Broker个数时，Partition数量越大，吞吐率越高，且呈线性提升。Kafka会将所有Partition均匀分布到所有Broker上，所以当只有2个Partition时，会有2个Broker为该Topic服务。
broker的数量最好大于等于partition数量一个partition最好对应一个硬盘，这样能最大限度发挥顺序写的优势。一个broker如果对应多个partition，需要随机分发，顺序IO会退化成随机IO。实验条件：3个Broker，1个Topic，无Replication，异步模式，3个Producer，消息Payload为100字节：第一阶段：当Partition数量小于Broker个数时，Partition数量越大，吞吐率越高，且呈线性提升。Kafka会将所有Partition均匀分布到所有Broker上，所以当只有2个Partition时，会有2个Broker为该Topic服务。
现在主流的消息队列产品都提供了非常完善的消息可靠性保证机制，可以做到在消息传递的过程中，即使发生网络中断或者硬件故障，也能确保消息的可靠传递、不丢消息。绝大部分丢消息的原因都是由于开发者不熟悉消息队列，没有正确使用和配置消息队列导致的。检测消息丢失的方法用消息队列最尴尬的情况不是丢消息，而是丢了消息还不知道。因此，我们需要设计一套机制来监控消息是否有丢失。根据项目的成熟程度，一般有两种方式来检测：如果项目基础设施比较完善，那么可以使用分布式链路追踪系统来追踪每一条消息。如果项目初期，系统刚上线，那么可以利用消息队列的有序性来检测是否有消息丢失。我们可以在Producer端发出的每一条消息附加一
现在主流的消息队列产品都提供了非常完善的消息可靠性保证机制，可以做到在消息传递的过程中，即使发生网络中断或者硬件故障，也能确保消息的可靠传递、不丢消息。绝大部分丢消息的原因都是由于开发者不熟悉消息队列，没有正确使用和配置消息队列导致的。检测消息丢失的方法用消息队列最尴尬的情况不是丢消息，而是丢了消息还不知道。因此，我们需要设计一套机制来监控消息是否有丢失。根据项目的成熟程度，一般有两种方式来检测：如果项目基础设施比较完善，那么可以使用分布式链路追踪系统来追踪每一条消息。如果项目初期，系统刚上线，那么可以利用消息队列的有序性来检测是否有消息丢失。我们可以在Producer端发出的每一条消息附加一
介绍KafkaKafka是一款基于发布与订阅的消息系统。用生产者客户端API向Kafka生产消息，用消费者客户端API从Kafka读取这些消息。Kafka使用Zookeeper保存元数据信息。Kafka0.9版本之前，除了broker之外，消费者也会使用Zookeeper保存一些信息，比如消费者群组的信息、主题信息、消费分区的偏移量（在消费者群组里发生失效转移时会用到）。到了0.9.0.0版本，Kafka引入了一个新的消费者接口，允许broker直接维护这些信息。Kafka中的概念消息&批次Kafka的数据单元被称为消息。消息就好比数据库里的一个“数据行”或一条“记录”。消息由字节数组组成，所
