介绍KafkaKafka是一款基于发布与订阅的消息系统。用生产者客户端API向Kafka生产消息，用消费者客户端API从Kafka读取这些消息。Kafka使用Zookeeper保存元数据信息。Kafka0.9版本之前，除了broker之外，消费者也会使用Zookeeper保存一些信息，比如消费者群组的信息、主题信息、消费分区的偏移量（在消费者群组里发生失效转移时会用到）。到了0.9.0.0版本，Kafka引入了一个新的消费者接口，允许broker直接维护这些信息。Kafka中的概念消息&批次Kafka的数据单元被称为消息。消息就好比数据库里的一个“数据行”或一条“记录”。消息由字节数组组成，所
介绍KafkaKafka是一款基于发布与订阅的消息系统。用生产者客户端API向Kafka生产消息，用消费者客户端API从Kafka读取这些消息。Kafka使用Zookeeper保存元数据信息。Kafka0.9版本之前，除了broker之外，消费者也会使用Zookeeper保存一些信息，比如消费者群组的信息、主题信息、消费分区的偏移量（在消费者群组里发生失效转移时会用到）。到了0.9.0.0版本，Kafka引入了一个新的消费者接口，允许broker直接维护这些信息。Kafka中的概念消息&批次Kafka的数据单元被称为消息。消息就好比数据库里的一个“数据行”或一条“记录”。消息由字节数组组成，所
介绍KafkaKafka是一款基于发布与订阅的消息系统。用生产者客户端API向Kafka生产消息，用消费者客户端API从Kafka读取这些消息。Kafka使用Zookeeper保存元数据信息。Kafka0.9版本之前，除了broker之外，消费者也会使用Zookeeper保存一些信息，比如消费者群组的信息、主题信息、消费分区的偏移量（在消费者群组里发生失效转移时会用到）。到了0.9.0.0版本，Kafka引入了一个新的消费者接口，允许broker直接维护这些信息。Kafka中的概念消息&批次Kafka的数据单元被称为消息。消息就好比数据库里的一个“数据行”或一条“记录”。消息由字节数组组成，所
介绍KafkaKafka是一款基于发布与订阅的消息系统。用生产者客户端API向Kafka生产消息，用消费者客户端API从Kafka读取这些消息。Kafka使用Zookeeper保存元数据信息。Kafka0.9版本之前，除了broker之外，消费者也会使用Zookeeper保存一些信息，比如消费者群组的信息、主题信息、消费分区的偏移量（在消费者群组里发生失效转移时会用到）。到了0.9.0.0版本，Kafka引入了一个新的消费者接口，允许broker直接维护这些信息。Kafka中的概念消息&批次Kafka的数据单元被称为消息。消息就好比数据库里的一个“数据行”或一条“记录”。消息由字节数组组成，所
生产者创建消息。在其他基于发布与订阅的消息系统中，生产者可能被称为发布者或写入者。一般情况下，一个消息会被发布到一个特定的主题上。生产者在默认情况下把消息均衡地分布到主题的所有分区上，而并不关心特定消息会被写到哪个分区。不过，在某些情况下，生产者会把消息直接写到指定的分区。这通常是通过消息键和分区器来实现的，分区器为键生成一个散列值，并将其映射到指定的分区上。这样可以保证包含同一个键的消息会被写到同一个分区上。生产者也可以使用自定义的分区器，根据不同的业务规则将消息映射到分区。生产者发送消息的方式生产者发送消息主要有2种方式：同步发送消息、异步发送消息同步发送消息同步发送消息：我们调用Kafk
生产者创建消息。在其他基于发布与订阅的消息系统中，生产者可能被称为发布者或写入者。一般情况下，一个消息会被发布到一个特定的主题上。生产者在默认情况下把消息均衡地分布到主题的所有分区上，而并不关心特定消息会被写到哪个分区。不过，在某些情况下，生产者会把消息直接写到指定的分区。这通常是通过消息键和分区器来实现的，分区器为键生成一个散列值，并将其映射到指定的分区上。这样可以保证包含同一个键的消息会被写到同一个分区上。生产者也可以使用自定义的分区器，根据不同的业务规则将消息映射到分区。生产者发送消息的方式生产者发送消息主要有2种方式：同步发送消息、异步发送消息同步发送消息同步发送消息：我们调用Kafk
作者：京东物流纪卓志目前我们在构建一个多租户多产品类网站，为了让用户更好的找到他们所需要的产品，我们需要构建站内搜索功能，并且它应该是实时更新的。本文将会讨论构建这一功能的核心基础设施，以及支持此搜索能力的技术栈。问题的定义与决策为了构建一个快速、实时的搜索引擎，我们必须做出某些设计决策。我们使用MySQL作为主数据库存储，因此有以下选择：直接在MySQL数据库中查询用户在搜索框中输入的每个关键词，就像%#{word1}%#{word2}%...这样。?使用一个高效的搜索数据库，如Elasticsearch。?考虑到我们是一个多租户应用程序，同时被搜索的实体可能需要大量的关联操作（如果我们使用
作者：京东物流纪卓志目前我们在构建一个多租户多产品类网站，为了让用户更好的找到他们所需要的产品，我们需要构建站内搜索功能，并且它应该是实时更新的。本文将会讨论构建这一功能的核心基础设施，以及支持此搜索能力的技术栈。问题的定义与决策为了构建一个快速、实时的搜索引擎，我们必须做出某些设计决策。我们使用MySQL作为主数据库存储，因此有以下选择：直接在MySQL数据库中查询用户在搜索框中输入的每个关键词，就像%#{word1}%#{word2}%...这样。?使用一个高效的搜索数据库，如Elasticsearch。?考虑到我们是一个多租户应用程序，同时被搜索的实体可能需要大量的关联操作（如果我们使用
ApacheKafka是一个高性能的消息队列，在众多的消息队列产品中，Kafka的性能是处于第一梯队的。Kafka的高性能主要取决于以下几方面：使用批量处理的方式来提升系统吞吐能力基于磁盘文件高性能顺序读写的特性来设计的存储结构利用操作系统的PageCache来缓存数据，减少IO并提升读性能使用零拷贝技术加速消费流程接下来，我们展开讨论Kafka是如何利用上述手段提升性能。使用批量消息提升服务端处理能力在Kafka内部，消息都是以“批”为单位处理的，Kafka的客户端SDK在实现消息发送逻辑的时候，采用了异步批量发送的机制。当我们调用send()方法发送一条消息后，无论我们是同步发送还是异步发
ApacheKafka是一个高性能的消息队列，在众多的消息队列产品中，Kafka的性能是处于第一梯队的。Kafka的高性能主要取决于以下几方面：使用批量处理的方式来提升系统吞吐能力基于磁盘文件高性能顺序读写的特性来设计的存储结构利用操作系统的PageCache来缓存数据，减少IO并提升读性能使用零拷贝技术加速消费流程接下来，我们展开讨论Kafka是如何利用上述手段提升性能。使用批量消息提升服务端处理能力在Kafka内部，消息都是以“批”为单位处理的，Kafka的客户端SDK在实现消息发送逻辑的时候，采用了异步批量发送的机制。当我们调用send()方法发送一条消息后，无论我们是同步发送还是异步发
