Kafka 有多快呢？我们可以使用 OpenMessaging Benchmark Framework 测试框架方便地对 RocketMQ、Pulsar、Kafka、RabbitMQ 等消息系统进行对比测试，因为暂时没有测试条件（后续补上），我直接用这篇文章的测试结果（Benchmarking Kafka vs. Pulsar vs. RabbitMQ: Which is Fastest?），可以看到，在某种条件下，Kafka 写入速度比 RabbitMQ 快 15 倍，比 Pulsar 快 2 倍，在最高吞吐量下仍保持低延迟。
那么，为什么 Kafka 可以那么快呢？这里我先简单总结，后面会展开分析。
ps：[本系列](博客后台 - 博客园 (cnblogs.com))博客将持续更新。
Kafka 严重依赖文件系统来读写 event。我们不禁会问，磁盘不是很慢吗？Kafka 真的能提供很好的性能吗？
事实上，磁盘比人们预期的要慢得多，也快得多，这取决于它们的使用方式。在这篇文章中（ACM Queue article）可以发现，在某些情况下，顺序磁盘访问可能比随机内存访问更快。这要得益于现代操作系统对磁盘读写进行的大量的优化，包括 read-ahead 和 write-behind 技术，当我们顺序读取磁盘时，更多时候访问的不是磁盘，而是内存--pagecache。
因此，只要顺序访问文件系统，磁盘也可以很快。Kafka 的 event 组织方式以及应用场景，天然地支持了顺序读写，并且 Kafka 也为此做了许多努力，例如批处理、追加写入等。
此外，相比主动将 event 维护在内存，采用文件系统还有以下好处：
可以缓存更多的数据。在 JVM 中，维护对象的内存开销将是实际数据大小的两倍甚至更糟，随着堆内数据的增加，gc 将愈发频繁。而使用文件系统可以在 pagecache 中缓存更多更紧凑的数据，而不需要考虑 gc 问题。
重启后恢复更快。由于数据缓存在 pagecache，进程重启，这部分缓存仍然可以保持 warn 的状态，如果在进程内存中维护这些数据的话，每次启动都需要重建（对于 10GB 缓存可能需要 10 分钟）。
大大简化了代码。用于维护缓存和文件系统之间一致性的所有逻辑现在都在操作系统中，而操作系统往往更高效、更正确。
小 I/O 操作发生在客户端和服务端之间的数据传输以及服务端自身的持久化操作。
为了避免小 I/O 操作，Kafka 是以批的形式来操作 event，而不是一次发送一条消息。producer 会尝试在内存中积累数据，并在单个请求中发送更大的批，当然，这种方式是牺牲少量额外延迟以获得更好的吞吐量，我们可以配置累积数量和等待时间来平衡。同理，consumer 读取数据时也会尝试一次读取更多。
批处理可以产生较大顺序磁盘操作和连续内存块，不过也产生了较大的网络数据包，相应地，Kafaka 会将消息压缩后发送，当消息写入日志时仍然是压缩形式，仅由使用者解压缩。
另一个问题是过多的字节复制。//zzs001
一般情况下，数据从文件传输到 socket 的数据路径为：磁盘 -》内核的 pagecache -》用户空间缓冲区 -》内核的 socket 缓冲区 -》NIC 缓冲区。
显然，这是非常低效的，有四个副本和两个系统调用。Kafka 使用 sendfile，允许操作系统将数据从 pagecache 直接发送到网络，即磁盘 -》内核的 pagecache-》NIC 缓冲区。从而避免这种重复复制和系统调用。更多关于 sendfile 的内容可以参考Efficient data transfer through zero copy。
需要注意的是，由于 TLS/SSL 库是工作在用户空间的，所以，当启用了 SSL，sendfile 将不能使用。
关于这一点，在上一篇博客中其实已经提到过。首先，一个 topic 会划分成一个或多个 partition，这些 partition 一般分布在不同的 broker 实例。producer 发布的 event 会根据某种策略分配到不同的 partition，这样做的好处是，consumer 可以同时从多台 broker 读取 event，从而大大提高吞吐量。另外，为了高可用，同一个 partition 还会有多个副本，它们分布在不同的 broker 实例，和很多传统的消息系统不同，Kafka 的副本是可读的，即 consumer 不仅可以从主 partition 读取 event，也可以从副本读取。//zzs001
以上内容是最近学习 Kafka 的一些思考和总结（主要参考官方文档），如有错误，欢迎指正。
任何的事物，都可以被更简单、更连贯、更系统地了解。希望我的文章能够帮到你。
最后，感谢阅读。
Benchmarking Kafka vs. Pulsar vs. RabbitMQ: Which is Fastest?
The OpenMessaging Benchmark Framework
The Pathologies of Big Data - ACM Queue
Efficient data transfer through zero copy - IBM Developer
本文为原创文章，转载请附上原文出处链接：https://www.cnblogs.com/ZhangZiSheng001/p/16788561.html
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co
我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
为什么4.1%2返回0.0999999999999996？但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意，这不是与Ruby相关的问题，而是与所有编程语言相关的问题，因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返
它不等于主线程的binding，这个toplevel作用域是什么？此作用域与主线程中的binding有何不同？>ruby-e'putsTOPLEVEL_BINDING===binding'false 最佳答案 事实是，TOPLEVEL_BINDING始终引用Binding的预定义全局实例，而Kernel#binding创建的新实例>Binding每次封装当前执行上下文。在顶层，它们都包含相同的绑定(bind)，但它们不是同一个对象，您无法使用==或===测试它们的绑定(bind)相等性。putsTOPLEVEL_BINDINGput
我可以得到Infinity和NaNn=9.0/0#=>Infinityn.class#=>Floatm=0/0.0#=>NaNm.class#=>Float但是当我想直接访问Infinity或NaN时:Infinity#=>uninitializedconstantInfinity(NameError)NaN#=>uninitializedconstantNaN(NameError)什么是Infinity和NaN？它们是对象、关键字还是其他东西？ 最佳答案 您看到打印为Infinity和NaN的只是Float类的两个特殊实例的字符串
如果您尝试在Ruby中的nil对象上调用方法，则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而，有一个tryRails中的方法，如果它被发送到一个nil对象，它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常？ 最佳答案 像Ruby中的所有其他对象
关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串？SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复？
我刚刚被困在这个问题上一段时间了。以这个基地为例:moduleTopclassTestendmoduleFooendend稍后，我可以通过这样做在Foo中定义扩展Test的类:moduleTopmoduleFooclassSomeTest但是，如果我尝试通过使用::指定模块来最小化缩进:moduleTop::FooclassFailure这失败了:NameError:uninitializedconstantTop::Foo::Test这是一个错误，还是仅仅是Ruby解析变量名的方式的逻辑结果？ 最佳答案 Isthisabug,or
