经典的单reactor多线程模式采用的是用主线程处理连接事件以及socket读写事件,业务逻辑的处理则是让线程池里的线程各自竞争处理。

既然多线程这么方便,为什么不让线程池里的线程也参与到read和send这个过程中呢?
在发送数据的过程中,即使TCP的发送缓存满了,我们也可以记录下当前成功发送了多少字节,然后再次注册一个EPOLLOUT事件,只需等待下次可写事件,继续让子线程发送数据即可,岂不是美哉?
对于 TCP,通常多线程读写同一个 socket 是错误的设计,因为有 short write 的可能。假如你加锁,而又发生 short write,你是不是要一直等到整条消息发送完才解锁(无论阻塞IO还是非阻塞IO)?如果这样,你的临界区长度由对方什么时候接收数据来决定,一个慢的 peer 就把你的程序搞死了。
知乎 陈硕的回答
陈硕大佬提到,多线程读写同一个socket是错误的设计,网络上也有这样的说法:如果你让多线程读写同一个socket,这将是你噩梦的开始。
why?首先解释一下陈硕提到的short write:我是这样理解的,由于内核的TCP发送缓存已满(或者快要满),本次发送的数据小于预期要发送的数据。
如果为了追求每次发送一个完整的数据包,可以采用加锁的方式,让其他线程无法访问这个socket,直到整个数据包完成发送。实际上,这是一个非常危险的设计:在等待发送完整数据包的过程中,整个线程是处于一个阻塞的状态。从效率上来说,与单线程阻塞send无异;从安全性来说,就像陈硕所说的,如果客户端设定接收窗口极其小,或者接收速度非常慢,你的线程将会阻塞相当一段长的时间。如果多来几个这样的客户端,你的所有线程都会被阻塞,你的程序也就死掉了。
以上是陈硕对多线程读写socket不应该加锁的解释,但仍然没有满足我的所有疑问。
对于Linux内核来说,write和read都是会自动对内核缓冲区加锁的,无需担心线程安全的问题。我们也没有必要追求一次性发送完整个数据包,只需要再次注册写事件,等待下一次可写事件发生就行,为何不应该读写同一个socket?
A、B两个线程,其中A每次写入32k,32k可能会被拆分成多次写入(根据buffer剩余空间决定真正能写入多少数据);B每次写入10bytes。如果内存不足(图中的wait_for_sndbuf和wait_for_memory)只写入一部分数据那么内核会调用sk_stream_wait_memory等待内存,而这个函数里面会释放sk。完整的调用链sk_stream_wait_memory->sk_wait_event->lock_sock。
当A写入数据的时候资源不足所以写入不完整于是释放资源,而B此时有机会被执行后刚好资源得到释放,于是写入成功;而A再次被执行的时候继续写入未完成的数据时,B已经“乱入”成功。
这篇文章算是解答了我的不少疑惑。
当有两个线程同时写一个socket时,当第一个线程A获得了内核缓冲区的使用权,写了一半发现满了,无奈停止写入。当第二次可写事件发生的时候,程序并不知道线程A有没有完整写完数据,这时候另一个线程B抢在A之前竞争得到了内核缓冲区的使用权,开始往里面写数据。
这样导致了一个严重的后果,线程A的数据仅仅写了一半,就被线程B的数据“乱入”。对于解析应答数据的客户端来说,AB混杂的数据完全没有办法解析,那么这次通信就是完全失败的。
如果只有一个线程负责读写的话,当processor处理完数据后,会按照指定的顺序(需要一些线程同步手段)提交给主线程,让主线程的handler按顺序老老老实实发送数据。
这个文章解决了我大部分问题,我还有最后一个问题:什么情况下才会发生这么奇怪的情况?要在什么条件下,才会有多个线程各自准备好了一个数据包想要发送呢?
我之所以会有最后一个问题,是因为被我浅薄的编程经历给限制住了思想。在网络编程中,比较普遍的做法是一个socket fd对应一个事件,通常是用数组实现的,fd对应数组的下标。这实际上是一种很巧妙也很安全的做法,保证了同一个socket的所有操作只会在一个对象中发生,辅以线程安全的一些限制,一般不会出现两个线程操作同一个fd的情况。
但如果事件与fd不是一一对应的呢?也许可以有一个fd对应多个事件,那么就会出现这样的情况:多个线程同时处理同一个fd的不同请求,并且同时处理完成,将要发送数据,就会出现数据“乱入”的情况。自此,问题就算全部解决了
在等待发送完整数据包的过程中,整个线程是处于一个阻塞的状态。从效率上来说,与单线程阻塞send无异;从安全性来说,就像陈硕所说的,如果客户端设定接收窗口极其小,或者接收速度非常慢,你的线程将会阻塞相当一段长的时间。如果多来几个这样的客户端,你的所有线程都会被阻塞,你的程序也就死掉了。
当有两个线程同时写一个socket时,当第一个线程A获得了内核缓冲区的使用权,写了一半发现满了,无奈停止写入。当第二次可写事件发生的时候,程序并不知道线程A有没有完整写完数据,这时候另一个线程B抢在A之前竞争得到了内核缓冲区的使用权,开始往里面写数据。
这样导致了一个严重的后果,线程A的数据仅仅写了一半,就被线程B的数据“乱入”。对于解析应答数据的客户端来说,AB混杂的数据完全没有办法解析,那么这次通信就是完全失败的。
多个线程同时处理一个同一个fd的不同请求,并且同时处理完成,将要发送数据,就会出现数据“乱入”的情况。
如何实现不同线程操作同一个事件的线程安全问题?正如前文所说,常规的做法是一个fd对应一个Event,如果一个子线程正在处理当前fd的Event,此时该fd又发送来一个请求,那么线程池分配的另一个子线程会对同一个Event进行操作,我认为这是十分危险的。具体的解决方案,我相信会在不久以后得到答案,届时再来补充上这个问题的答案。
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
我有一个模型:classItem项目有一个属性“商店”基于存储的值,我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式?如果方法中没有大的if-else语句,这是如何干净利落地完成的? 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.co
我在使用omniauth/openid时遇到了一些麻烦。在尝试进行身份验证时,我在日志中发现了这一点:OpenID::FetchingError:Errorfetchinghttps://www.google.com/accounts/o8/.well-known/host-meta?hd=profiles.google.com%2Fmy_username:undefinedmethod`io'fornil:NilClass重要的是undefinedmethodio'fornil:NilClass来自openid/fetchers.rb,在下面的代码片段中:moduleNetclass
我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%
我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
为什么4.1%2返回0.0999999999999996?但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意,这不是与Ruby相关的问题,而是与所有编程语言相关的问题,因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返
我正在使用Sequel构建一个愿望list系统。我有一个wishlists和itemstable和一个items_wishlists连接表(该名称是续集选择的名称)。items_wishlists表还有一个用于facebookid的额外列(因此我可以存储opengraph操作),这是一个NOTNULL列。我还有Wishlist和Item具有续集many_to_many关联的模型已建立。Wishlist类也有:selectmany_to_many关联的选项设置为select:[:items.*,:items_wishlists__facebook_action_id].有没有一种方法可以
它不等于主线程的binding,这个toplevel作用域是什么?此作用域与主线程中的binding有何不同?>ruby-e'putsTOPLEVEL_BINDING===binding'false 最佳答案 事实是,TOPLEVEL_BINDING始终引用Binding的预定义全局实例,而Kernel#binding创建的新实例>Binding每次封装当前执行上下文。在顶层,它们都包含相同的绑定(bind),但它们不是同一个对象,您无法使用==或===测试它们的绑定(bind)相等性。putsTOPLEVEL_BINDINGput
我可以得到Infinity和NaNn=9.0/0#=>Infinityn.class#=>Floatm=0/0.0#=>NaNm.class#=>Float但是当我想直接访问Infinity或NaN时:Infinity#=>uninitializedconstantInfinity(NameError)NaN#=>uninitializedconstantNaN(NameError)什么是Infinity和NaN?它们是对象、关键字还是其他东西? 最佳答案 您看到打印为Infinity和NaN的只是Float类的两个特殊实例的字符串
如果您尝试在Ruby中的nil对象上调用方法,则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而,有一个tryRails中的方法,如果它被发送到一个nil对象,它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常? 最佳答案 像Ruby中的所有其他对象