草庐IT

动平衡

全部标签

kafka学习(五):消费者分区策略(再平衡机制)

kafka再平衡机制:指的是kafka consumer锁订阅的topic发生变化时 发生的一种分区重分配机制。 一般有三种情况会出发consumer的分区分配策略(再平衡机制):        1、consumer group 中新增或删除某个consumer,导致其所消费的分区需要分配到组内其他的consumer上。         2、consumer订阅的topic发生变化,比如订阅的topic采用的是正则表达式的形式。如 test-* 此时如果有新建了一个topic test-user,那么这个topic的所有分区也是会自动分配给当前的consumer的,此时就会发生再平衡。    

redis - twemproxy 可以负载平衡读取请求吗?

我想将redis与master和slaves一起使用。IE。几个碎片。每个分片有一个master和几个slave。是否可以将twemproxy配置为使用masters写入和slaves读取?还是所有的请求都会交给master? 最佳答案 不,它只是能够通过各种方法分发key。它不支持读取从站。你可以build某物。就像使用haproxy一样容易。 关于redis-twemproxy可以负载平衡读取请求吗?,我们在StackOverflow上找到一个类似的问题:

Mongodb 平衡器移动失败 : chunk too big to move. 但事实并非如此

我在mongos日志中发现:[Balancer]balancermovefailed:{chunkTooBig:true,estimatedChunkSize:33972400,ok:0.0,errmsg:"chunktoobigtomove"}from:rs2to:rs3chunk:min:{h:3074457345618258600}max:{h:3074457345618258600}~30兆字节。但是block不大于定义的block大小:mongos>useconfigswitchedtodbconfigmongos>db.settings.find({_id:"chunksi

mongodb - 使用 mongorestore 将数据恢复到分片集群时的预期平衡行为

我注意到,当通过mongos使用mongorestore将数据恢复到分片集群时,所有记录最初都保存到主分片(集合的),只有平衡器进程移动这些block,这是一个相对缓慢的过程,所以在恢复后我有类似的情况:chunks:rs_shard-128rs_shard-229rs_shard-427rs_shard-3644我在mongodb/mongos日志文件中没有任何错误。我不确定,但我认为过去数据是以一种已经平衡的方式恢复的。现在我使用的是2.4.6版。有人可以确认预期的行为是什么吗? 最佳答案 恕我直言,这是发生了什么:恢复数据时,

MongoDB:无法停止平衡器

我正在尝试将我的mongo从2.6升级到3.0。当我尝试升级mongos时,出现错误:errorupgradingconfigdatabasetov6::causedby::balancermustbestoppedforconfigupgrade由于我的mongos已经关闭,我试图从配置服务器停止平衡器,但我收到以下错误:Error:notconnectedtoamongos:是否有停止平衡器和升级mongos的解决方法? 最佳答案 我会启动一个mongos进程来禁用平衡器。分片集群所需的升级步骤列在发行说明中https://do

mongodb 平衡器不会停止

重新启动分片集群后,我注意到平衡器不再迁移任何数据,但命令sh.isBalancerRunning()始终返回true。我试图运行命令sh.stopBalancer()并且它永远停留在:sh.stopBalancer()Waitingforactivehosts...Waitingforthebalancerlock...检查这里的配置服务器锁是数据:configsvr>db.locks.find({_id:"balancer"}){"_id":"balancer","process":"myserver.mongodb.com:27017:1452776409:1804289383"

mongodb - MongoDB 中的自定义平衡器

您是否编写了用于分片的自定义平衡器来平衡block而不使用MongoDB中的平衡器,您能否解释一下您的用例以及为什么必须这样做? 最佳答案 在我处理过的一些案例中,自定义平衡脚本暂时有用,例如,某些分片上的数据存在区域要求,或者某些集合不应该被平衡。在速度方面没有真正的优势(主要受磁盘和内存中的数据分布限制),事实上进行自定义平衡的一个原因是让它变慢。尽管要做到正确很挑剔-根据我的经验,从长远来看,通常不值得这样做。有一个平衡器窗口,您可以使用它来进行基于时间的平衡,并且在未来,block标记和将集合标记为“不平衡”的能力将使大多数

mongodb - mongoDB 平衡

我有一个带有分片键和索引的集合。但是当我运行平衡时,不会为这个集合移动block,因为其他集合block正在按预期移动到其他机器。此集合中仅移动了一个block。 最佳答案 目前(这将在不久的将来改变),平衡器只会在存在足够的不平衡(8个或更多)时开始移动block。如果block计数比那个更接近,那么将不会有移动。block的数量取决于最大块大小(在2.0.x中编写此内容时为64MB)和写入的数据量。每当有一定数量的数据写入一个block时,就会触发一次拆分。因此,如果您没有向集合中添加数据,或者数据不是很大,则可能需要一些时间来

如何通过加载平衡器将WSHTPBINDING与消息安全性一起使用

我有一个使用消息安全的负载平衡服务:我对此服务的所有电话都打开并关闭了自己的渠道,因此建立安全环境没有好处。我正在用WSHttpBinding与服务配置匹配:ws.Security.Mode=SecurityMode.Message;ws.Security.Transport.ClientCredentialType=HttpClientCredentialType.None;ws.Security.Message.ClientCredentialType=MessageCredentialType.Windows;ws.Security.Message.EstablishSecurityCo

论文笔记:基于概念漂移的在线类非平衡学习系统研究

0摘要论文:ASystematicStudyofOnlineClassImbalanceLearningWithConceptDrift发表:2018年发表在TNNLS上源代码:?作为一个新兴的研究课题,在线类非平衡学习往往结合了类非平衡和概念漂移的挑战。它处理具有非常倾斜的类分布的数据流,其中可能发生概念漂移。它最近受到越来越多的研究关注;然而,很少有研究解决类失衡和观念漂移并存的综合问题。作为第一个系统研究类不平衡数据流中处理概念漂移的研究,本文首先对该领域的研究进展进行了全面回顾,包括当前的研究重点和开放的挑战。然后,进行了深入的实验研究,目的是了解如何最好地克服类不平衡的在线学习中的概