草庐IT

【项目方案】DUBBO 负载均衡策之略哈希一致的应用

伯子南 2023-08-01 原文

🥳 作者：伯子南
😎 坚信： 好记性不如乱笔头，独乐乐不如众乐乐
💪 个人主页：https://blog.csdn.net/qq_34577234?spm=1010.2135.3001.5421
👬🏻 觉得博主文章不错的话，可以三连支持一下！如有需要我的支持，请私信！

👀前言

本周新文来啦！本文是结合工作中遇到的问题，对DUBBO负载均衡的学习与应用。希望各位读者大佬能够从中获益，或者给出一些指导意见。

文章目录

👉🏼问题背景与解决思路

    先来简单介绍下我们项目的背景：

🪒1.项目架构：

    简单的梳理我们系统的架构如下图所示，分为1个前台应用和多个后台应用：

    前台主机， 作为消费者， 通过DUBBO来访问后台主机。
    为了避免访问压力过大，后台有多台主机供前台访问，前台访问时的负载均衡策略是默认的随机策略。

🧪2.问题根源：

    我们系统是一个偏于流程的应用，在业务数据真正持久化到数据库之前，都是在后台主机内存中的。
    在一次业务流程中，前台多次调用后台服务可能因为随机的负载均衡策略，请求到不同的主机上。
    那么就会出现这样的问题：
    初始化业务数据服务service1是在A主机，使用业务数据请求服务service2可能    访问到了B主机，如果此服务需要获取内存中的业务数据，那么就会访问不到。

📯3.问题解决思路：

     试想，如果service2也能访问到service1所访问的主机，那么问题不就解决了嘛？！
    这意味着，我们就不能再使用随机策略了。应该换一种能够保证同一次业务流程中的服务调用都访问同一台主机的负载均衡策略。

💻DUBBO 负载均衡

     在集群负载均衡时，Dubbo 提供了多种均衡策略，缺省为 random 随机调用。
     具体实现上，Dubbo 提供的是客户端负载均衡，即由 Consumer 通过负载均衡算法得出需要将请求提交到哪个 Provider 实例。

🧲常见内置负载均衡策略

DUBBO内置了如下这些负载均衡算法

算法特性备注
RandomLoadBalance加权随机默认算法，默认权重相同
RoundRobinLoadBalance加权轮询借鉴于 Nginx 的平滑加权轮询算法，默认权重相同，
LeastActiveLoadBalance最少活跃优先 + 加权随机背后是能者多劳的思想
ShortestResponseLoadBalance最短响应优先 + 加权随机更加关注响应速度
ConsistentHashLoadBalance一致性 Hash确定的入参，确定的提供者，适用于有状态请求

Random

  • 加权随机，按权重设置随机概率。
  • 在一个截面上碰撞的概率高，但调用量越大分布越均匀，而且按概率使用权重后也比较均匀，有利于动态调整提供者权重。
  • 缺点：存在慢的提供者累积请求的问题，比如：第二台机器很慢，但没挂，当请求调到第二台时就卡在那，久而久之，所有请求都卡在调到第二台上。

RoundRobin

  • 加权轮询，按公约后的权重设置轮询比率，循环调用节点
  • 缺点：同样存在慢的提供者累积请求的问题。

LeastActive

  • 加权最少活跃调用优先，活跃数越低，越优先调用，相同活跃数的进行加权随机。活跃数指调用前后计数差（针对特定提供者：请求发送数 - 响应返回数），表示特定提供者的任务堆积量，活跃数越低，代表该提供者处理能力越强。
  • 使慢的提供者收到更少请求，因为越慢的提供者的调用前后计数差会越大；相对的，处理能力越强的节点，处理更多的请求。

ShortestResponse

  • 加权最短响应优先，在最近一个滑动窗口中，响应时间越短，越优先调用。相同响应时间的进行加权随机。
  • 使得响应时间越快的提供者，处理更多的请求。
  • 缺点：可能会造成流量过于集中于高性能节点的问题。

ConsistentHash

  • 一致性 Hash，相同参数的请求总是发到同一提供者。
  • 当某一台提供者挂时，原本发往该提供者的请求，基于虚拟节点，平摊到其它提供者，不会引起剧烈变动。
  • 缺省只对第一个参数 Hash，如果要修改，请配置 <dubbo:parameter key="hash.arguments" value="0,1" />
  • 缺省用 160 份虚拟节点，如果要修改，请配置 <dubbo:parameter key="hash.nodes" value="320" />
  • 哈希一致性原理的详细解读可以阅读这篇《Dubbo负载均衡策略之 一致性哈希》

🩺负载均衡策略配置粒度

  • 服务端 服务级别：
<dubbo:service interface="接口名" loadbalance="策略名称"/>
  • 服务端 方法级别：
<dubbo:service interface="接口名">
　　<dubbo:method name="方法名" loadbalance="均衡策略名"/>
</dubbo:service>
  • 客户端 服务级别：
<dubbo:reference interface="" loadbalance="均衡策略名" />
  • 客户端 方法级别：
<dubbo:reference interface="" loadbalance="均衡策略名">
    <dubbo:method name="方法名" loadbalance="均衡策略名"/>
</dubbo:reference>

🧬应用与问题解决

     很显然，对于解决我们系统中的问题。这里应该使用哈希一致性的复杂均衡策略，来保证同一笔业务流程中，需要使用业务数据的的请求访问到同一台主机上。
     当然，并不是所有的服务请求到需要使用业务数据，那么我们不需要每个dubbo服务都使用哈希一直性策略。
     所以最终的应用方案是，使用哈希一致的负载均衡策略，并且仅仅是配置在个别的流程类方法上。

DUBBO项目spanclasstoken负载均衡哈希算法

有关【项目方案】DUBBO 负载均衡策之略哈希一致的应用的更多相关文章

  1. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  2. ruby - 如何在 buildr 项目中使用 Ruby 代码？ - 2

    如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  3. ruby-on-rails - Rails 应用程序之间的通信 - 2

    我构建了两个需要相互通信和发送文件的Rails应用程序。例如，一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情，所以我什至不知道从哪里开始。任何帮助，将不胜感激。谢谢! 最佳答案 无论Rails是什么，几乎所有Web应用程序都有您的要求，大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去，网站不应直接访问彼此

  4. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  5. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案？ - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  6. ruby-on-rails - Rails 应用程序中的 Rails : How are you using application_controller. rb 是新手吗？ - 2

    刚入门rails，开始慢慢理解。有人可以解释或给我一些关于在application_controller中编码的好处或时间和原因的想法吗？有哪些用例。您如何为Rails应用程序使用应用程序Controller？我不想在那里放太多代码，因为据我了解，每个请求都会调用此Controller。这是真的？ 最佳答案 ApplicationController实际上是您应用程序中的每个其他Controller都将从中继承的类(尽管这不是强制性的)。我同意不要用太多代码弄乱它并保持干净整洁的态度，尽管在某些情况下ApplicationContr

  7. ruby-on-rails - 项目升级后 Pow 不会更改 ruby​​ 版本 - 2

    我在我的Rails项目中使用Pow和powifygem。现在我尝试升级我的ruby​​版本(从1.9.3到2.0.0，我使用RVM)当我切换ruby​​版本、安装所有gem依赖项时，我通过运行railss并访问localhost:3000确保该应用程序正常运行以前，我通过使用pow访问http://my_app.dev来浏览我的应用程序。升级后，由于错误Bundler::RubyVersionMismatch:YourRubyversionis1.9.3,butyourGemfilespecified2.0.0，此url不起作用我尝试过的:重新创建pow应用程序重启pow服务器更新战俘

  8. ruby-on-rails - 新 Rails 项目 : 'bundle install' can't install rails in gemfile - 2

    我已经像这样安装了一个新的Rails项目:$railsnewsite它执行并到达:bundleinstall但是当它似乎尝试安装依赖项时我得到了这个错误Gem::Ext::BuildError:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcheckingforlibkern/OSAtomic.h...yescreatingMakefilemake"DESTDIR="cleanmake"DESTDIR="

  9. ruby-on-rails - 如何在我的 Rails 应用程序 View 中打印 ruby​​ 变量的内容？ - 2

    我是一个Rails初学者，但我想从我的RailsView(html.haml文件)中查看Ruby变量的内容。我试图在ruby​​中打印出变量(认为它会在终端中出现)，但没有得到任何结果。有什么建议吗？我知道Rails调试器，但更喜欢使用inspect来打印我的变量。 最佳答案 您可以在View中使用puts方法将信息输出到服务器控制台。您应该能够在View中的任何位置使用Haml执行以下操作:-puts@my_variable.inspect 关于ruby-on-rails-如何在我的R

  10. ruby - 如果指定键的值在数组中相同，如何合并哈希 - 2

    我有一个这样的哈希数组:[{:foo=>2,:date=>Sat,01Sep2014},{:foo2=>2,:date=>Sat,02Sep2014},{:foo3=>3,:date=>Sat,01Sep2014},{:foo4=>4,:date=>Sat,03Sep2014},{:foo5=>5,:date=>Sat,02Sep2014}]如果:date相同，我想合并哈希值。我对上面数组的期望是:[{:foo=>2,:foo3=>3,:date=>Sat,01Sep2014},{:foo2=>2,:foo5=>5:date=>Sat,02Sep2014},{:foo4=>4,:dat

随机推荐