草庐IT

蓝绿发布实践回顾

瓜农老梁 2023-03-28 原文

0缘起

随着蓝绿发布项目落地进入试运行，也对蓝绿发布项目做个简要回顾。

早在2022年初的时候效能、交易和中间件的同学就如何提高发布效率做过讨论，蓝绿发布当时也被提出。由于彼时有更重要的事情去落地，蓝绿发布也被搁置未能成行。

随着染色环境项目的落地，推进接入工作的基本完成。测试开发环境存在的众多问题（多套环境、运维问题、环境冲突、沟通问题）基本得到根治。

测试环境得到根治的同时，生产环境自然就成为接下来的重点。大版本发布时长达7个小时，的确是大家的痛点，我们也希望从根本上提高发布效率。本文主要内容有：

  • 应用发布诉求
  • 发布方案对比
  • 蓝绿发布流程
  • 蓝绿流量调度
  • 组件能力支持

1应用发布诉求

微服务应用发布时有以下诉求：

  • 上下游依赖：本服务的发布依赖其他服务，要别的服务先发布才行
  • 小流量灰度：发布时先小流量灰度验证、避免问题被放大
  • 按批次发布：支持节点批次划分、按批次发布
其中上下游依赖问题最为突出，为解决依赖问题需提前填写发布计划，将应用组织成梯队来规避上下游依赖问题。

  • 填写发布计划较为繁琐：每次发布需要去组织填写、比较繁琐
  • 必须按照梯队顺序发布：一个梯队发完才能发布另一个梯队、需要互相等待
  • 应用回滚稳定性需提升：一个应用验证有问题，需要依赖上游联动回滚，回滚过程中有生产流量、稳定性存在优化空间
由此可见，应用发布的痛点聚焦到了破除上下游上，自然解决方案也以此为中心。

2发布方案对比

发布方式

基本原理

常见实现

灰度发布

小流量验证

方式一：金丝雀发布，发布时先拉入一台验证，正常后发布剩余节点  
方式二：流量染色灰度，通过对请求流量染色选择到特定的节点实现灰度  
方式三：独立灰度环境，上线前先在该环境验证（例如：小得物环境）

滚动发布

分批次发布

在灰度验证的基础上，通过发布系统选择发布批次  
方式一：按节点比例分批发布  
方式二：按节点数量分批发布

蓝绿发布

流量调度实现

线上同时蓝绿两个应用组提供服务  
步骤一：新版本发布时先将流量从蓝色集群A调度到绿色集群B，绿色集群B独立承担流量
步骤二：在蓝色集群A发布新版本，从小到大逐步引流到蓝色集群  
步骤三：蓝色验证正常均衡蓝绿两套流量，异常流量调度走即可

红黑发布

弹性扩缩容、流量调度

线上只运行一个红色集群  
步骤一：发布时先扩容黑色集群，该集群发布新版本  
步骤二：在黑色集群发布新版本，按比例引流验证  
步骤三：一切正常后，流量调度到黑色集群，红色集群下线

熟悉中间件运维的同学怎么运维才是安全的呢？先摘流、运维变更、再逐步引流。

这种方式应用到应用发布系统，即为蓝绿发布。

在生产环境发布时，我们通常有两个版本，线上运行的版本、待发布的版本。

也就是在生产环境区分流量只需要两个颜色即可，蓝绿发布通过两个染色流量来区分线上运行版本和待发布版本。

此外，希望在大版本发布与日常迭代中都能使用蓝绿发布来提效，作为核心应用的首选发布方式。

3蓝绿发布流程​

在发布系统中集成蓝绿发布，与普通发布有何区别，蓝绿发布流程是怎么样的呢？

3.1   蓝绿架构图示

线上的资源容量需能够容纳业务增量的2倍以上，将线上的运行的服务节点资源一分为二，分成蓝色环境和绿色环境。

3.2    蓝绿发布流程

为了避免混淆将蓝绿环境固定，先部署待发布新版本的环境固定为「蓝色环境」，后部署待发布新版本的环境固定为「绿色环境」，应用发布先发「蓝色环境」，后发「绿色环境」。

发布流程梳理如下：

  • 将蓝色集群摘流，此时流量被染绿进入绿色集群
  • 系统发布时先经过「蓝色环境」，后发布「绿色环境」
  • 应用上下游服务在「蓝色环境」集中完成部署
  • 引入1%流量蓝色流量验证
  • 「蓝色环境」上下游服务验证「不符合预期」，流量切换到绿色环境
  • 「蓝色环境」完成验证「符合预期」，全部流量染成蓝色，流量调度到了蓝色环境
  • 此时绿色环境已无流量，新版本在绿色环境集中完成部署
  • 通过递进式引流到绿色环境【1%~50%】
  • 最后呈现的流量分布，蓝绿流量各50%
纵观整个发布流程，需要众多部门和组件的联动配合才能完成，下到容器、上到网关，中间贯穿众多核心中间件。

4蓝绿流量调度​

在设计流量调度时分为全局流量调度与局部流量调度，分别应对不同的发布场景。

全局流量调度（单通道发布）：所有蓝绿环境的应用都参与流量调度，适用一次发布上百个应用场景、上下游关系难以梳理。

局部流量调度（多通道发布）：适用于已知应用依赖发布、日常迭代。

在已知应用依赖的情况下，通过局部流量调度即可满足需求。

4.1   全局流量调度

上面提到「全局流量单通道」在蓝绿环境的服务均会参与调度，流量调度变更涉及全部在蓝绿环境的应用，下面以流量全部调度蓝色环境为例观测各个组件的行为。

伴随着绿色环境被摘流，流量全部在蓝色环境运行。

  • RPC选择本环境对应节点、并提供兜底选择策略
  • 绿色环境应用消息组被下线摘除消费流量、同时在蓝色环境唤醒绿色消费组接管流量
  • 配置中心应用只访问对应蓝绿环境的配置集
  • 分布式调度此时只调度到蓝色环境

4.2   局部流量调度

「局部流量多通道」的流量调度比例，由各通道进行自行管控。如下图所示：

  • 全局流量单通道：蓝绿切流比例 50%:50%
  • 局部流量多通道1 ：蓝绿切流比例 5%:95%
  • 局部流量多通道2 ：蓝绿切流比例 0%:100%
  • 局部流量多通道3 ：蓝绿切流比例 70%:30%

    • 需要注意的是

    • 一个应用只允许在一个发布通道发布，避免流量冲突和干扰
    • 当「全局流量单通道」发布与「局部流量多通道」同时发布时
    • 以「局部流量多通道」比例为准
    • 「局部流量多通道」发布结束后，会被「全局流量单通道」流量比例接管

    4.3   调度实现原理

    ​

    无论是「全局流量单通道」调度还是「局部流量多通道」调度，实现原理都是一样的，下面以RPC调用为例说明，如下图所示。

    工作原理简述如下：

    • @1 由发布系统即将【通道标识、包含的应用列表、切流比例】写入元数据中心
    • @2 「局部流量多通道」中的应用收到蓝绿比例。例如：图示中应用A收到自身所属通道的蓝绿流量比例
    • @3 「局部流量多通道」中的应用将自身的蓝绿比例写入注册中心。例如：应用A将自身蓝绿流量比例写入注册中心
    • @4 调用应用A的【所有上游应用】通过注册中心均收到应该调用A的蓝绿流量比例。例如：应用B、应用C、应用D均收到应该调用应用A的蓝绿比例
    • @5 上游应用按流量比例向下游服务发起调用
    从流量调度和实现原理来看，流量的调度会与RPC、消费组、分布式调度、发布系统、配置中心、注册中心一起联动。需要把存在的流量出口（例如：网关、消息、分布式调度等）流量管控起来。

    5组件能力支持

    上文中提到流量的调度涉及到众多组件联动与协同，那各个组件需要提供哪些能力呢？下面介绍下这些组件需提供的能力。

    5.1   容器逻辑分组

    蓝绿发布离不开容器的逻辑分组，应用使用蓝绿发布之前，需要将应用的机器实例分布到蓝绿环境中去。容器需要具备的能力如下：

    • 提供应用蓝绿逻辑分组
    • 蓝绿标识植入环境变量
    • 应用分组发布系统可见
    如下图所示，应用通过容器分组，分布到蓝绿集群。

    5.2   发布系统支持

    发布系统是整个蓝绿发布的入口，用户直接感受的系统。对下与容器交互、对上与元数据中心交互。

    • 提供蓝绿发布多通道能力，将本次发布关联应用拉入同一发布通道
    • 提供蓝绿发布流水线、流量调操作
    • 根据容器平台提供的逻辑分组接口、指定蓝绿集群发布
    • 将通道信息、应用列表、流量调度信息写入元数据中心，供中间件感知
    如下图所示，将整个蓝绿发布形成流水线。

    5.3   统一框架支持

    统一框架包含流量调度SDK、与注册中心和配置中心交互，联动整个RPC、Feign/HTTP流量调度。

    • 优先根据蓝绿标，选择本环境节点调用
    • 根据权重路由策略选择下游节点
    • 提供兜底策略，避免无节点可选
    节点选择示意图如下：

    如下图所示，框架会将蓝绿环境信息与权重在注册中心注册。

    5.4   消息组件支持

    消息组件根据流量调度SDK的回调，需要将消费流量摘除和激活。

    逻辑实现约定如下：

    • 蓝绿环境各使用三个消费组 melon-consumer、BLUE-melon-consumer、GREEN-melon-consumer
    • 消费组melon-consumer用于消费无（蓝绿）标识的流量，蓝绿标识会在每条消息属性中存储
    • 消费组__BLUE-melon-consumer用于消费「蓝色」标识流量
    • 消费组__GREEN-melon-consumer用于消费「绿色」标识流量
    蓝绿两个环境均有流量：

    • 绿色环境melon-consumer 、_GREEN-melon-consumer参与消费；BLUE-melon-consumer下线不参与消费
    • 蓝色环境melon-consumer 、_BLUE-melon-consumer参与消费，GREEN-melon-consumer下线不参与消费
    只有绿色环境有流量时：

    • 绿色环境melon-consumer、_GREEN-melon-consumer参与消费，BLUE-melon-consumer被动态唤醒参与消费，未被消费完的蓝色流量被接管
    • 蓝色环境GREEN-melon-consumer、BLUE-melon-consumer、melon-consumer均被动态下线，不参与消费
    只有蓝色环境有流量时：

    • 绿色环境_GREEN-melon-consumer、BLUE-melon-consumer、melon-consumer均被动态下线，不参与消费
    • 蓝色环境_GREEN-melon-consumer、BLUE-melon-consumer、melon-consumer均参与消费，其中__GREEN-melon-consumer被动态唤醒，接管未被消费的绿色流量
    如下图所示，蓝绿消费组消费各自对应的消息：

    此外，DTS等组件同步的消息会被「无前缀标记的消费组（例如：melon-consumer）」接管，能够在100%流量调度时摘除消费流量。

    5.5   配置中心支持

    配置中心提供能的能力，主要蓝绿环境的节点选择与其对应的配置集，涉及到SDK和配置中心集群的改动。

    • 配置中心提供蓝色配置集
    • 蓝色环境应用选择蓝色版本配置集
    • 绿色环境应用选择绿色版本配置集
    • 提供兜底策略、无蓝绿版本时选择主版本配置集
    如下图所示，配置中心提供蓝绿不同的版本的配置集。

    5.6   网关调用支持

    • 读取注册中心节点流量调度比例
    • 提供根据流量比例选择下游节点的策略，例如：通过节点权重加权计算
    如下图所示，流量全部切换到蓝色集群后，网关向下游分发的流量染蓝。

    5.7   分布式调度支持

    • 通过命名空间区分蓝绿环境调度
    • 一次调度只在一个环境进行，避免两个环境同时发生调度，对业务影响
    • 支持按照调度中心百分比（100%切流时）执行调度
    • 支持输入蓝绿环境，手动执行到特定环境
    如下图所示，在调度时选择对应蓝绿环境的节点。

    5.8    蓝绿监控看板

    蓝绿发布进行流量调度时，需要有一个可观测面板观察HTTP、DUBBO、MQ等的流量比例以及是否被摘流。

    如下图看板所示HTTP流量，蓝色流量占比10%，绿色流量占比90%。

    6后记

    蓝绿发布通过摘流、变更、再引流，因在无流量的情况下发布，相对比较安全。但是基于公司实际情况，有些场景的流量是无法摘除的。

    • 未通过网关进入服务流量：例如：通过域名SLB进入服务、通过Ingress进入服务的流量无法摘除
    • 消费Kafka的流量无法摘除：由于应用使用的原生kafka客户端并全面铺开、无法对切入提供支持
    • 未使用统一框架/注册中心：未使用统一框架和Sylas注册中心的java应用、以及非Java类应用当前不支持蓝绿发布
    此外，还有一些注意事项在使用蓝绿发布时需警惕。

    • 消费消息需幂等：使用消息中间件必须做幂等，这是基本要求，在消费组启停管控中可能产生重复消息
    • 消费组线程数量：由于会有三个消费组、消费线程也会增加两倍，有业务影响时需调低线程数
    • 需要好流量评估：蓝绿发布需一半节点承接线上流量、在应用升级蓝绿集群时做好确认
    • 升级到特定版本：使用蓝绿发布需要应用升级到框架指定版本
    • Feign/HTTP流量：针对使用框架Feign的HTTP流量，需上下游应用全部升级后方可使用
    • 使用Dubbo流量：使用框架Dubbo的服务只需要自身服务升级版本即可、无需上下游升级​
    蓝绿发布data-iddatastyle开发前端$蓝绿发布无流量场景

    有关蓝绿发布实践回顾的更多相关文章

    1. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

      很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

    2. 报告回顾丨模型进化狂飙，DetectGPT能否识别最新模型生成结果？ - 2

      导读语言模型给我们的生产生活带来了极大便利，但同时不少人也利用他们从事作弊工作。如何规避这些难辨真伪的文字所产生的负面影响也成为一大难题。在3月9日智源Live第33期活动「DetectGPT：判断文本是否为机器生成的工具」中，主讲人Eric为我们讲解了DetectGPT工作背后的思路——一种基于概率曲率检测的用于检测模型生成文本的工具，它可以帮助我们更好地分辨文章的来源和可信度，对保护信息真实、防止欺诈等方面具有重要意义。本次报告主要围绕其功能，实现和效果等展开。（文末点击“阅读原文”，查看活动回放。）Ericmitchell斯坦福大学计算机系四年级博士生，由ChelseaFinn和Chri

    3. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

      无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

    4. ruby-on-rails - 如何在发布新的 Ruby 或 Rails 版本时收到通知？ - 2

      有人知道在发布新版本的Ruby和Rails时收到电子邮件的方法吗？他们有邮件列表，RubyonRails有一个推特，但我不想听到那些随之而来的喧嚣，我只想知道什么时候发布新版本，尤其是那些有安全修复的版本。 最佳答案 从therailsblog获取提要.http://weblog.rubyonrails.org/feed/atom.xml 关于ruby-on-rails-如何在发布新的Ruby或Rails版本时收到通知？，我们在StackOverflow上找到一个类似的问题：

    5. 叮咚买菜基于 Apache Doris 统一 OLAP 引擎的应用实践 - 2

      导读：随着叮咚买菜业务的发展，不同的业务场景对数据分析提出了不同的需求，他们希望引入一款实时OLAP数据库，构建一个灵活的多维实时查询和分析的平台，统一数据的接入和查询方案，解决各业务线对数据高效实时查询和精细化运营的需求。经过调研选型，最终引入ApacheDoris作为最终的OLAP分析引擎，Doris作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图，在叮咚买菜数十个业务场景中广泛应用。作者｜叮咚买菜资深数据工程师韩青叮咚买菜创立于2017年5月，是一家专注美好食物的创业公司。叮咚买菜专注吃的事业，为满足更多人“想吃什么”而努力，通过美好食材的供应、美好滋味的开发以及美食品牌的孵

    6. ruby-on-rails - Rails 中同一个类的多个关联的最佳实践？ - 2

      我认为我的问题最好用一个例子来描述。假设我有一个名为“Thing”的简单模型，它有一些简单数据类型的属性。像...Thing-foo:string-goo:string-bar:int这并不难。数据库表将包含具有这三个属性的三列，我可以使用@thing.foo或@thing.bar之类的东西访问它们。但我要解决的问题是当“foo”或“goo”不再包含在简单数据类型中时会发生什么？假设foo和goo代表相同类型的对象。也就是说，它们都是“Whazit”的实例，只是数据不同。所以现在事情可能看起来像这样......Thing-bar:int但是现在有一个新的模型叫做“Whazit”，看起来

    7. ruby-on-rails - 向 Rails 3 添加 Ruby 扩展方法的最佳实践？ - 2

      我有一个要在我的Rails3项目中使用的数组扩展方法。它应该住在哪里？我有一个应用程序/类，我最初把它放在(array_extensions.rb)中，在我的config/application.rb中我加载路径:config.autoload_paths+=%W(#{Rails.root}/应用程序/类)。但是，当我转到railsconsole时，未加载扩展。是否有一个预定义的位置可以放置我的Rails3扩展方法？或者，一种预先定义的方式来添加它们？我知道Rails有自己的数组扩展方法。我应该将我的添加到active_support/core_ext/array/conversion

    8. Ruby 最佳实践 : working with classes - 2

      参见下面的示例，我想最好使用第二种方法，但第一种也可以。哪种方法最好，使用另一种的后果是什么？classTestdefstartp"started"endtest=Test.newtest.startendclassTest2defstartp"started"endendtest2=Test2.newtest2.start 最佳答案 我肯定会说第二种变体更有意义。第一个不会导致错误，但对象实例化完全过时且毫无意义。外部变量在类的范围内不可见:var="string"classAvar=A.newendputsvar#=>strin

    9. ruby - 存储外部 API 的密码 - 最佳实践 - 2

      如果我构建了一个应用程序来访问来自Gmail、Twitter和Facebook的一些数据，并且我希望用户只需输入一次他们的身份验证信息，并且在几天或几周后重置，那会怎样是在Ruby中动态执行此操作的最佳方法吗？我看到很多人只是拥有他们客户/用户凭证的配置文件，如下所示:gmail_account:username:myClientpassword:myClientsPassword这看起来a)非常不安全，b)如果我想为成千上万的用户存储此类信息，它就无法工作。推荐的方法是什么？我希望能够在这些服务之上构建一个界面，因此每次用户进行交易时都必须输入凭据是不可行的。

    10. ruby-on-rails - 获取 ActionController::RoutingError(当尝试使用 AngularJS 将数据发布到 Rails 服务器时，没有路由匹配 [OPTIONS] "/users" - 2

      尝试从我的AngularJS端将数据发布到Rails服务器时出现问题。服务器错误:ActionController::RoutingError(Noroutematches[OPTIONS]"/users"):actionpack(4.1.9)lib/action_dispatch/middleware/debug_exceptions.rb:21:in`call'actionpack(4.1.9)lib/action_dispatch/middleware/show_exceptions.rb:30:in`call'railties(4.1.9)lib/rails/rack/logg

    随机推荐