草庐IT

vivo 自研Jenkins资源调度系统设计与实践

Wu Qinghua 2023-03-28 原文

一、前言

现在的企业很多都在用Jenkins做持续集成，各个业务端都依靠Jenkins，vivo Devops也是使用Jenkins来进行持续构建，部署Jenkins服务时如何保障服务的高可用变得尤为重要。

下面是目前Jenkins存在的一些问题。

  1. Jenkins本身是单体的，即只能有一个Jenkins Master。虽然你也可以在多台机器上部署多个Jenkins Master，但这些Master之间没有联系，都是各自把任务交给手下的slaver去执行，没有任何交集。
    也许某个master下的slaver很忙，而另一个master下的slaver却很闲，资源得不到充分利用。
  2.  当其中一个slave宕机之后，该slave上的运行的job任务没有版本重新进行分配，需要用户重新执行。并且slave节点离线之后没有通知管理员。
  3.  当系统业务量比较大的时候业务请求集中在Jenkins Master上，会对Jenkins造成压力，甚至的造成Jenkins服务不可用。
  4.  当有job任务在jenkins Master上队列排队的时候，Jenkins Master宕机后，队列任务不可持久化。
  5. Jenkins Workspace没有自动清理功能，会导致磁盘空间不足，任务执行不了的情况。
基于以上情况，vivo Devops对Jenkins的部署架构进行优化搭建，并且配套了一套Jenkins资源调度系统用于管理Jenkins资源。

二、业界实现

目前业界也包含一些Jenkins 高可用的设计方式，但是并不能完全的满足解决上述问题，比如：

2.1 方案一  Gearman + Jenkins

这是OpenStack团队使用的方案。这个方案使用了gearman， gearman是个任务分发框架。

需要在每个Master上安装好gearman的插件，并配置好能连接到gearman server，同时在每个Master必须建立相同的job。

之后运行任务的流程如下：

  1. gearman worker运行在各个Jenkins Master中等待gearman server分发任务；
  2. gearman client向gearman server发出运行job的请求；
  3. gearman server通知各个gearman worker有任务拉，第一个闲着的worker会接受任务，如果所有的worker都忙，则放入gearman的任务队列，得worker空闲时再分配；
  4. gearman worker闲下来后会从任务队列里取job来执行，执行完之后，将结果发回给gearman server;
  5. gearman server将结果返回给 gearman client。
优点：

这样各个salver资源可以得到充分利用，某个master挂掉另外的master可以继续服务。

弊端：

每个master的slave必须配置一致，否则会造成job调度错误，同时会造成一些资源的浪费。当一个master出现问题，该master的任务不会进行自动重新分配。

2.2 方案二 改造Jenkins的文件存储方式

目前Jenkins的配置文件都是直接在硬盘上以文件形式存储的，你在JENKINS_HOME的个文件夹下能看到各种.xml文件。有些公司在Jenkins上进行二次开发，将Jenkins的数据存储方式改为数据库存储，这样前端可以起多个Jenkins服务，后端连相同的数据库即可。数据库也有比较成熟的高可用方案。

优点:   

可以达到Jenkins的高可用也就是某个master挂掉另外的master可以继续服务。

弊端：

需要对Jenkins进行二次开发，使用数据库会降低读取资源效率下降。

2.3 方案三 最简单的Jenkins一主一备模式

平时让Jenkins A机器提供服务，并使用SCM Sync configuration plugin保存数据，JenkinsA机器修改配置后触发Jenkins B更新配置，一旦Jenkins A出现问题挂掉后，切换到备机Jenkins B上。

优点:   

可以达到Jenkins的高可用，当master宕机后会进行切换到备机上。

弊端:   

会有一批Jenkins备机存在资源浪费，切换master时间过长，会导致有段时间Jenkins服务不可用。

三、vivo Jenkins Scheduler系统目标

由于目前业界的一些实现还不能完全的满足我们目前的需求，所以我们进行了vivo jenkins scheduler系统的设计与实现。该系统需要达到如下的目的：

  1. 提升整个构建服务可靠性时长。
    保证jenkins集群的高可用，解决目前master-slave的单点问题，保证整个构建服务的可靠性时长。
  2. 降低灾难时服务恢复时长。
    ①提供精准流控方式，在jenkins构建出现请求量过高的时候可以进行流控和持久化操作，减少对目前系统的冲击。
    ②当系统压力减少后，放开流控可以快速的对堆积的请求进行分配执行。
  3. 有效分配任务至各个子节点，保证资源的有效利用。
  4. 能保证灾难时的及时切换任务至可用节点上，同时能快速的通知管理员进行处理。
  5. 能进行数据的可视化分析，能提供一系列帮助改善开发效率的视图，比如构建时长报表、构建量报表等。

四、 vivo Jenkins Scheduler设计

该系统我们从两大部分进行了设计，首先，我们不采用原生的Jenkins部署方案，而是采用全master的方式。第二，设计并开发了一套用于管理Jenkins集群的调度系统。


五、底层 Jenkins 工具部署方案

不采用目前单master的搭建方案，采用多master的搭建方案，master下不进行挂载slave机器，任务直接有master进行处理，master之间的关系、任务分配、离线、插件安装等由调度系统进行管理。这样由于vivo Jenkins Scheduler系统为高可用的，解决了目前Jenkins的单点问题。



六、系统架构图



七、系统说明

7.1 API-Gateway

主要提供系统的外部请求，网关系统，功能包含：

  • 权限校验：校验用户发送集群管理系统的请求的权限。
  • 智能路由：接收外部一切请求，并转发到后端的外服上去。
  • 限流：与监控线程配合（当构建请求达到某个阈值时），进行限流操作。
  • API日志统一收集：类似于一个aspect切面，记录接口的进入和出去时的相关日志。
  • 数据处理：对请求的参数进行数据的转换处理。

7.2 事件中心

是整个系统通信调用的主要模块，采用的是Spring的Event机制实现，主要核心事件如下：

  1. Jenkins注册事件
    （EVENT_REGIST_JENKINS）：
    Jenkins启动后，通过自定的插件会向系统发送注册请求时，系统接收到后会触发Jenkins管理模块将Jenkins的信息注册至调度系统中。
  2. Jenkins宕机事件 
    (EVENT_DOWN_JENKINS)    : 
    监控管理轮询检查Jenkins状态，当发现有Jenkins宕机的情况会触发该事件，Jenkins管理模块处理将Jenkins的信息状态设置为不可用状态，从而是任务不能分配至该台jenkins。
  3. 任务从分配事件  (EVENT_JOB_REDO) : 
    当Jenkins宕机后，如果该台jenkins上存在未执行完的任务时候，由job监控模块触发，job管理莫管处理，会对该Jenkins上未执行的job进行重新分配。
  4. 任务接受事件  (EVENT_JOB_RECIVE) :
    当job管理模块接受到创建请求，会触发该事件，由job管理模块放入Redis执行队列。
  5. 任务执行事件  (EVENT_JOB_EXECUTE) : 
    job管理模块中的执行线程(10s执行一次，会从Redis队列中弹出任务)，弹出任务后触发该事件，由调度中心选取合适的jenkins进行执行。

7.3 调度中心

是整个系统的核心模块，主要的功能是进行执行job时候能选取合适的jenkins进行处理任务，包含两个核心算法：

7.3.1 Jenkins分组算法

每台jenkins都可以使用标签的方式，打上多个标签，比如jenkins可以构建java程序，使用的构建工具可以是maven和gradle，这个时候我们就可以给其打上java、maven、gradle三个标签。

标签的维度主要有以下几个：

  • 标签配置： 判断构建配置是否配置了标签，根据标签选择对应标签的Jenkins，比如配置了（docker等）。
  • 构建语言： 根据构建配置的语言，比如Java、C++、Python、Go等。
  • 构建工具和版本： 比如Maven、gradle、Ant，Cmark、Blade等。
  • JDK版本：比如JDK7、JDK8等。
  • Go语言版本：比如1.15.x.、1.16.x等。
  • GCC版本：如6.x、4.x等。
  • Python版本：2.x、3.x等。
  • 是否存活：判断Jenkins是否存活，如果宕机直接过滤。
  • （可选策略）选择执行过该job的Jenkins，减少下载代码的过程：（第一次构建还是会比较慢，可以采用预执行的方式，在配置构建配置的时候，就预先执行一次，这样在用户执行的时候就使用该job执行过得workspace，减少代码下载的时间）。
  • （可选策略）根据job的构建的平均构建时长，如果构建时长达到某个配置阈值时，优先选择构建器空闲多的Jenkins进行执行，并指出Jenkins的锁定功能。其他的job不允许分配上来。
如果我们给Jenkins打上标签，那么我们就可以使用标签为维度将Jenkins进行分组，并且存入至Redis中缓存，方便后续选取Jenkins用来执行任务：


7.3.2 Jenkins选取算法

当Jenkins分组好了后，我们接受到执行的job的信息就可以使用Jenkins选取算法进行快速的选取合适的Jenkins进行处理job，如下图所示。

其中label子线程、语言子线程……就是我们上面的Jenkins分组的维度，有多少维度，那么这里就会有多少子线程处理。

构建任务进入主线程，然后主线程会按照分组维度分组操作并进行过滤，然后获取到每个分组中合适的Jenkins，再进行取交集（这个时候就获取到可以执行该构建任务的Jenkins了），在判断是否需要经过可选策略，最终得到Jenkins。



7.4 流控管理&队列管理

调度系统中的的任务接受采用的是队列的方式实现，当系统请求量达到阀后，系统将不会进入Redis队列，会将请求持久化至MySQL。后续如果有请求过来，job管理模块会检查数据库MySQL中是否有请求，如果有请求，会将请求放入Redis队列，如果没有请求就会将当前请求放入Redis队列，具体流程如下:


其中基于Redis实现的消息队列的时序图如下:


7.5 回调中心

该模块主要是监控任务的状态，当任务开始执行、中断执行、执行成功、执行失败的时候进行通知业务并存储数据，用于保存构建记录，方便后续数据的统计，用来完成数据的可视化。

八、实施效果

目前该系统已经投入生产环境运行，Jenkins任务已采用调度系统进行调度执行，运行稳定，运行效果。



九、后续展望

随着vivo Jenkins 调度系统的功能慢慢完善，Jenkins的机器也越来越多，目前还大多数运行在虚拟机上，从资源利用率和业务发布效率来看，未来的业务发布形态将会是以容器为主。目前公司也在大力发展k8s的容器生态建设，

所以我们希望将Jenkins工具后期进行容器化、池化，在提高资源利用率和发布效率的同时也可以为用户提供可靠的、简洁的、稳定调度执行。

Jenkinsvivodata-idstrong服务器$vivo

有关vivo 自研Jenkins资源调度系统设计与实践的更多相关文章

  1. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  2. ruby-on-rails - Rails - 子类化模型的设计模式是什么？ - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co

  3. ruby-on-rails - 使用 rails 4 设计而不更新用户 - 2

    我将应用程序升级到Rails4，一切正常。我可以登录并转到我的编辑页面。也更新了观点。使用标准View时，用户会更新。但是当我添加例如字段:name时，它​​不会在表单中更新。使用devise3.1.1和gem'protected_attributes'我需要在设备或数据库上运行某种更新命令吗？我也搜索过这个地方，找到了许多不同的解决方案，但没有一个会更新我的用户字段。我没有添加任何自定义字段。 最佳答案 如果您想允许额外的参数，您可以在ApplicationController中使用beforefilter，因为Rails4将参数

  4. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

  5. ruby-on-rails - Rails 3，嵌套资源，没有路由匹配 [PUT] - 2

    我真的为这个而疯狂。我一直在搜索答案并尝试我找到的所有内容，包括相关问题和stackoverflow上的答案，但仍然无法正常工作。我正在使用嵌套资源，但无法使表单正常工作。我总是遇到错误，例如没有路线匹配[PUT]"/galleries/1/photos"表格在这里:/galleries/1/photos/1/edit路线.rbresources:galleriesdoresources:photosendresources:galleriesresources:photos照片Controller.rbdefnew@gallery=Gallery.find(params[:galle

  6. 叮咚买菜基于 Apache Doris 统一 OLAP 引擎的应用实践 - 2

    导读：随着叮咚买菜业务的发展，不同的业务场景对数据分析提出了不同的需求，他们希望引入一款实时OLAP数据库，构建一个灵活的多维实时查询和分析的平台，统一数据的接入和查询方案，解决各业务线对数据高效实时查询和精细化运营的需求。经过调研选型，最终引入ApacheDoris作为最终的OLAP分析引擎，Doris作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图，在叮咚买菜数十个业务场景中广泛应用。作者｜叮咚买菜资深数据工程师韩青叮咚买菜创立于2017年5月，是一家专注美好食物的创业公司。叮咚买菜专注吃的事业，为满足更多人“想吃什么”而努力，通过美好食材的供应、美好滋味的开发以及美食品牌的孵

  7. 电脑0x0000001A蓝屏错误怎么U盘重装系统教学 - 2

    　　电脑0x0000001A蓝屏错误怎么U盘重装系统教学分享。有用户电脑开机之后遇到了系统蓝屏的情况。系统蓝屏问题很多时候都是系统bug，只有通过重装系统来进行解决。那么蓝屏问题如何通过U盘重装新系统来解决呢？来看看以下的详细操作方法教学吧。　　准备工作：　　1、U盘一个（尽量使用8G以上的U盘）。　　2、一台正常联网可使用的电脑。　　3、ghost或ISO系统镜像文件（Win10系统下载_Win10专业版_windows10正式版下载-系统之家）。　　4、在本页面下载U盘启动盘制作工具：系统之家U盘启动工具。　　U盘启动盘制作步骤：　　注意：制作期间，U盘会被格式化，因此U盘中的重要文件请注

  8. 【鸿蒙应用开发系列】- 获取系统设备信息以及版本API兼容调用方式 - 2

    在应用开发中，有时候我们需要获取系统的设备信息，用于数据上报和行为分析。那在鸿蒙系统中，我们应该怎么去获取设备的系统信息呢，比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况，一种是设备信息的获取，一种是系统信息的获取。1.1、获取设备信息获取设备信息，鸿蒙的SDK包为我们提供了DeviceInfo类，通过该类的一些静态方法，可以获取设备信息，DeviceInfo类的包路径为：ohos.system.DeviceInfo.具体的方法如下：ModifierandTypeMethodDescriptionstatic StringgetAbiList​()Obt

  9. ruby-on-rails - rbenv:从 RVM 移动到 rbenv 后，在 Jenkins 执行 shell 中找不到命令 - 2

    我从Ubuntu服务器上的RVM转移到rbenv。当我使用RVM时，使用bundle没有问题。转移到rbenv后，我在Jenkins的执行shell中收到“找不到命令”错误。我内爆并删除了RVM，并从~/.bashrc'中删除了所有与RVM相关的行。使用后我仍然收到此错误:rvmimploderm~/.rvm-rfrm~/.rvmrcgeminstallbundlerecho'exportPATH="$HOME/.rbenv/bin:$PATH"'>>~/.bashrcecho'eval"$(rbenvinit-)"'>>~/.bashrc.~/.bashrcrbenvversions

  10. jenkins部署1--jenkins+gitee持续集成 - 2

    前置步骤我们都操作完了，这篇开始介绍jenkins的集成。话不多说，看操作1、登录进入jenkins后会让你选择安装插件，选择第一个默认的就行。安装完成后设置账号密码，重新登录。2、配置JDK和Git都需要执行路径，所以需要先把执行路径找到，先进入服务器的docker容器，2.1JDK的路径root@69eef9ee86cf:/usr/bin#echo$JAVA_HOME/usr/local/openjdk-82.2Git的路径root@69eef9ee86cf:/#whichgit/usr/bin/git3、先配置JDK和Git。点击：ManageJenkins>>GlobalToolCon

随机推荐