草庐IT

蛟分承影,雁落忘归 —— 袋鼠云一站式全自动化运维管家 ChengYing(承影)正式开源

袋鼠云数栈 2023-03-28 原文

我们兴奋的向大家宣布一个好消息

DTstackCon新成员

袋鼠云一站式全自动化全生命周期运维管家

ChengYing(承影)

正式开源

项目地址

Github开源地址:

https://github.com/DTStack/chengying

Gitee开源地址:

https://gitee.com/dtstack_dev_0/chengying

官方文档:

https://dtstack.github.io/chengying-web/

这是继ChunJun(纯钧)、Taier(太阿)后,袋鼠云数栈大数据名剑家族开源的第三支名剑,是袋鼠云开源项目史上又一里程碑事件,代表着数栈开源技术团队对于开源的决心与努力。

一、蛟 分 承 影

ChengYing(承影)——承袭于袋鼠云开源项目名剑家族的概念,取自十大名剑之承影剑。

logo.png

ChengYing logo

承影铸于商朝,其出炉时两道剑光飞出,犹如蛟龙,有“蛟分承影,雁落忘归”之言,故名承影。承影为商天子佩剑,后由春秋时卫国藏剑名家孔周收藏,相传其有影无形,为气随机而动,代表着如影随形时刻守护的意义,正如ChengYing作为袋鼠云数栈的运维管家,提供大数据产品的一站式部署、运维、监控服务,为客户提供安全稳定的产品部署与监控。

二、缘 启 承 影

ChengYing脱胎于袋鼠云数栈自主研发的一站式运维管家EasyManager,在ChengYing正式开源之前,开源技术团队于去年先开源了一款为远程统一管理主机端Agent生命周期而设计的系统——EasyAgent,作为EasyManager的关键组件,可以实现数栈服务的安装、升级、卸载、启停和配置管理。

在EasyAgent开源后,受到了社区同学的广泛支持,与此同时社区对于EasyManager开源的呼声越发高昂,秉持着袋鼠技术人“源于开源,回馈开源”的一贯初心,数栈开源技术团队经过决定将EasyManager也就是ChengYing开源,而EasyAgent作为ChengYing Agent 重新与大家见面。

经过不懈的努力,曾经的设想终于在今天实现。ChengYing(承影)作为一站式全自动化全生命周期运维管家,提供大数据产品的一站式部署、运维、监控服务,其可实现产品部署、产品升级、版本回滚、扩缩节点、日志诊断、集群监控、实时告警等功能,致力于最大化节省运维成本,降低线上故障率与运维难度,为客户提供安全稳定的产品部署与监控。

01.png

三、形 自 承 影

ChengYing的logo设计沿袭十大名剑的概念,结合项目本身特性,以字母“Y”为设计主元素,融合进剑的锋利与尖锐进行设计,利用坚固的三角形去体现产品“稳定”的特性,而倒三角又体现着产品“支撑”的特性,而选择比较暗的蓝色也体现着我们“幕后”的特点。


logo.png

LOGO主体以字母“Y”与六边形的几何图形组成,有完整、有组合、有分布、传达出本项目核心观念是一个全自动化生命周期的运维管家,其功能具有多样性与稳定性。

设计说明.png

四、锋 出 承 影

ChengYing作为一站式全自动化全生命周期的运维管家,具备以下六大特性:

1自动化部署

ChengYing通过规范化的步骤和参数约定制作出产品安装包,发布包中的Schema文件中配置了安装包中所有的服务,包含各服务的配置参数、健康检查参数,服务之间的依赖关系等。产品部署时可根据Schema中的相关配置实现一键全自动化部署。

2界面化集群运维

Hadoop集群、大数据平台在日常运维中涉及到的节点扩容缩容、组件停止启动、服务滚动重启、服务参数修改、版本升级与回滚等多种运维操作,通过逻辑化、流程化的产品界面展现,方便运维人员操作和监控,提高运维效率。

3仪表盘集群监控

通过集成开源的prometheus和grafana,实现对集群、服务、节点的核心参数监控,并通过灵活形象的仪表盘进行数据展现。包含CPU占用率,RAM使用率、磁盘空间、I/O读写速率等核心参数进行监控,实时掌握集群、服务、节点的运行状态,降低运维故障率。同时,支持用户自建仪表盘及监控项,实现自定义监控项。

4实时告警

支持实时监控集群中各组件服务的运行指标,如CPU、内存、磁盘、读写IO等,并支持短信、钉钉、邮件告警通道配置,集成多种第三方消息插件。当集群服务出现异常时,可触发告警条件,系统将及时通知接收人。

5强拓展性

通过自研的ChengYing Agent Server抽象出七大REST接口,安装、启动、停止、更新、配置修改、卸载、执行等与上层应用进行交互,可使agent类别和功能可轻松无限扩展。

6安全稳定

数据安全、产品安全是大数据产品需要重点考虑的问题。ChengYing在产品设计中过滤掉rm、drop等命令行,防止对数据库的误操作,通过更加安全的方式执行相关命令。同时提供服务的滚动重启、产品的断电重启,解决运维时服务不停止运行的场景并节省运维时间。

ChengYing操作页面

02.png
03.png
04.png

四、承 影 迭 代

ChengYing是一个用于大数据产品的一站式部署、运维、监控的标准产品,可以用于企业快速搭建企业内部的大数据平台,基于现有版本已经实现的功能,未来ChengYing将会计划:

1)服务编排:支持基于主机角色与服务类型自动编排,减少人工操作成本;

2)部署方式:支持自定义部署产品包流水线顺序;

3)安全认证:支持集群开启Kerberos认证,票据生成与下载;

4)监控告警:支持基于PromQL的自定义告警设置,丰富告警类型;

5)对接外部:支持对接外部LDAP连接;

6)操作系统:支持ubuntu系统主机接入。

六、雁 落 忘 归

今天我们开源了ChengYing,我们知道开源不是结束,而恰恰是开始。从2018年我们开源了第一个项目开始,4年间我们先后开源了ChunJun(原FlinkX)、FlinkStreamSQL、jlogstash、EasyAgent、Doraemon、Molecule、Taier等项目,这段时间里我们不断探索技术上的突破,将最新的技术成果与大家共享,也从许多社区同学中获得颇多助益,在互助共享的氛围中与大家一同成长。

未来,我们将持续秉持“源于开源 回馈开源”的初心,继续推出ChengYing后续版本,同时我们欢迎更多的公司和个人参与到开发者队伍中来,让ChengYing社区更加健壮、健康的发展,让更多人享受开源带来的技术红利!

有关蛟分承影,雁落忘归 —— 袋鼠云一站式全自动化运维管家 ChengYing(承影)正式开源的更多相关文章

  1. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

  2. ruby - RuntimeError(自动加载常量 Apps 多线程时检测到循环依赖 - 2

    我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样?我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用,需要1秒才能返回,我有100,000多个页面要访问,所以我试图运行多个线程来解决这个问题。有更好的方法吗?classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("

  3. ruby-on-rails - 从应用程序中自定义文件夹内的命名空间自动加载 - 2

    我们目前正在为ROR3.2开发自定义cms引擎。在这个过程中,我们希望成为我们的rails应用程序中的一等公民的几个类类型起源,这意味着它们应该驻留在应用程序的app文件夹下,它是插件。目前我们有以下类型:数据源数据类型查看我在app文件夹下创建了多个目录来保存这些:应用/数据源应用/数据类型应用/View更多类型将随之而来,我有点担心应用程序文件夹被这么多目录污染。因此,我想将它们移动到一个子目录/模块中,该子目录/模块包含cms定义的所有类型。所有类都应位于MyCms命名空间内,目录布局应如下所示:应用程序/my_cms/data_source应用程序/my_cms/data_ty

  4. ruby-on-rails - 有没有一种工具可以在编码时自动保存对文件的增量更改? - 2

    我最喜欢的Google文档功能之一是它会在我工作时不断自动保存我的文档版本。这意味着即使我在进行关键更改之前忘记在某个点进行保存,也很有可能会自动创建一个保存点。至少,我可以将文档恢复到错误更改之前的状态,并从该点继续工作。对于在MacOS(或UNIX)上运行的Ruby编码器,是否有具有等效功能的工具?例如,一个工具会每隔几分钟自动将Gitcheckin我的本地存储库以获取我正在处理的文件。也许我有点偏执,但这点小保险可以让我在日常工作中安心。 最佳答案 虚拟机有些人可能讨厌我对此的回应,但我在编码时经常使用VIM,它具有自动保存功

  5. ruby - 在 ruby​​ 中使用自动创建插入数组 - 2

    我想知道是否可以通过自动创建数组来插入数组,如果数组不存在的话,就像在PHP中一样:$toto[]='titi';如果尚未定义$toto,它将创建数组并将“titi”压入。如果已经存在,它只会推送。在Ruby中我必须这样做:toto||=[]toto.push('titi')可以一行完成吗?因为如果我有一个循环,它会测试“||=”,除了第一次:Person.all.eachdo|person|toto||=[]#with1billionofperson,thislineisuseless999999999times...toto.push(person.name)你有更好的解决方案吗?

  6. 【自动驾驶环境感知项目】——基于Paddle3D的点云障碍物检测 - 2

    文章目录1.自动驾驶实战:基于Paddle3D的点云障碍物检测1.1环境信息1.2准备点云数据1.3安装Paddle3D1.4模型训练1.5模型评估1.6模型导出1.7模型部署效果附录show_lidar_pred_on_image.py1.自动驾驶实战:基于Paddle3D的点云障碍物检测项目地址——自动驾驶实战:基于Paddle3D的点云障碍物检测课程地址——自动驾驶感知系统揭秘1.1环境信息硬件信息CPU:2核AI加速卡:v100总显存:16GB总内存:16GB总硬盘:100GB环境配置Python:3.7.4框架信息框架版本:PaddlePaddle2.4.0(项目默认框架版本为2.3

  7. H2数据库配置及相关使用方式一站式介绍(极为详细并整理官方文档) - 2

    目录H2数据库入门以及实际开发时的使用1.H2数据库的初识1.1H2数据库介绍1.2为什么要使用嵌入式数据库?1.3嵌入式数据库对比1.3.1性能对比1.4技术选型思考2.H2数据库实战2.1H2数据库下载搭建以及部署2.1.1H2数据库的下载2.1.2数据库启动2.1.2.1windows系统可以在bin目录下执行h2.bat2.1.2.2同理可以通过cmd直接使用命令进行启动:2.1.2.3启动后控制台页面:2.1.3spring整合H2数据库2.1.3.1引入依赖文件2.1.4数据库通过file模式实际保存数据的位置2.2H2数据库操作2.2.1Mysql兼容模式2.2.2Mysql模式

  8. ruby-on-rails - 自动完成搜索的 Rails 实现 - 2

    我不确定如何为我的搜索功能添加自动完成表单。"get"do%>nil%>我有一个具有自定义操作的Controllerdefquery@users=Search.user(params[:query])@article=Search.article(params[:query])end模型如下:defself.user(search)ifsearchUser.find(:all,:conditions=>['first_nameLIKE?',"%#{search}%"])elseUser.find(:all)endenddefself.article(search)ifsearchArt

  9. ruby - 如何设置自动测试以仅重新运行失败的 rspec 示例 - 2

    我对自动测试的工作方式的印象(基于cucumbergithubwiki和其他在线内容)是它应该重新运行红色示例,直到它们通过。我的问题是它会重新运行规范文件中找到失败示例的所有示例,包括通过的示例。我不想浪费时间在修复失败示例的同时重新运行通过的示例。是否可以配置自动测试以便仅运行失败的示例? 最佳答案 您需要rspec-retrygem。以下是文档中有关如何实现它的一些示例:将它应用到覆盖整个测试套件的configureblock中...RSpec.configuredo|config|config.verbose_retry=t

  10. ruby - 在多个线程中引用类方法会导致自动加载循环依赖崩溃 - 2

    代码:threads=[]Thread.abort_on_exception=truebegin#throwexceptionsinthreadssowecanseethemthreadseputs"EXCEPTION:#{e.inspect}"puts"MESSAGE:#{e.message}"end崩溃:.rvm/gems/ruby-2.1.3@req/gems/activesupport-4.1.5/lib/active_support/dependencies.rb:478:inload_missing_constant':自动加载常量MyClass时检测到循环依赖稍加研究后,

随机推荐