草庐IT

大数据开源项目,一站式全自动化全生命周期运维管家ChengYing(承影)走向何方?

数栈DTinsight 2023-03-28 原文

原文链接:三分钟走进袋鼠云一站式全自动化全生命周期运维管家ChengYing(承影)

课件获取:关注公众号 ** “数栈研习社”,后台私信 “ChengYing”** 获得直播课件

视频回放:点击这里

ChengYing 开源项目地址:githubgitee 喜欢我们的项目给我们点个** STAR!STAR!!STAR!!!**(重要的事情说三遍)

技术交流钉钉qun:30537511

2022年5月30日,袋鼠云对外开源了一站式全自动化运维管家ChengYing(承影),为了帮助社区同学更好的使用ChengYing,自开源之后我们就紧锣密鼓的筹备直播相关事宜,从6月开始,我们将每月为大家组织一次直播,和大家分享ChengYing的相关内容,欢迎大家持续关注。

一、ChengYing简介

ChengYing(承影)——承袭于袋鼠云开源项目名剑家族的概念,取自十大名剑之承影剑。

ChengYing(承影)作为一站式全自动化全生命周期运维管家,提供大数据产品的一站式部署、运维、监控服务,其可实现产品部署、产品升级、版本回滚、扩缩节点、日志诊断、集群监控、实时告警等功能,致力于最大化节省运维成本,降低线上故障率与运维难度,为客户提供安全稳定的产品部署与监控。

ChengYing脱胎于袋鼠云数栈自主研发的一站式运维管家EasyManager,从开放式统一监控、到定义标准化部署能力,而后引入Prometheus/Grafana/自研dt-alert组件,完成统一监控2.0的功能优化,再到新增多集群管理能力,最后完成了内部孵化,成功开源ChengYing。

二、ChengYing功能特性

在介绍ChengYing的功能特性之前,我们先熟悉几个概念:

名词概念

  • 产品

指用ChengYing部署的大数据产品,如数栈(DTinsight)、云日志(EasyLog)等,作为ChengYing最高级别的组织单位。

  • 组件

一般和"组件安装包"等同,指产品下包含多个组件,即产品下包含多个组件安装包,如数栈(DTinsight)产品下包含Hadoop、DTBase、DTCommon、DTBatch、DTStream等多个组件,代表不同的应用。

  • 服务组

组件下的服务分类,如Hadoop组件下包含HDFS、Spark、Yarn、Flink、Default等服务组,进行服务区分。

  • 服务

指服务组下的具体服务,如HDFS服务组下包含hdfs_datanode、hdfs_journalnode、hdfs_namenode、hdfs_zkfc等组件;Spark服务组下包含hivemetastore、spark_historyserver、thriftserver等组件。

  • 主机分组

指对主机进行人为分组,当主机数量过多时可进行分组,方便管理。

  • 主机

指服务器,包含物理机、虚拟机,指产品部署时需要的硬件资源,通常以主机IP或主机名称进行区分。

功能特性

ChengYing具备六大功能特性:

  • 统一的Schema定义

抽象化产品包定义,用一套标准的Schema定义一个产品包的完整的生命周期,包括安装、启动、配置、升级、卸载等。

  • 集群管理

支持多集群设置,便于在一套ChengYing系统中部署多套资源隔离的服务;支持对集群中所有产品包、所有主机、集群资源的管理。

  • 安装部署

支持产品包的快速安装与部署。

  • 服务管理

支持查看各服务及服务实例的运行、健康检查状态;

支持服务的配置修改下发;

支持服务的滚动重启;

支持服务的配置查看。

  • 监控告警

集成prometheus/grafana组件作为可视化仪表盘组件监控集群、主机、服务性能检测;支持邮件、短信、钉钉以及自定义告警通道发送告警信息。

  • 节点扩容/缩容

支持根据集群运行状况,产品化支持主机资源扩充与缩减。

三、ChengYing系统架构设计

  • ChengYing系统架构

  • ChengYing Agent设计

  • 统一Schema设计

  • 监控设计

  • 架构设计讲解

由于架构设计讲解的内容比较多,在此我们不做具体回顾,大家可以观看视频进行详细了解。

B站直播回顾地址:

https://www.bilibili.com/video/BV1Ht4y187xo?spm_id_from=333.999.0.0

四、ChengYing快速入门

接下来为大家介绍如何快速部署ChengYing:

  • 环境要求

  • 快速部署

下载安装包:

https://github.com/DTStack/chengying/releases/download/v1.0.0/chengying-release-1.0.tar.gz

解压安装包:

tar zxvf chengying-release-1.0.tar.gz

cd chengying-release-1.0

运行安装脚本:

sh install.sh local_ip(local_ip为Chengying所在机器ip)

查看页面:

http://local_ip

  • 上传组件安装包

  • 选择集群与安装包

  • 配置服务

  • 执行部署

五、ChengYing未来规划

最后为大家介绍ChengYing的未来规划及近期主要做的事情:

未来规划

  • 服务编排

支持基于主机角色与服务类型自动编排,减少人工操作成本。

  • 部署方式

支持自定义部署产品包流水线顺序。

  • 安全认证

支持集群开启Kerberos认证,票据生成与下载。

  • 监控告警

支持基于PromQL的自定义告警设置,丰富告警类型。

近期重点事宜

  • 计划8月底发布ChengYing V1.1.0 Release。

  • 每月一次开源技术直播。

  • 与Chunjun/Taier梦幻联动--尝试使用ChengYing部署Chunjun/Taier。

袋鼠云开源框架钉钉技术交流qun(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址:https://github.com/DTStack

有关大数据开源项目,一站式全自动化全生命周期运维管家ChengYing(承影)走向何方?的更多相关文章

  1. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

  2. ruby - RuntimeError(自动加载常量 Apps 多线程时检测到循环依赖 - 2

    我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样?我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用,需要1秒才能返回,我有100,000多个页面要访问,所以我试图运行多个线程来解决这个问题。有更好的方法吗?classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("

  3. ruby-on-rails - 从应用程序中自定义文件夹内的命名空间自动加载 - 2

    我们目前正在为ROR3.2开发自定义cms引擎。在这个过程中,我们希望成为我们的rails应用程序中的一等公民的几个类类型起源,这意味着它们应该驻留在应用程序的app文件夹下,它是插件。目前我们有以下类型:数据源数据类型查看我在app文件夹下创建了多个目录来保存这些:应用/数据源应用/数据类型应用/View更多类型将随之而来,我有点担心应用程序文件夹被这么多目录污染。因此,我想将它们移动到一个子目录/模块中,该子目录/模块包含cms定义的所有类型。所有类都应位于MyCms命名空间内,目录布局应如下所示:应用程序/my_cms/data_source应用程序/my_cms/data_ty

  4. ruby-on-rails - 有没有一种工具可以在编码时自动保存对文件的增量更改? - 2

    我最喜欢的Google文档功能之一是它会在我工作时不断自动保存我的文档版本。这意味着即使我在进行关键更改之前忘记在某个点进行保存,也很有可能会自动创建一个保存点。至少,我可以将文档恢复到错误更改之前的状态,并从该点继续工作。对于在MacOS(或UNIX)上运行的Ruby编码器,是否有具有等效功能的工具?例如,一个工具会每隔几分钟自动将Gitcheckin我的本地存储库以获取我正在处理的文件。也许我有点偏执,但这点小保险可以让我在日常工作中安心。 最佳答案 虚拟机有些人可能讨厌我对此的回应,但我在编码时经常使用VIM,它具有自动保存功

  5. ruby - 在 ruby​​ 中使用自动创建插入数组 - 2

    我想知道是否可以通过自动创建数组来插入数组,如果数组不存在的话,就像在PHP中一样:$toto[]='titi';如果尚未定义$toto,它将创建数组并将“titi”压入。如果已经存在,它只会推送。在Ruby中我必须这样做:toto||=[]toto.push('titi')可以一行完成吗?因为如果我有一个循环,它会测试“||=”,除了第一次:Person.all.eachdo|person|toto||=[]#with1billionofperson,thislineisuseless999999999times...toto.push(person.name)你有更好的解决方案吗?

  6. 【自动驾驶环境感知项目】——基于Paddle3D的点云障碍物检测 - 2

    文章目录1.自动驾驶实战:基于Paddle3D的点云障碍物检测1.1环境信息1.2准备点云数据1.3安装Paddle3D1.4模型训练1.5模型评估1.6模型导出1.7模型部署效果附录show_lidar_pred_on_image.py1.自动驾驶实战:基于Paddle3D的点云障碍物检测项目地址——自动驾驶实战:基于Paddle3D的点云障碍物检测课程地址——自动驾驶感知系统揭秘1.1环境信息硬件信息CPU:2核AI加速卡:v100总显存:16GB总内存:16GB总硬盘:100GB环境配置Python:3.7.4框架信息框架版本:PaddlePaddle2.4.0(项目默认框架版本为2.3

  7. H2数据库配置及相关使用方式一站式介绍(极为详细并整理官方文档) - 2

    目录H2数据库入门以及实际开发时的使用1.H2数据库的初识1.1H2数据库介绍1.2为什么要使用嵌入式数据库?1.3嵌入式数据库对比1.3.1性能对比1.4技术选型思考2.H2数据库实战2.1H2数据库下载搭建以及部署2.1.1H2数据库的下载2.1.2数据库启动2.1.2.1windows系统可以在bin目录下执行h2.bat2.1.2.2同理可以通过cmd直接使用命令进行启动:2.1.2.3启动后控制台页面:2.1.3spring整合H2数据库2.1.3.1引入依赖文件2.1.4数据库通过file模式实际保存数据的位置2.2H2数据库操作2.2.1Mysql兼容模式2.2.2Mysql模式

  8. ruby-on-rails - 自动完成搜索的 Rails 实现 - 2

    我不确定如何为我的搜索功能添加自动完成表单。"get"do%>nil%>我有一个具有自定义操作的Controllerdefquery@users=Search.user(params[:query])@article=Search.article(params[:query])end模型如下:defself.user(search)ifsearchUser.find(:all,:conditions=>['first_nameLIKE?',"%#{search}%"])elseUser.find(:all)endenddefself.article(search)ifsearchArt

  9. ruby - 如何设置自动测试以仅重新运行失败的 rspec 示例 - 2

    我对自动测试的工作方式的印象(基于cucumbergithubwiki和其他在线内容)是它应该重新运行红色示例,直到它们通过。我的问题是它会重新运行规范文件中找到失败示例的所有示例,包括通过的示例。我不想浪费时间在修复失败示例的同时重新运行通过的示例。是否可以配置自动测试以便仅运行失败的示例? 最佳答案 您需要rspec-retrygem。以下是文档中有关如何实现它的一些示例:将它应用到覆盖整个测试套件的configureblock中...RSpec.configuredo|config|config.verbose_retry=t

  10. ruby - 在多个线程中引用类方法会导致自动加载循环依赖崩溃 - 2

    代码:threads=[]Thread.abort_on_exception=truebegin#throwexceptionsinthreadssowecanseethemthreadseputs"EXCEPTION:#{e.inspect}"puts"MESSAGE:#{e.message}"end崩溃:.rvm/gems/ruby-2.1.3@req/gems/activesupport-4.1.5/lib/active_support/dependencies.rb:478:inload_missing_constant':自动加载常量MyClass时检测到循环依赖稍加研究后,

随机推荐