博客 三分钟走进袋鼠云一站式全自动化全生命周期运维管家ChengYing(承影)

三分钟走进袋鼠云一站式全自动化全生命周期运维管家ChengYing(承影)

   数栈君   发表于 2022-07-14 14:07  242  0

2022年5月30日,袋鼠云对外开源了一站式全自动化运维管家ChengYing(承影),为了帮助社区同学更好的使用ChengYing,自开源之后我们就紧锣密鼓的筹备直播相关事宜,从6月开始,我们将每月为大家组织一次直播,和大家分享ChengYing的相关内容,欢迎大家持续关注。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/1e63c3e9cd6147857a327ee50e1342b6..jpg

ChengYing简介


ChengYing(承影)——承袭于袋鼠云开源项目名剑家族的概念,取自十大名剑之承影剑


ChengYing(承影)作为一站式全自动化全生命周期运维管家,提供大数据产品的一站式部署、运维、监控服务,其可实现产品部署、产品升级、版本回滚、扩缩节点、日志诊断、集群监控、实时告警等功能,致力于最大化节省运维成本,降低线上故障率与运维难度,为客户提供安全稳定的产品部署与监控。


ChengYing脱胎于袋鼠云数栈自主研发的一站式运维管家EasyManager,从开放式统一监控、到定义标准化部署能力,而后引入Prometheus/Grafana/自研dt-alert组件,完成统一监控2.0的功能优化,再到新增多集群管理能力,最后完成了内部孵化,成功开源ChengYing。


ChengYing功能特性


在介绍ChengYing的功能特性之前,我们先熟悉几个概念:

名词概念

产品

指用ChengYing部署的大数据产品,如数栈(DTinsight)、云日志(EasyLog)等,作为ChengYing最高级别的组织单位。

组件

一般和"组件安装包"等同,指产品下包含多个组件,即产品下包含多个组件安装包,如数栈(DTinsight)产品下包含Hadoop、DTBase、DTCommon、DTBatch、DTStream等多个组件,代表不同的应用。

服务组

组件下的服务分类,如Hadoop组件下包含HDFS、Spark、Yarn、Flink、Default等服务组,进行服务区分。

服务

指服务组下的具体服务,如HDFS服务组下包含hdfs_datanode、hdfs_journalnode、hdfs_namenode、hdfs_zkfc等组件;Spark服务组下包含hivemetastore、spark_historyserver、thriftserver等组件。

主机分组

指对主机进行人为分组,当主机数量过多时可进行分组,方便管理。

主机

指服务器,包含物理机、虚拟机,指产品部署时需要的硬件资源,通常以主机IP或主机名称进行区分。

功能特性

ChengYing具备六大功能特性:


● 统一的Schema定义

抽象化产品包定义,用一套标准的Schema定义一个产品包的完整的生命周期,包括安装、启动、配置、升级、卸载等。


● 集群管理

支持多集群设置,便于在一套ChengYing系统中部署多套资源隔离的服务;支持对集群中所有产品包、所有主机、集群资源的管理。


● 安装部署

支持产品包的快速安装与部署。


● 服务管理

支持查看各服务及服务实例的运行、健康检查状态;

支持服务的配置修改下发;

支持服务的滚动重启;

支持服务的配置查看。


● 监控告警

集成prometheus/grafana组件作为可视化仪表盘组件监控集群、主机、服务性能检测;支持邮件、短信、钉钉以及自定义告警通道发送告警信息。


● 节点扩容/缩容

支持根据集群运行状况,产品化支持主机资源扩充

与缩减。


ChengYing系统架构设计


● ChengYing系统架构


● ChengYing Agent设计

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/21122db12ccb7ca75b04db4b41638381..jpg


● 统一Schema设计

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/2a7030bb3468a1055dee1a8cc2ee966a..jpg


● 监控设计

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/a392e0027ed59872d05f444b81a24349..jpg


● 架构设计讲解

由于架构设计讲解的内容比较多,在此我们不做具体回顾,大家可以观看视频进行详细了解。

B站直播回顾地址:

https://www.bilibili.com/video/BV1Ht4y187xo?spm_id_from=333.999.0.0


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/5867a5b22fb794d29db6fc1a0f4fb93e..jpg

ChengYing快速入门


接下来为大家介绍如何快速部署ChengYing:

01

环境要求

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/d3600f57383965f606af4191b1025364..jpg


02

快速部署

下载安装包:

https://github.com/DTStack/chengying/releases/download/v1.0.0/chengying-release-1.0.tar.gz


解压安装包:

tar zxvf chengying-release-1.0.tar.gz

cd chengying-release-1.0


运行安装脚本:

sh install.sh local_ip(local_ip为Chengying所在机器ip)


查看页面:

http://local_ip

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/c1d3757dd6d236f1015af0eb2b198f01..jpg


03

上传组件安装包

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/45122d0c638edc5bb72aedbfb7e19800..jpg


04

选择集群与安装包

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/b3bcf59e445f2644631b33f426d7fe5c..jpg


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/d515896ef375ca2476a3782f6b405423..jpg


05

配置服务

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/bc28acaf441a3308e071c17ce129f173..jpg


06

执行部署

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/24effac6ed1abd2e84ee2b068fd4d2ba..jpg


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/6a3e7ad6b0bc58abd5a375cda61e9aaf..jpg

ChengYing未来规划


最后为大家介绍ChengYing的未来规划及近期主要做的事情:

未来规划

● 服务编排

支持基于主机角色与服务类型自动编排,减少人工操作成本。


● 部署方式

支持自定义部署产品包流水线顺序。


● 安全认证

支持集群开启Kerberos认证,票据生成与下载。


● 监控告警

支持基于PromQL的自定义告警设置,丰富告警类型。

近期重点事宜

  • 计划8月底发布ChengYing V1.1.0 Release。

  • 每月一次开源技术直播。

  • 与Chunjun/Taier梦幻联动--尝试使用ChengYing部署Chunjun/Taier。

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群