博客 蛟分承影,雁落忘归——袋鼠云一站式全自动化运维管家ChengYing(承影)正式开源

蛟分承影,雁落忘归——袋鼠云一站式全自动化运维管家ChengYing(承影)正式开源

   数栈君   发表于 2022-07-14 13:51  531  0

今天我们兴奋的向大家宣布一个好消息

DTstackCon新成员

袋鼠云一站式全自动化全生命周期运维管家

ChengYing(承影)

正式开源

项目地址

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/ae306ea4b382944d52f194ba0c35c934..jpg

这是继ChunJun(纯钧)、Taier(太阿)后,袋鼠云数栈大数据名剑家族开源的第三支名剑,是袋鼠云开源项目史上又一里程碑事件,代表着数栈开源技术团队对于开源的决心与努力。


►►►

蛟 分 承 影


ChengYing(承影)——承袭于袋鼠云开源项目名剑家族的概念,取自十大名剑之承影剑。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/fa05a432107c44f08b3822335a1740c1..jpg

ChengYing logo


承影铸于商朝,其出炉时两道剑光飞出,犹如蛟龙,有“蛟分承影,雁落忘归”之言,故名承影。承影为商天子佩剑,后由春秋时卫国藏剑名家孔周收藏,相传其有影无形,为气随机而动,代表着如影随形时刻守护的意义,正如ChengYing作为袋鼠云数栈的运维管家,提供大数据产品的一站式部署、运维、监控服务,为客户提供安全稳定的产品部署与监控。


►►►

缘 启 承 影


ChengYing脱胎于袋鼠云数栈自主研发的一站式运维管家EasyManager,在ChengYing正式开源之前,开源技术团队于去年先开源了一款为远程统一管理主机端Agent生命周期而设计的系统——EasyAgent,作为EasyManager的关键组件,可以实现数栈服务的安装、升级、卸载、启停和配置管理。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/96745c2f52395d62cfd68b79f4cee9fa..jpg


在EasyAgent开源后,受到了社区同学的广泛支持,与此同时社区对于EasyManager开源的呼声越发高昂,秉持着袋鼠技术人“源于开源,回馈开源”的一贯初心,数栈开源技术团队经过决定将EasyManager也就是ChengYing开源,而EasyAgent作为ChengYing Agent 重新与大家见面。


经过不懈的努力,曾经的设想终于在今天实现。ChengYing(承影)作为一站式全自动化全生命周期运维管家,提供大数据产品的一站式部署、运维、监控服务,其可实现产品部署、产品升级、版本回滚、扩缩节点、日志诊断、集群监控、实时告警等功能,致力于最大化节省运维成本,降低线上故障率与运维难度,为客户提供安全稳定的产品部署与监控。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/d1cd36477fc5d271e65f1d255d98d54e..jpg


►►►

形 自 承 影


ChengYing的logo设计沿袭十大名剑的概念,结合项目本身特性,以字母“Y”为设计主元素,融合进剑的锋利与尖锐进行设计,利用坚固的三角形去体现产品“稳定”的特性,而倒三角又体现着产品“支撑”的特性,而选择比较暗的蓝色也体现着我们“幕后”的特点。

LOGO主体以字母“Y”与六边形的几何图形组成,有完整、有组合、有分布、传达出本项目核心观念是一个全自动化生命周期的运维管家,其功能具有多样性与稳定性。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/f89f3655e5f4747afcc12e9b33cf3a73..jpg

►►►

锋 出 承 影


ChengYing作为一站式全自动化全生命周期的运维管家,具备以下六大特性:

1

自动化部署

ChengYing通过规范化的步骤和参数约定制作出产品安装包,发布包中的Schema文件中配置了安装包中所有的服务,包含各服务的配置参数、健康检查参数,服务之间的依赖关系等。产品部署时可根据Schema中的相关配置实现一键全自动化部署。


2

界面化集群运维

Hadoop集群、大数据平台在日常运维中涉及到的节点扩容缩容、组件停止启动、服务滚动重启、服务参数修改、版本升级与回滚等多种运维操作,通过逻辑化、流程化的产品界面展现,方便运维人员操作和监控,提高运维效率。


3

仪表盘集群监控

通过集成开源的prometheus和grafana,实现对集群、服务、节点的核心参数监控,并通过灵活形象的仪表盘进行数据展现。包含CPU占用率,RAM使用率、磁盘空间、I/O读写速率等核心参数进行监控,实时掌握集群、服务、节点的运行状态,降低运维故障率。同时,支持用户自建仪表盘及监控项,实现自定义监控项。


4

实时告警

支持实时监控集群中各组件服务的运行指标,如CPU、内存、磁盘、读写IO等,并支持短信、钉钉、邮件告警通道配置,集成多种第三方消息插件。当集群服务出现异常时,可触发告警条件,系统将及时通知接收人。


5

强拓展性

通过自研的ChengYing Agent Server抽象出七大REST接口,安装、启动、停止、更新、配置修改、卸载、执行等与上层应用进行交互,可使agent类别和功能可轻松无限扩展。


6

安全稳定

数据安全、产品安全是大数据产品需要重点考虑的问题。ChengYing在产品设计中过滤掉rm、drop等命令行,防止对数据库的误操作,通过更加安全的方式执行相关命令。同时提供服务的滚动重启、产品的断电重启,解决运维时服务不停止运行的场景并节省运维时间。


ChengYing操作页面

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/8daad8c8a9d11638cd35519503c0e899..jpg


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/0fcba17d9249741d205aa1db6e38baf9..jpg


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/559aaf02257b021adb4cbce5299b479a..jpg



►►►

承 影 迭 代


ChengYing是一个用于大数据产品的一站式部署、运维、监控的标准产品,可以用于企业快速搭建企业内部的大数据平台,基于现有版本已经实现的功能,未来ChengYing将会计划:


1)服务编排:支持基于主机角色与服务类型自动编排,减少人工操作成本;


2)部署方式:支持自定义部署产品包流水线顺序;


3)安全认证:支持集群开启Kerberos认证,票据生成与下载;


4)监控告警:支持基于PromQL的自定义告警设置,丰富告警类型;


5)对接外部:支持对接外部LDAP连接;


6)操作系统:支持ubuntu系统主机接入。


►►►

雁 落 忘 归


今天我们开源了ChengYing,我们知道开源不是结束,而恰恰是开始。从2018年我们开源了第一个项目开始,4年间我们先后开源了ChunJun(原FlinkX)、FlinkStreamSQL、jlogstash、EasyAgent、Doraemon、Molecule、Taier等项目,这段时间里我们不断探索技术上的突破,将最新的技术成果与大家共享,也从许多社区同学中获得颇多助益,在互助共享的氛围中与大家一同成长。


未来,我们将持续秉持“源于开源 回馈开源”的初心,继续推出ChengYing后续版本,同时我们欢迎更多的公司和个人参与到开发者队伍中来,让ChengYing社区更加健壮、健康的发展,让更多人享受开源带来的技术红利!


0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群