博客 践行DataOps数据治理新范式,袋鼠云入选《数据智能厂商全景报告》

践行DataOps数据治理新范式,袋鼠云入选《数据智能厂商全景报告》

   数栈君   发表于 2022-12-01 16:09  330  0
近日,国内领先的产业数字化研究与咨询机构爱分析发布《2022·爱分析 数据智能厂商全景报告》。袋鼠云凭借全面领先的产品实力与丰富的服务能力,分别在DataOps、数据中台、实时数据平台等数字化领域作为代表厂商强势入选。
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/1998b7a204d859562e2050eb7737c454..png

数据智能是指以数据为生产要素,通过融合大规模数据处理、数据分析与挖掘、机器学习、可视化等多种大数据和人工智能技术,从数据中提炼、发掘具有揭示性和可操作性的信息,从而为企业提供数据驱动的分析与决策。本次研究中选取了分析型数据库、数据库管理平台、实时数据平台、DataOps、数据中台、云数据平台、数据分析平台、 数据科学与机器学习平台、知识图谱平台、隐私计算平台、城市大数据平台、智能营销、安全大数据共计13个特定市场进行重点研究。本报告面向企业决策层以及数据部门、业务部门负责人,通过对各场景的需求定义和代表厂商的能力评估,为企业的数据智能基础设施及应用规划、厂商选型提供参考。
图 1:数据智能市场全景地图
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/f37ad2a327a5c71c862437e3454ac7bb..png

数据分析对企业的价值日益增长,企业内部数据分析愈加民主化;与此同时,数据分析工具如BI、机器学习、可视化、数据挖掘等多元工具的运用,以及复杂的数据用户角色如数据工程师、数据管理源、报表开发人员等,大大增加了数据开发及运维工作量以及数据应用交付的协调难度。针对数据开发,企业面临的主要需求是:
  • 实现跨部门、多角色协同。原始数据从获取、加工、就绪到产生价值的过程涉及多部门多角色协同,如数据架构师、数据工程师、数据分析师、测试工程师、数据科学家、运维工程师、数据管理员、数据分析师等,目前各角色之间目标割裂、难协同,导致数据应用开发周期长,企业需要一套工具能将多种角色组织在一起,高效协同完成数据应用开发,降低应用开发延误。

  • 提高数据质量。在数据开发过程中,常由于数据质量问题导致数据应用难使用。数据质量问题来源于多个方面,如提供数据源的业务系统没及时规范地更新表结构、数据口径不一致、数据填报不规范、以及数据存储架构调整引发数据源意外改变等,企业需要体系化地对数据全生命周期进行数据治理,保证数据质量,让数据可信。

  • 提升数据开发效率。在实际的业务系统中,数据来源多种多样,不同数据对数据处理的时延和数据量的要求不同,产生多种任务类型如离线同步、实时同步、离线计算、实时计算等,需要跨平台相互配合完成多个异构任务。因此开发人员面临大量数据流转规范、计算节点执行顺序编排等问题。此外,数据开发之后的部署上线也会花费大量时间。企业需要一体化平台管理跨平台异构数据任务开发、测试、部署上线,提高数据开发效率。

  • 简化数据运维工作。当前企业各产品应用都会有监控告警能力,比如离线任务突破基线、实时任务失败、API调用失败等,企业需要统一监控平台实现对多产品的监控、告警。

  • 保障数据安全。随着数据的民主化、数据应用的广泛使用,数据安全也成为企业重点考虑的问题。数据安全涉及到系统安全、数据安全、安全审计等,企业需要系统化的工具保证数据生命周期各个环节安全。

近年来,一种帮助企业提升数据治理质量和效率的方法论正在兴起,它就是DataOps。DataOps(数据研发运营一体化)是人、流程和技术的高效组合,用于管理代码、工具、基础架构和数据本身,从而实现数据的敏捷开发和持续集成应用,优化和改进数据生产者和数据消费者的协作,持续交付数据流生产线。
基于DataOps,企业可以实现数据利用率最大化,加快生产周期,及针对结果优化的数据管道。
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/0d2350af02b84bfa2576d48af097f233..png

袋鼠云将DataOps视为协作式数据管理的实践结果,致力于改善组织中数据管理者与使用者之间数据流的沟通、集成和自动化:
  • 支持实现数据敏捷开发。袋鼠云的产品体系已经在采集、加工、治理的核心流程上,通过版本控制、团队协同、一键发布、质量稽核、数据安全等能力实践了DataOps理念。如针对企业多种硬件环境、开发环境、发布环境、运维流程等,具备云原生、容器技术提供统一的开发、测试、运维环境;如为满足特殊数据应用的时效性,具备实时和流处理功能;针对复杂的数据类型及应用场景,具备多种分析引擎,如分布式处理引擎、离线批处理引擎等;针对数据质量,具备数据治理、数据血缘、数据标准的能力。

  • 具备丰富的实践经验,能基于DataOps理论制定合适的解决方案。一方面,数据开发运营一体化涉及数据存储、数据计算、数据开发、数据运维等数据价值链各个环节,袋鼠云具有丰富的实践经验和成熟的DataOps理论协助企业挖掘痛点、分析原因、提出合适的解决方案;另一方面,企业数据开发、运维、管理能力参差不齐,袋鼠云能够兼容、优化企业现有数据开发、运维、管理功能及能力,针对缺失、薄弱的环节进行定制化开发,实现数据开发运营一体化。
目前,袋鼠云依托顶尖技术团队和丰富的业务场景,自主研发出多个高效数据方案,包括数据智能分析与洞察平台“数雁EasyDigit”、低代码数字孪生平台EasyV、一站式大数据开发与治理平台“数栈DTinsight”和极速湖仓引擎“数驹DTengine”等,提供从数据分析与洞察、数据可视化、数据治理、数据服务、数据计算、数据存储等全链路产品服务。
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/113c529435b1ec4d4fc30bd97ab3a296..png

感谢爱分析对袋鼠云数字化服务能力的认可与肯定,袋鼠云将会继续坚持初心和使命,投身数字化浪潮,以数字化赋能行业高效协同、联动解决数据应用问题,让数字化产品惠及数字经济社会的每一个角落。
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack/Taier
0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群