业务痛点
1.缺少统一的开发工具:没有配套的数据抽取、任务调度、数据开发/运维等工具,完全基于开源组件搭建,搭建/运维成本很高,且各个组件彼此割裂,不能起到协同作用。
2.缺少实时数据备份工具:客户有多张MySQL大表,没有增量标识等信息,无法定时抽取,有实时备份到Hive表的需求。
3.数据管理混乱:客户内部的多位开发人员同时进行数仓建设、数据提取,没有统一的数据管理工具,只能依靠传统的线下共享数据字典的模式,无法自动更新,管理效率低。
解决方案
1.离线开发平台:完整覆盖离线开发场景的数据采集、任务开发、周期调度、任务运维,客户内部的开发团队仅需在离线开发平台上即可完成全链路操作,大幅提高了开发效率和需求响应能力。
2.实时采集:基于实时开发平台的实时采集模块,基于MySQL Binlog机制,自动完成采集、解析、转换,并基于MySQL表信息自动创建Hive表并自动存储,支持textfile、orc等多种存储格式。
3.一站式数据管理:离线开发平台天然集成数据管理模块,在开发阶段,为数据开发工程师提供元数据、血缘信息的参考,在数据管理阶段,自动化形成一站式的数据管理平台,支持元数据管理、血缘关系自动解析、生命周期管理、数据类目管理等。
客户收益
1.形成统一完善的数据开发平台,一站式的完成数据抽取、数据开发、任务运维/告警等,客户无需关注底层组件的复杂性,通过离线数据开发平台可快速提高开发效率,缩短数据响应周期。
2.对部分MySQL表实时备份到Hive表,减轻源库压力。经清洗处理后汇入统一数据仓库,构建更加完整的数据分析。
3.搭建数栈一站式数据管理平台,元数据、血缘关系等信息实现自动化管理,提高数据查找、数据管理效率,为后面的数据标准化建设打好基础。
客户简介
行业:零售
简介:达摩网络成立于2015年2月,总部位于杭州。是一家全渠道数字化经营服务系统解决方案供应商。旗下核心产品GIC是集会员管理、员工管理、商品管理,数据分析于一体的全新客户管理系统。
使用产品