数据中台数据中台
申请试用
数驹DTengine
极速湖仓引擎
数驹(DTengine) , 是袋鼠云研发的自主可控的极速湖仓引擎,包含提供服务部署和监控的EasyMR ,以及高效计算和管理的数据湖DataLake,助力用户快速构建一个安全、稳定、高效的流批一体数据湖计算平台,实现海量的数据分析查询,帮助企业快速发掘和洞察数据价值
产品优势
核心技术
应用场景
产品架构
产品优势
高性能联邦查询
内置多种数据连接器,并在开源基础上提供更高效的索引结构,极大提高了数据的跨源联合分析查询能力,可快速完成各类分析需求,带来极致的交互式数据分析体验
一站式服务,开箱即用
基于EasyMR的可视化安装快速构建数据湖平台, 提供丰富的数据入湖和管理能力,降低使用及管理成本,让高效的数据湖服务立马可见
流批一体分析
基于数据存储层的统一逻辑,支持流和批的一体化分析,一套架构同时满足流批业务操作,降低学习、使用、维护成本
高效数据入湖
通过⾃研批流⼀体数据集成框架ChunJun,可视化的形式配置任务,将外部数据高效入湖,让数据具备更高的新鲜度;同时也可对已有表hive结构进行快速扫描,一键生成湖表信息,节省10x倍数据的传输时间和50%磁盘空间
自主可控,安全保障
以LDAP+Kerberos+Ranger为基座,构建牢固完善的数据访问安全体系,并提供细粒度的权限控制,为企业数据安全保驾护航
兼容并蓄,优化提升
针对Spark、Flink、 Trino 等组件进行了深度的优化加速,在保持开源特性的基础上拥有更好的性能和更低的资源消耗
核心技术
统一元数据管理
基于数据中间层的抽象,将多个数据源的表结构进行统一管理,并在业务层统一展示,降低业务开发对元数据的理解难度
全链路数据还原
基于数据源CDC采集, 不仅支持DML变更,同时对DDL变更进行监控,将上游数据完整的还原到下游目标表
多种底层存储
在单个查询中支持访问来自多个系统的数据。例如,将存储在 S3 对象存储中的历史日志数据与存储在 MySQL 关系数据库中的客户数据连接起来
通用软件部署
对软件部署、运行、运维时所需的配置、脚本、动作进行抽象,转化为通用Schema,根据Schema制作出可一键自动化部署的产品安装包
服务异常状态智能恢复
使用Node Exporter、Java Agent以及自定义指标采集工具对服务进行全方位的监控,对服务的监控指标进行二次加工,抽象出服务运行状态,对异常状态添加自动触发事件,处理异常服务,使服务状态恢复正常
应用场景
产品架构
此刻起,和袋鼠云一起让数据产生更大价值