离线数仓

离线数仓

大数据-229 离线数仓 - ODS层的构建 Hive处理 JSON 数据处理 结构化

网友分享数栈君 发表了文章 • 0 个评论 • 38 次浏览 • 2025-01-10 10:11 • 来自相关话题

章节内容上节我们完成了如下的内容:·自定义拦截器(续接上节) 编写代码·日志采集小结整体结构ODS层ODS的定义ODS是一种面向操作层的数据存储,专注于支持企业的日常运营。它通常整合了来自不同数据源(如ERP、CRM、销售系统等)的数据,通过清洗、转换后存储,... ...查看全部

离线开发平台丨袋鼠云产品功能更新报告10期

产品交流数栈君 发表了文章 • 0 个评论 • 1089 次浏览 • 2024-06-06 11:14 • 来自相关话题

新增功能更新1.调度周期为自定义调度日期时,支持在任务中灵活设置天、时、分钟三种调度模式  新增功能说明  背景:目前任务选择自定义调度周期时,仅可设置天调度实例的执行时间,无法根据自定义调度日历再去设置小时、分钟调度,没办法灵活地满足客户的使用场景。新增功能... ...查看全部

从零开始搭建Doris分析平台:实战部署与数据导入教程

知识百科数栈君 发表了文章 • 0 个评论 • 419 次浏览 • 2024-04-10 17:12 • 来自相关话题

Doris vs 其他OLAP系统:功能比较与选型建议

知识百科数栈君 发表了文章 • 0 个评论 • 363 次浏览 • 2024-04-10 17:12 • 来自相关话题

Doris集群运维指南:配置、监控与故障排查全攻略

知识百科数栈君 发表了文章 • 0 个评论 • 503 次浏览 • 2024-04-10 17:12 • 来自相关话题

智能索引与查询优化:探讨Doris的高性能查询实现机制

知识百科数栈君 发表了文章 • 0 个评论 • 280 次浏览 • 2024-04-10 17:11 • 来自相关话题

深入理解Doris架构:MPP技术如何驱动实时BI查询效率飞跃

知识百科数栈君 发表了文章 • 0 个评论 • 280 次浏览 • 2024-04-10 17:11 • 来自相关话题

Apache Doris在金融行业实时报表生成系统的应用实践

知识百科数栈君 发表了文章 • 0 个评论 • 466 次浏览 • 2024-04-10 17:10 • 来自相关话题

在金融行业中,信息的时效性和准确性对于决策制定、风险控制和业务运营至关重要。实时报表生成系统作为金融机构的核心工具,能够即时呈现业务数据的最新状态,帮助决策者快速响应市场变化,有效管控风险,提升运营效率。Apache Doris作为一款高效、易用且高度可扩展的... ...查看全部

高效构建实时数据仓库:Doris在海量数据处理中的成功案例

知识百科数栈君 发表了文章 • 0 个评论 • 544 次浏览 • 2024-04-10 17:10 • 来自相关话题

在当今大数据时代,企业对数据处理的需求日益增强,尤其是在实时数据分析领域,能够快速响应、精准决策显得尤为重要。Apache Doris作为一款优秀的MPP数据库,凭借其实时更新、亚秒级查询延迟以及易于使用的特性,在海量数据处理中展现出卓越效能,成功帮助企业构建... ...查看全部

从Palo到Apache Doris:开源分布式数据仓库的演进之路

知识百科数栈君 发表了文章 • 0 个评论 • 305 次浏览 • 2024-04-10 17:00 • 来自相关话题

离线开发平台丨袋鼠云产品功能更新报告10期

产品交流数栈君 发表了文章 • 0 个评论 • 1089 次浏览 • 2024-06-06 11:14 • 来自相关话题

新增功能更新1.调度周期为自定义调度日期时,支持在任务中灵活设置天、时、分钟三种调度模式  新增功能说明  背景:目前任务选择自定义调度周期时,仅可设置天调度实例的执行时间,无法根据自定义调度日历再去设置小时、分钟调度,没办法灵活地满足客户的使用场景。新增功能... ...查看全部

数据开发提效有秘诀!离线开发BatchWorks 六大典型场景拆解

产品交流数栈君 发表了文章 • 0 个评论 • 755 次浏览 • 2023-04-12 10:25 • 来自相关话题

回顾大数据的发展历程,一句话概括就是海量数据的高效处理。在当今快节奏、不断变化的市场环境下,优秀的开发效率已经成为企业数字化转型的必备条件。数栈离线开发BatchWorks 是一款专注离线数据ELT开发的产品,采用先进的大数据生态底层技术,具备高性能且功能丰富... ...查看全部

袋鼠云数栈离线开发平台在小文件治理上的探索实践之路

产品交流数栈君 发表了文章 • 0 个评论 • 820 次浏览 • 2023-03-29 11:23 • 来自相关话题

日常生产中 HDFS 上小文件产生是一个很正常的事情,同时小文件也是 Hadoop 集群运维中的常见挑战,尤其对于大规模运行的集群来说可谓至关重要。数据地图是离线开发产品的基本使用单位,包含全部表和项目的相关信息,可以对表做相关的权限管理和脱敏管理操作,以及可... ...查看全部

银行业务暴增数据难支撑、难溯源、难协同?离线开发有妙招

网友分享数栈君 发表了文章 • 0 个评论 • 1240 次浏览 • 2021-11-26 16:33 • 来自相关话题

近年来,银行业的数据规模呈指数级增长趋势,以大数据为驱动,探索多元化业务新增长模式,深入推进业务模式数字化转型,已成为银行业的共识。以袋鼠云在助力金融行业数字化转型的过程中,所接触到的某银行客户A为例,该企业在数字化建设方面做了很多积极探索。自建的大数据平台使... ...查看全部

大数据-229 离线数仓 - ODS层的构建 Hive处理 JSON 数据处理 结构化

网友分享数栈君 发表了文章 • 0 个评论 • 38 次浏览 • 2025-01-10 10:11 • 来自相关话题

章节内容上节我们完成了如下的内容:·自定义拦截器(续接上节) 编写代码·日志采集小结整体结构ODS层ODS的定义ODS是一种面向操作层的数据存储,专注于支持企业的日常运营。它通常整合了来自不同数据源(如ERP、CRM、销售系统等)的数据,通过清洗、转换后存储,... ...查看全部

离线开发平台丨袋鼠云产品功能更新报告10期

产品交流数栈君 发表了文章 • 0 个评论 • 1089 次浏览 • 2024-06-06 11:14 • 来自相关话题

新增功能更新1.调度周期为自定义调度日期时,支持在任务中灵活设置天、时、分钟三种调度模式  新增功能说明  背景:目前任务选择自定义调度周期时,仅可设置天调度实例的执行时间,无法根据自定义调度日历再去设置小时、分钟调度,没办法灵活地满足客户的使用场景。新增功能... ...查看全部

从零开始搭建Doris分析平台:实战部署与数据导入教程

知识百科数栈君 发表了文章 • 0 个评论 • 419 次浏览 • 2024-04-10 17:12 • 来自相关话题

Doris vs 其他OLAP系统:功能比较与选型建议

知识百科数栈君 发表了文章 • 0 个评论 • 363 次浏览 • 2024-04-10 17:12 • 来自相关话题

Doris集群运维指南:配置、监控与故障排查全攻略

知识百科数栈君 发表了文章 • 0 个评论 • 503 次浏览 • 2024-04-10 17:12 • 来自相关话题

智能索引与查询优化:探讨Doris的高性能查询实现机制

知识百科数栈君 发表了文章 • 0 个评论 • 280 次浏览 • 2024-04-10 17:11 • 来自相关话题

深入理解Doris架构:MPP技术如何驱动实时BI查询效率飞跃

知识百科数栈君 发表了文章 • 0 个评论 • 280 次浏览 • 2024-04-10 17:11 • 来自相关话题

Apache Doris在金融行业实时报表生成系统的应用实践

知识百科数栈君 发表了文章 • 0 个评论 • 466 次浏览 • 2024-04-10 17:10 • 来自相关话题

在金融行业中,信息的时效性和准确性对于决策制定、风险控制和业务运营至关重要。实时报表生成系统作为金融机构的核心工具,能够即时呈现业务数据的最新状态,帮助决策者快速响应市场变化,有效管控风险,提升运营效率。Apache Doris作为一款高效、易用且高度可扩展的... ...查看全部

高效构建实时数据仓库:Doris在海量数据处理中的成功案例

知识百科数栈君 发表了文章 • 0 个评论 • 544 次浏览 • 2024-04-10 17:10 • 来自相关话题

在当今大数据时代,企业对数据处理的需求日益增强,尤其是在实时数据分析领域,能够快速响应、精准决策显得尤为重要。Apache Doris作为一款优秀的MPP数据库,凭借其实时更新、亚秒级查询延迟以及易于使用的特性,在海量数据处理中展现出卓越效能,成功帮助企业构建... ...查看全部

从Palo到Apache Doris:开源分布式数据仓库的演进之路

知识百科数栈君 发表了文章 • 0 个评论 • 305 次浏览 • 2024-04-10 17:00 • 来自相关话题