数据开发

数据开发

基于数据中台的大数据治理,企业数字化建设三范式

最佳实践数栈君 发表了文章 • 0 个评论 • 22 次浏览 • 2023-01-11 17:14 • 来自相关话题

笔者的职业生涯是从研发岗位开始的,其中有段时间迷恋《java与模式》这本书,闫宏博士提出的设计模式三定律一直对我触动很大,三定律不但阐述了所有设计模式的核心思想,后续的各种模式也都是在这三个定律的基础上展开和延伸。笔者在进行企业数据化建设的过程中,也遇到了很多... ...查看全部

企业数字化转型认知:数据就是生产力

最佳实践数栈君 发表了文章 • 0 个评论 • 25 次浏览 • 2023-01-11 16:50 • 来自相关话题

数据就是生产力。笔者两年前在袋鼠云做的国内某省一个交警项目上,面对着海量的车辆轨迹数据时,第一次感受到什么是数据的力量。该项目是一个非常典型的数据中台项目,主要数据资源有:省内机动车辆数据、驾驶员数据、交通违章数据、公安系统等相关数据。核心数据是通过摄像头识别... ...查看全部

基于数据中台的大数据治理,某省交警基于行车轨迹构建车辆画像应用案例

最佳实践数栈君 发表了文章 • 0 个评论 • 26 次浏览 • 2023-01-11 16:47 • 来自相关话题

随着我国经济的快速发展,居民收入的大幅提升,我国居民的汽车拥有量持续稳步高速增长, 预计2019年我国汽车保有量将超美国,成为世界第一,达到2.5亿辆左右,这一方面极大地提高了我国居民的生活品质,让出行或出游更舒适和丰富多彩;但同时汽车的增加也给传统的社会管理... ...查看全部

基于数据中台的大数据治理,,某知名鞋服企业基于画像体系的产品设计

最佳实践数栈君 发表了文章 • 0 个评论 • 23 次浏览 • 2023-01-11 16:38 • 来自相关话题

新零售时代来临,逐步升级的消费需求推动行业整体业务与技术形态不断变化,品牌商面临愈加复杂、瞬息万变的市场环境。对于某知名运动型鞋服企业来说,每季度都要设计大量新品来满足日新月异的市场需求。然而,运动类鞋服的消费主角——90后、00后们对产品有更加个性化的需求,... ...查看全部

基于数据中台的大数据治理,赋能烟草营销数字化转型

最佳实践数栈君 发表了文章 • 0 个评论 • 33 次浏览 • 2023-01-11 15:15 • 来自相关话题

数字经济时代,云计算、大数据、物联网等技术加速实体经济与数字技术的深度融合,为烟草行业带来了全新的想象空间,也对烟草企业提出了新的挑战。该如何把大数据技术融入业务,建立起适应当下时代的营销体系,成为烟草企业亟待解决的关键问题之一。烟草行业营销与一般的商业营销的... ...查看全部

袋鼠云与石原子达成战略合作,携手推出一站式、全链路联合解决方案

公司动态数栈君 发表了文章 • 0 个评论 • 24 次浏览 • 2023-01-10 16:35 • 来自相关话题

1月9日,全链路数字化技术与服务提供商袋鼠云与全场景数据分析服务提供商石原子正式达成战略合作,并于袋鼠云总部举行签约仪式。石原子解决方案部总经理 祁国辉,袋鼠云生态总经理 闵佳等双方代表出席了签约仪式。袋鼠云 闵佳(左)、石原子 祁国辉(右)代表签约在数字经济... ...查看全部

聊聊云原生大数据平台(九)——大数据平台建设

技术共享数栈君 发表了文章 • 0 个评论 • 33 次浏览 • 2023-01-10 14:30 • 来自相关话题

数据平台建设10.1 业务价值最后值得一提的是,复杂的云数据平台建设不能仅仅是从技术角度出发去推动的。必须从业务(商业)的目标出发来发起和规划整个项目。数据平台的典型价值包括:节流,提升业务运营效率,节约资产投入和各类运维成本。开源,支撑营销优化,客户体验优化... ...查看全部

聊聊云原生大数据平台(八)——数仓最佳实践

技术共享数栈君 发表了文章 • 0 个评论 • 33 次浏览 • 2023-01-10 14:03 • 来自相关话题

最佳实践9.1 数据分层我们在建设企业数仓体系时,一般会遵循一些经典的最佳实践,例如关于数据表模型,有星型模型和雪花模型等设计方式;从数据的流转过程来看,有非常经典的数仓分层模式:数仓分层在云数据平台,我们也可以借鉴这方面的思路。例如 Databricks 设... ...查看全部

聊聊云原生大数据平台(七)——流程编排与 ETL

技术共享数栈君 发表了文章 • 0 个评论 • 51 次浏览 • 2023-01-10 14:00 • 来自相关话题

流程编排与 ETL8.1 流程编排传统数仓架构中,编排工具也是极其重要的一环,在云数据平台中,相关的 pipeline 流程执行调度会更加的繁多复杂。例如我们需要通过定时或 API 的方式来触发数据获取的流程,并在之后进行各种级联任务的触发和调度运行。在任务执... ...查看全部

聊聊云原生大数据平台(三)——数据存储

技术共享数栈君 发表了文章 • 0 个评论 • 31 次浏览 • 2023-01-09 15:03 • 来自相关话题

数据存储在进行数据获取后,就需要把数据保存到平台存储中。在前面的数据平台架构图中,我们看到作者把存储分成了 fast,slow 两块:快慢存储4.1 Slow Storage这个 slow storage 相对比较好理解,在数仓时代就是 warehouse 系... ...查看全部

DAG任务调度系统 Taier 演进之道,探究DataSourceX 模块

Taier数栈君 发表了文章 • 0 个评论 • 55 次浏览 • 2022-12-28 13:41 • 来自相关话题

熟悉Taier的小伙伴们应该都知道,在11月7日发布的Taier1.3新版本中,我们融合了「DataSourceX 模块」。这是十分重要的一个变化,移除Taier外部插件依赖,新增数据源插件相关特性,支持后续Taier对接更多的RDBMS类型的SQL任务。本篇... ...查看全部

袋鼠云数据湖平台「DataLake」,存储全量数据,打造数字底座

产品交流小美 发表了文章 • 0 个评论 • 132 次浏览 • 2022-11-25 11:39 • 来自相关话题

一、什么是数据湖?在探讨数据湖技术或如何构建数据湖之前,我们需要先明确,什么是数据湖?数据湖的起源,应该追溯到 2010 年 10 月。基于对半结构化、非结构化存储的需求,同时为了推广自家的 Pentaho 产品以及 Hadoop,2010 年 Pentaho... ...查看全部

致谢每一位ChunJun Contributor!这里有一份礼物等你领取!

ChunJun数栈君 发表了文章 • 0 个评论 • 114 次浏览 • 2022-11-15 15:05 • 来自相关话题

作为一个批流统一的数据集成框架,秉承着易用、稳定、高效的目标,ChunJun于2018年4月29日在Github上将内核源码正式开放。从还被叫作FlinkX,写下第一行代码开始,ChunJun已经走过了第六个年头,经历了从分布式离线/实时数据同步插件,晋级为批... ...查看全部

数据管理平台和数据开发平台的区别是什么?

回复

数据中台匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 39 次浏览 • 2022-12-19 15:17 • 来自相关话题

基于数据中台的大数据治理,企业数字化建设三范式

最佳实践数栈君 发表了文章 • 0 个评论 • 22 次浏览 • 2023-01-11 17:14 • 来自相关话题

笔者的职业生涯是从研发岗位开始的,其中有段时间迷恋《java与模式》这本书,闫宏博士提出的设计模式三定律一直对我触动很大,三定律不但阐述了所有设计模式的核心思想,后续的各种模式也都是在这三个定律的基础上展开和延伸。笔者在进行企业数据化建设的过程中,也遇到了很多... ...查看全部

企业数字化转型认知:数据就是生产力

最佳实践数栈君 发表了文章 • 0 个评论 • 25 次浏览 • 2023-01-11 16:50 • 来自相关话题

数据就是生产力。笔者两年前在袋鼠云做的国内某省一个交警项目上,面对着海量的车辆轨迹数据时,第一次感受到什么是数据的力量。该项目是一个非常典型的数据中台项目,主要数据资源有:省内机动车辆数据、驾驶员数据、交通违章数据、公安系统等相关数据。核心数据是通过摄像头识别... ...查看全部

基于数据中台的大数据治理,某省交警基于行车轨迹构建车辆画像应用案例

最佳实践数栈君 发表了文章 • 0 个评论 • 26 次浏览 • 2023-01-11 16:47 • 来自相关话题

随着我国经济的快速发展,居民收入的大幅提升,我国居民的汽车拥有量持续稳步高速增长, 预计2019年我国汽车保有量将超美国,成为世界第一,达到2.5亿辆左右,这一方面极大地提高了我国居民的生活品质,让出行或出游更舒适和丰富多彩;但同时汽车的增加也给传统的社会管理... ...查看全部

基于数据中台的大数据治理,,某知名鞋服企业基于画像体系的产品设计

最佳实践数栈君 发表了文章 • 0 个评论 • 23 次浏览 • 2023-01-11 16:38 • 来自相关话题

新零售时代来临,逐步升级的消费需求推动行业整体业务与技术形态不断变化,品牌商面临愈加复杂、瞬息万变的市场环境。对于某知名运动型鞋服企业来说,每季度都要设计大量新品来满足日新月异的市场需求。然而,运动类鞋服的消费主角——90后、00后们对产品有更加个性化的需求,... ...查看全部

基于数据中台的大数据治理,赋能烟草营销数字化转型

最佳实践数栈君 发表了文章 • 0 个评论 • 33 次浏览 • 2023-01-11 15:15 • 来自相关话题

数字经济时代,云计算、大数据、物联网等技术加速实体经济与数字技术的深度融合,为烟草行业带来了全新的想象空间,也对烟草企业提出了新的挑战。该如何把大数据技术融入业务,建立起适应当下时代的营销体系,成为烟草企业亟待解决的关键问题之一。烟草行业营销与一般的商业营销的... ...查看全部

袋鼠云与石原子达成战略合作,携手推出一站式、全链路联合解决方案

公司动态数栈君 发表了文章 • 0 个评论 • 24 次浏览 • 2023-01-10 16:35 • 来自相关话题

1月9日,全链路数字化技术与服务提供商袋鼠云与全场景数据分析服务提供商石原子正式达成战略合作,并于袋鼠云总部举行签约仪式。石原子解决方案部总经理 祁国辉,袋鼠云生态总经理 闵佳等双方代表出席了签约仪式。袋鼠云 闵佳(左)、石原子 祁国辉(右)代表签约在数字经济... ...查看全部

聊聊云原生大数据平台(九)——大数据平台建设

技术共享数栈君 发表了文章 • 0 个评论 • 33 次浏览 • 2023-01-10 14:30 • 来自相关话题

数据平台建设10.1 业务价值最后值得一提的是,复杂的云数据平台建设不能仅仅是从技术角度出发去推动的。必须从业务(商业)的目标出发来发起和规划整个项目。数据平台的典型价值包括:节流,提升业务运营效率,节约资产投入和各类运维成本。开源,支撑营销优化,客户体验优化... ...查看全部

聊聊云原生大数据平台(八)——数仓最佳实践

技术共享数栈君 发表了文章 • 0 个评论 • 33 次浏览 • 2023-01-10 14:03 • 来自相关话题

最佳实践9.1 数据分层我们在建设企业数仓体系时,一般会遵循一些经典的最佳实践,例如关于数据表模型,有星型模型和雪花模型等设计方式;从数据的流转过程来看,有非常经典的数仓分层模式:数仓分层在云数据平台,我们也可以借鉴这方面的思路。例如 Databricks 设... ...查看全部

聊聊云原生大数据平台(七)——流程编排与 ETL

技术共享数栈君 发表了文章 • 0 个评论 • 51 次浏览 • 2023-01-10 14:00 • 来自相关话题

流程编排与 ETL8.1 流程编排传统数仓架构中,编排工具也是极其重要的一环,在云数据平台中,相关的 pipeline 流程执行调度会更加的繁多复杂。例如我们需要通过定时或 API 的方式来触发数据获取的流程,并在之后进行各种级联任务的触发和调度运行。在任务执... ...查看全部

聊聊云原生大数据平台(三)——数据存储

技术共享数栈君 发表了文章 • 0 个评论 • 31 次浏览 • 2023-01-09 15:03 • 来自相关话题

数据存储在进行数据获取后,就需要把数据保存到平台存储中。在前面的数据平台架构图中,我们看到作者把存储分成了 fast,slow 两块:快慢存储4.1 Slow Storage这个 slow storage 相对比较好理解,在数仓时代就是 warehouse 系... ...查看全部