数据中台

数据中台

Zookeeper是什么,它有什么特性与使用场景?

网友分享数栈君 发表了文章 • 0 个评论 • 5 次浏览 • 9 小时前 • 来自相关话题

面试官:呵呵、那你先说一说Zookeeper是什么吧我:ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,主要为了解决分布式架构下数据一致性问题,典型的应用场景有分布式配置中心、分布式注册中心、分布式锁、分布式队列、集群选举、分布式屏障、发布... ...查看全部

一份配置轻松搞定表单渲染,配置式表单渲染器在袋鼠云的实现思路与实践

网友分享数栈君 发表了文章 • 0 个评论 • 6 次浏览 • 9 小时前 • 来自相关话题

前段时间,袋鼠云离线开发产品接到改造数据同步表单的需求。 一方面,数据同步模块的代码可读性和可维护性较差,导致在数据同步模块开发新功能和定位问题的效率很低。另一方面,整体规划上,希望在对接新的数据源时,可以不再关心表单渲染相关问题,从数据源中心新建数据源一直到... ...查看全部

kettle知识点系列之kettle的循环模式

知识百科数栈君 发表了文章 • 0 个评论 • 3 次浏览 • 9 小时前 • 来自相关话题

RabbitMQ的五种消息类型介绍

知识百科数栈君 发表了文章 • 0 个评论 • 5 次浏览 • 9 小时前 • 来自相关话题

如何成功实施一个数据治理项目

知识百科数栈君 发表了文章 • 0 个评论 • 4 次浏览 • 9 小时前 • 来自相关话题

数据质量(DQ)

知识百科数栈君 发表了文章 • 0 个评论 • 6 次浏览 • 1 天前 • 来自相关话题

Eureka 心跳和服务续约源码探秘——图解、源码级解析

知识百科数栈君 发表了文章 • 0 个评论 • 6 次浏览 • 1 天前 • 来自相关话题

内网穿透实现在外远程连接RabbitMQ服务

知识百科数栈君 发表了文章 • 0 个评论 • 14 次浏览 • 1 天前 • 来自相关话题

【大数据hive】hive视图与物化视图使用详解

网友分享数栈君 发表了文章 • 0 个评论 • 7 次浏览 • 1 天前 • 来自相关话题

一、hive中的视图使用过mysql视图的同学对视图的概念应该不陌生,视图就是一种虚拟表,可以临时存储查询的数据,hive中也提供了视图,hive中的视图具有下面的特点:Hive中的视图(view)是一种虚拟表,只保存定义,不实际存储数据;通常从真实的物理表查... ...查看全部

【Redis系列】Redis布隆过滤之8亿大数据集实战

网友分享数栈君 发表了文章 • 0 个评论 • 7 次浏览 • 1 天前 • 来自相关话题

1 问题描述接到一个优化场景:小程序用户的openid作为最主要的业务查询字段,在做了缓存设计之后仍有非常高频的查询,通过埋点简单统计约在每日1000w次。其中:由于有新增用户,新增矩阵小程序等原因导致请求的openid根本不存在MySQL数据库中,这部分统计... ...查看全部

Apache Hudi 在袋鼠云数据湖平台的设计与实践

产品交流数栈君 发表了文章 • 0 个评论 • 33 次浏览 • 2023-05-26 16:38 • 来自相关话题

在大数据处理中,实时数据分析是一个重要的需求。随着数据量的不断增长,对于实时分析的挑战也在不断加大,传统的批处理方式已经不能满足实时数据处理的需求,需要一种更加高效的技术来解决这个问题。Apache Hudi(Hadoop Upserts Deletes an... ...查看全部

袋鼠云数栈V6.0全新产品矩阵发布,大数据计算引擎 EasyMR 焕新升级

产品交流数栈君 发表了文章 • 0 个评论 • 63 次浏览 • 2023-04-27 11:43 • 来自相关话题

4月20日,袋鼠云成功举行了以“数实融合,韧性生长”为主题的2023春季生长大会。会上,袋鼠云自主研发的一站式大数据基础软件——数栈V6.0产品矩阵全新发布。对旗下大数据基础平台、大数据开发与治理、数据智能分析与洞察三大模块的全线产品进行全新升级,并重点发布了... ...查看全部

数据开发提效有秘诀!离线开发BatchWorks 六大典型场景拆解

产品交流数栈君 发表了文章 • 0 个评论 • 96 次浏览 • 2023-04-12 10:25 • 来自相关话题

回顾大数据的发展历程,一句话概括就是海量数据的高效处理。在当今快节奏、不断变化的市场环境下,优秀的开发效率已经成为企业数字化转型的必备条件。数栈离线开发BatchWorks 是一款专注离线数据ELT开发的产品,采用先进的大数据生态底层技术,具备高性能且功能丰富... ...查看全部

4月20日 云上见 | 袋鼠云春季生长大会官宣预告

活动动态数栈君 发表了文章 • 0 个评论 • 82 次浏览 • 2023-04-07 15:33 • 来自相关话题

如今,数字经济正逐步走向深化应用、规范发展、普惠共享的新阶段,数字经济和实体经济深度融合。在这个万物生长的季节,袋鼠云将举办春季生长大会,推出数实融合趋势下的最新产品发布、行业沉淀以及最佳实践,敬请期待!想要了解更多欢迎扫码预约锁定席位4月20日 不见不散↓↓... ...查看全部

详解 Flink Catalog 在 ChunJun 中的实践之路

ChunJun数栈君 发表了文章 • 0 个评论 • 104 次浏览 • 2023-04-06 17:54 • 来自相关话题

我们知道 Flink 有Table(表)、View(视图)、Function(函数/算子)、Database(数据库)的概念,相对于这些耳熟能详的概念,Flink 里还有一个 Catalog(目录) 的概念。本文将为大家带来 Flink Catalog 的介绍... ...查看全部

飞跃计划 | 众兴华易与袋鼠云达成战略合作,携手推动政企数字化转型

公司动态数栈君 发表了文章 • 0 个评论 • 161 次浏览 • 2023-04-04 10:27 • 来自相关话题

140页深度干货,囊括15个典型成功案例,覆盖金融、集团、政务、制造、港口5大行业,全书从方法论到实践全面解码数据治理,开辟数据治理新范式,丰富内容可免费获取! 免费获取链接:https://fs80.cn/4w2atu近日,袋鼠云与江苏众兴华易数字科技有限公... ...查看全部

袋鼠云数栈离线开发平台在小文件治理上的探索实践之路

产品交流数栈君 发表了文章 • 0 个评论 • 90 次浏览 • 2023-03-29 11:23 • 来自相关话题

日常生产中 HDFS 上小文件产生是一个很正常的事情,同时小文件也是 Hadoop 集群运维中的常见挑战,尤其对于大规模运行的集群来说可谓至关重要。数据地图是离线开发产品的基本使用单位,包含全部表和项目的相关信息,可以对表做相关的权限管理和脱敏管理操作,以及可... ...查看全部

大数据计算引擎 EasyMR:拥抱开源,引领技术创新

产品交流小美 发表了文章 • 0 个评论 • 116 次浏览 • 2023-03-22 10:12 • 来自相关话题

140页深度干货,囊括15个典型成功案例,覆盖金融、集团、政务、制造、港口5大行业,全书从方法论到实践全面解码数据治理,开辟数据治理新范式,丰富内容可免费获取!免费获取链接:https://fs80.cn/4w2atu身处数字经济时代,随着大数据应用越来越广泛... ...查看全部

飞跃计划 | 同花顺业务线总经理李振科一行来访袋鼠云,探讨深度合作模式

公司动态小美 发表了文章 • 0 个评论 • 88 次浏览 • 2023-03-22 10:09 • 来自相关话题

140页深度干货,囊括15个典型成功案例,覆盖金融、集团、政务、制造、港口5大行业,全书从方法论到实践全面解码数据治理,开辟数据治理新范式,丰富内容可免费获取! 免费获取链接:https://fs80.cn/4w2atu近日,杭州同花顺数据开发有限公司(以下简... ...查看全部

数据湖选型指南:Hudi vs Iceberg 数据更新能力深度对比

产品交流数栈君 发表了文章 • 0 个评论 • 183 次浏览 • 2023-03-17 13:43 • 来自相关话题

数据湖作为新一代大数据基础设施,近年来持续火热,许多前线的同学都在讨论数据湖应该怎么建,许多企业也都在构建或者计划构建自己的数据湖。基于此,自然引发了许多关于数据湖选型的讨论和探究。但是经过搜索之后我们发现,网上现存的很多内容都是基于较早之前的开源信息做出的结... ...查看全部

产品支持的部署模式有哪些?

回复

产品交流数栈君 回复了问题 • 1 人关注 • 1 个回复 • 53 次浏览 • 2023-05-08 17:14 • 来自相关话题

大佬们好,弱弱问下,如果sink和source字段不一致,我该怎么通过名称做映射,去配置chunjun的json啊

回复

Taier匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 52 次浏览 • 2023-03-28 11:38 • 来自相关话题

这个是什么问题呀?这玩意每天晚上扫描整个磁盘建索引

回复

Taier匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 57 次浏览 • 2023-03-16 13:54 • 来自相关话题

Taier是不是这里有问题,普罗米修斯没有配置成功

回复

Taier匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 66 次浏览 • 2023-03-13 16:23 • 来自相关话题

大佬,请教下,我用周期实例跑增量任务,但是实际效果还是全量追加的形式,请问是还需要怎么配置吗?

回复

Taier匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 64 次浏览 • 2023-03-13 16:22 • 来自相关话题

请问有人在配置sftp的时候遇到这个问题吗?taier的版本是1.3.0

回复

Taier群内解答 回复了问题 • 1 人关注 • 3 个回复 • 79 次浏览 • 2023-03-13 16:21 • 来自相关话题

源端如果是一个多表联合查询的sql,来进行数据同步,这种源端插件应该怎么传参呢?

回复

ChunJun数栈君 发起了问题 • 1 人关注 • 0 个回复 • 80 次浏览 • 2023-02-21 19:36 • 来自相关话题

有没有chunjun on k8s application模式的 启动命令呀

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 93 次浏览 • 2023-02-20 18:54 • 来自相关话题

我创建了greenplum数据源,但是任务类型里面也没有greenplum_sql类型的任务可选,这块功能是不是还未实现呢

回复

Taier群内解答 回复了问题 • 1 人关注 • 2 个回复 • 102 次浏览 • 2023-02-15 13:51 • 来自相关话题

Zookeeper是什么,它有什么特性与使用场景?

网友分享数栈君 发表了文章 • 0 个评论 • 5 次浏览 • 9 小时前 • 来自相关话题

面试官:呵呵、那你先说一说Zookeeper是什么吧我:ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,主要为了解决分布式架构下数据一致性问题,典型的应用场景有分布式配置中心、分布式注册中心、分布式锁、分布式队列、集群选举、分布式屏障、发布... ...查看全部

一份配置轻松搞定表单渲染,配置式表单渲染器在袋鼠云的实现思路与实践

网友分享数栈君 发表了文章 • 0 个评论 • 6 次浏览 • 9 小时前 • 来自相关话题

前段时间,袋鼠云离线开发产品接到改造数据同步表单的需求。 一方面,数据同步模块的代码可读性和可维护性较差,导致在数据同步模块开发新功能和定位问题的效率很低。另一方面,整体规划上,希望在对接新的数据源时,可以不再关心表单渲染相关问题,从数据源中心新建数据源一直到... ...查看全部

如何成功实施一个数据治理项目

知识百科数栈君 发表了文章 • 0 个评论 • 4 次浏览 • 9 小时前 • 来自相关话题

数据质量(DQ)

知识百科数栈君 发表了文章 • 0 个评论 • 6 次浏览 • 1 天前 • 来自相关话题

Eureka 心跳和服务续约源码探秘——图解、源码级解析

知识百科数栈君 发表了文章 • 0 个评论 • 6 次浏览 • 1 天前 • 来自相关话题

内网穿透实现在外远程连接RabbitMQ服务

知识百科数栈君 发表了文章 • 0 个评论 • 14 次浏览 • 1 天前 • 来自相关话题

【大数据hive】hive视图与物化视图使用详解

网友分享数栈君 发表了文章 • 0 个评论 • 7 次浏览 • 1 天前 • 来自相关话题

一、hive中的视图使用过mysql视图的同学对视图的概念应该不陌生,视图就是一种虚拟表,可以临时存储查询的数据,hive中也提供了视图,hive中的视图具有下面的特点:Hive中的视图(view)是一种虚拟表,只保存定义,不实际存储数据;通常从真实的物理表查... ...查看全部

【Redis系列】Redis布隆过滤之8亿大数据集实战

网友分享数栈君 发表了文章 • 0 个评论 • 7 次浏览 • 1 天前 • 来自相关话题

1 问题描述接到一个优化场景:小程序用户的openid作为最主要的业务查询字段,在做了缓存设计之后仍有非常高频的查询,通过埋点简单统计约在每日1000w次。其中:由于有新增用户,新增矩阵小程序等原因导致请求的openid根本不存在MySQL数据库中,这部分统计... ...查看全部

大数据平台 多租户

知识百科沸羊羊 发表了文章 • 0 个评论 • 2 次浏览 • 1 天前 • 来自相关话题

大数据平台哪家公司服务好

知识百科沸羊羊 发表了文章 • 0 个评论 • 2 次浏览 • 1 天前 • 来自相关话题