数据集成

数据集成

kudu在智慧城市大数据平台中的创新应用

知识百科数栈君 发表了文章 • 0 个评论 • 3 次浏览 • 10 小时前 • 来自相关话题

Kudu在实时数据流处理与批处理融合中的价值体现

知识百科数栈君 发表了文章 • 0 个评论 • 3 次浏览 • 10 小时前 • 来自相关话题

从零开始搭建基于Kudu的实时数据服务平台

知识百科数栈君 发表了文章 • 0 个评论 • 1 次浏览 • 10 小时前 • 来自相关话题

剖析Kudu在机器学习数据预处理中的角色

知识百科数栈君 发表了文章 • 0 个评论 • 3 次浏览 • 10 小时前 • 来自相关话题

集成Spark与Kudu:提升大规模数据分析效率

知识百科数栈君 发表了文章 • 0 个评论 • 4 次浏览 • 1 天前 • 来自相关话题

Hive数据分区与桶表设计:优化查询性能的方法论

知识百科数栈君 发表了文章 • 0 个评论 • 17 次浏览 • 2024-02-26 14:01 • 来自相关话题

在大数据时代,Apache Hive作为Hadoop生态系统中不可或缺的数据仓库工具,凭借其SQL-like查询接口和大规模数据处理能力广受青睐。然而,面对海量数据的查询挑战,如何优化Hive查询性能成为一个关键课题。本文将聚焦于Hive的数据分区与桶表设计,... ...查看全部

利用Hive LLAP实现低延迟交互式查询的探索与实践

知识百科数栈君 发表了文章 • 0 个评论 • 18 次浏览 • 2024-02-26 14:00 • 来自相关话题

在大数据时代,海量数据的即时查询和分析变得尤为重要。传统的Hive在处理大规模数据时表现出色,但在面对需要快速响应的交互式查询时,其基于MapReduce的执行引擎常常显得力不从心。为了克服这一挑战,Apache Hive推出了LLAP(Live Long a... ...查看全部

Hive实战:网址去重

网友分享数栈君 发表了文章 • 0 个评论 • 45 次浏览 • 2024-01-24 10:23 • 来自相关话题

一、实战概述在本次实战任务中,我们利用Hive大数据处理框架对三个文本文件(ips01.txt、ips02.txt、ips03.txt)中的IP地址进行了整合与去重。首先,在虚拟机上创建了这三个文本文件,并将它们上传至HDFS的/deduplicate/inp... ...查看全部

【SpringBoot篇】解决缓存击穿问题①— 基于互斥锁方式

网友分享数栈君 发表了文章 • 0 个评论 • 57 次浏览 • 2024-01-24 10:18 • 来自相关话题

🌹什么是缓存击穿缓存击穿是指在使用缓存系统时,对一个热点数据的高并发请求导致缓存失效,多个请求同时访问数据库,造成数据库压力过大,性能下降。具体来说,缓存击穿通常发生在以下情况下:热点数据失效:当某个热点数据的缓存过期或被删除时,此时如果有大量的并发请求同时访... ...查看全部

yml 配置文件说明 ——yml 基本语法

知识百科数栈君 发表了文章 • 0 个评论 • 33 次浏览 • 2024-01-24 10:06 • 来自相关话题

条新动态, 点击查看
请关注【ChunJun】公众号,回复关键词【课件】获取系列文章 显示全部 »
请关注【ChunJun】公众号,回复关键词【课件】获取系列文章
这部分官网上是有的,你再仔细找找想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新... 显示全部 »
这部分官网上是有的,你再仔细找找想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack/chunjun  

ChunJun 2023年第一期版本迭代问题收集

ChunJun群内解答 回复了问题 • 1 人关注 • 9 个回复 • 543 次浏览 • 2023-02-15 11:21 • 来自相关话题

袋鼠云数栈UI5.0焕新升级,全新设计语言DT Design,更懂视觉更懂你!

技术共享数栈君 发表了文章 • 0 个评论 • 463 次浏览 • 2023-02-10 10:55 • 来自相关话题

数栈作为袋鼠云打造的一站式数据开发与治理平台,从2016年发布第⼀个版本开始,就始终坚持着以技术为核⼼、安全为底线、提效为⽬标、中台为战略的思想,坚定不移地⾛国产化信创路线,不断推进产品功能迭代、技术创新、服务细化和性能升级。伴随业务的⻜速发展,数栈设计团队也... ...查看全部

大型集团企业数据治理实践,推进全域数据资产体系建设 | 数字化标杆

最佳实践数栈君 发表了文章 • 0 个评论 • 433 次浏览 • 2023-02-10 10:48 • 来自相关话题

数据治理是推动大型集团企业转型升级、提升竞争优势、实现高质量发展的重要引擎。通过全链数据结构化,实现业务对象、业务规则、业务流程数字化,推进全链业务深度数字化,夯实数据运营底座。某大型实业集团创立于1980年,主要业务涵盖供应链运营、城市建设与运营、旅游会展、... ...查看全部

12月8日直播预告丨ChunJun数据安全—Kerberos介绍

ChunJun数栈君 发表了文章 • 0 个评论 • 339 次浏览 • 2022-12-07 16:25 • 来自相关话题

1直播介绍本次直播我们将为大家介绍ChunJun的数据安全验证——Kerberos介绍,我们将从 Kerberos 的概念开始介绍ChunJun 任务提交过程中涉及到的 Kerberos 认证以及数据同步任务运行中是如何进行 Kerberos 认证的。通过本次... ...查看全部

请问下chunjun的问题,mysql-sink端,只接收insert\update是吗?delete不支持是吗?

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 417 次浏览 • 2022-12-06 13:53 • 来自相关话题

如何获取ChunJun直播课的课件呀?

回复

ChunJun数栈君 回复了问题 • 1 人关注 • 1 个回复 • 388 次浏览 • 2022-11-21 10:43 • 来自相关话题

Dinky 扩展批流统一数据集成框架 ChunJun 的实践分享

ChunJun数栈君 发表了文章 • 0 个评论 • 760 次浏览 • 2022-11-18 15:36 • 来自相关话题

一、前言ChunJun(原 FlinkX)是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具,既可以采集静态的数据,比如 MySQL,HDFS 等,也可以采集实时变化的数据,比如 binlog,Kafka 等。同时 ChunJun 也是一个支... ...查看全部

致谢每一位ChunJun Contributor!这里有一份礼物等你领取!

ChunJun数栈君 发表了文章 • 0 个评论 • 378 次浏览 • 2022-11-15 15:05 • 来自相关话题

作为一个批流统一的数据集成框架,秉承着易用、稳定、高效的目标,ChunJun于2018年4月29日在Github上将内核源码正式开放。从还被叫作FlinkX,写下第一行代码开始,ChunJun已经走过了第六个年头,经历了从分布式离线/实时数据同步插件,晋级为批... ...查看全部

沉浸式体验开源年会杭州分会场:谁说开源人只懂代码不懂玩?

活动动态数栈君 发表了文章 • 0 个评论 • 421 次浏览 • 2022-11-08 14:02 • 来自相关话题

10月29日 COSCon'22第七届开源年会杭州分会场在大家不太整齐的“比yeah声”中圆满结束!!!开源年会虽然落幕了但对开源的热爱从未停歇作者 / 阿晗这里有平时埋头在代码和bug中,为发际线忧心忡忡的程序员;有读着计算机系还在为期末考试纠结的院校学生;... ...查看全部

老哥,请教一下,咱们的框架支持数据的同步过程中的转换操作不。还是必须得端到端字段一一对应。

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 153 次浏览 • 2023-08-31 17:59 • 来自相关话题

按照教程maven编译后报错,是我的姿势不太对么,请教一下。1.12.8版本

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 179 次浏览 • 2023-08-31 17:59 • 来自相关话题

flink SQL的状态初始化是在哪个源码实现的?找了很久没有看到相似的?大佬指点一下

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 163 次浏览 • 2023-08-31 17:58 • 来自相关话题

老师您好,我提交一个mysql到hdfs任务后报错,是包没更新到最新吗

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 3 个回复 • 199 次浏览 • 2023-08-31 17:58 • 来自相关话题

为什么我查的mysql中的ADD是一个保留字,但是却在非保留关键字里出现了呢?

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 3 个回复 • 160 次浏览 • 2023-08-31 17:57 • 来自相关话题

大佬们,chunjun框架支持数据etl过程,即数据的转换计算过程

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 162 次浏览 • 2023-08-31 17:57 • 来自相关话题

这段是有解决过网络抖动的问题吗

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 148 次浏览 • 2023-08-31 17:55 • 来自相关话题

这个错误能忽略不?也不知道啥问题

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 152 次浏览 • 2023-08-31 17:54 • 来自相关话题

另外请问一下binlogreader和mysqlcdcreader在实现方式上有什么区别

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 159 次浏览 • 2023-08-31 17:54 • 来自相关话题

kudu在智慧城市大数据平台中的创新应用

知识百科数栈君 发表了文章 • 0 个评论 • 3 次浏览 • 10 小时前 • 来自相关话题

Kudu在实时数据流处理与批处理融合中的价值体现

知识百科数栈君 发表了文章 • 0 个评论 • 3 次浏览 • 10 小时前 • 来自相关话题

从零开始搭建基于Kudu的实时数据服务平台

知识百科数栈君 发表了文章 • 0 个评论 • 1 次浏览 • 10 小时前 • 来自相关话题

剖析Kudu在机器学习数据预处理中的角色

知识百科数栈君 发表了文章 • 0 个评论 • 3 次浏览 • 10 小时前 • 来自相关话题

集成Spark与Kudu:提升大规模数据分析效率

知识百科数栈君 发表了文章 • 0 个评论 • 4 次浏览 • 1 天前 • 来自相关话题

Hive数据分区与桶表设计:优化查询性能的方法论

知识百科数栈君 发表了文章 • 0 个评论 • 17 次浏览 • 2024-02-26 14:01 • 来自相关话题

在大数据时代,Apache Hive作为Hadoop生态系统中不可或缺的数据仓库工具,凭借其SQL-like查询接口和大规模数据处理能力广受青睐。然而,面对海量数据的查询挑战,如何优化Hive查询性能成为一个关键课题。本文将聚焦于Hive的数据分区与桶表设计,... ...查看全部

利用Hive LLAP实现低延迟交互式查询的探索与实践

知识百科数栈君 发表了文章 • 0 个评论 • 18 次浏览 • 2024-02-26 14:00 • 来自相关话题

在大数据时代,海量数据的即时查询和分析变得尤为重要。传统的Hive在处理大规模数据时表现出色,但在面对需要快速响应的交互式查询时,其基于MapReduce的执行引擎常常显得力不从心。为了克服这一挑战,Apache Hive推出了LLAP(Live Long a... ...查看全部

Hive实战:网址去重

网友分享数栈君 发表了文章 • 0 个评论 • 45 次浏览 • 2024-01-24 10:23 • 来自相关话题

一、实战概述在本次实战任务中,我们利用Hive大数据处理框架对三个文本文件(ips01.txt、ips02.txt、ips03.txt)中的IP地址进行了整合与去重。首先,在虚拟机上创建了这三个文本文件,并将它们上传至HDFS的/deduplicate/inp... ...查看全部

【SpringBoot篇】解决缓存击穿问题①— 基于互斥锁方式

网友分享数栈君 发表了文章 • 0 个评论 • 57 次浏览 • 2024-01-24 10:18 • 来自相关话题

🌹什么是缓存击穿缓存击穿是指在使用缓存系统时,对一个热点数据的高并发请求导致缓存失效,多个请求同时访问数据库,造成数据库压力过大,性能下降。具体来说,缓存击穿通常发生在以下情况下:热点数据失效:当某个热点数据的缓存过期或被删除时,此时如果有大量的并发请求同时访... ...查看全部

yml 配置文件说明 ——yml 基本语法

知识百科数栈君 发表了文章 • 0 个评论 • 33 次浏览 • 2024-01-24 10:06 • 来自相关话题