大数据开源

大数据开源

大数据-229 离线数仓 - ODS层的构建 Hive处理 JSON 数据处理 结构化

网友分享数栈君 发表了文章 • 0 个评论 • 25 次浏览 • 2025-01-10 10:11 • 来自相关话题

章节内容上节我们完成了如下的内容:·自定义拦截器(续接上节) 编写代码·日志采集小结整体结构ODS层ODS的定义ODS是一种面向操作层的数据存储,专注于支持企业的日常运营。它通常整合了来自不同数据源(如ERP、CRM、销售系统等)的数据,通过清洗、转换后存储,... ...查看全部

RabbitMQ 工作模式使用案例之(发布订阅模式、路由模式、通配符模式)

网友分享数栈君 发表了文章 • 0 个评论 • 28 次浏览 • 2025-01-08 17:37 • 来自相关话题

一、Publish/Subscribe(发布/订阅)在发布/订阅模型中,多了一个Exchange角色.Exchange 常见有三种类型, 分别代表不同的路由规则a) Fanout:广播,将消息交给所有绑定到交换机的队列 (Publish/Subscribe模式... ...查看全部

RabbitMQ Work Queues (工作队列模式) 使用案例

网友分享数栈君 发表了文章 • 0 个评论 • 30 次浏览 • 2025-01-08 16:47 • 来自相关话题

前言在前面学习了简单模式的写法, 接下来学习另外几种工作模式的写法简单模式快速入门程序就是简单模式.Work Queues (工作队列)简单模式的增强版, 和简单模式的区别就是: 简单模式有一个消费者, 工作队列模式支持多个消费者接收消息, 消费者之间是竞争关... ...查看全部

信使之舞 之 RabbitMQ 7种工作模式概述

知识百科数栈君 发表了文章 • 0 个评论 • 17 次浏览 • 2025-01-08 16:32 • 来自相关话题

前言RabbitMQ 共提供了7种工作模式, 进⾏消息传递, 我们入门程序的案例(生产者消费者模型), 其实就是⼀个简单模式.官方文档一、Simple (简单模式)·P: 生产者, 也就是要发送消息的程序·C: 消费者,消息的接收者·Queue: 消息队列, ... ...查看全部

Kafka 常见问题与解决

网友分享数栈君 发表了文章 • 0 个评论 • 748 次浏览 • 2024-11-12 15:23 • 来自相关话题

Kafka是一个高性能的分布式消息信息流平台,广泛用于实时数据处理、大规模日志收集和事件驱动架构。然而,由于 Kafka 的分布式特性、复杂的配置以及多种应用场景,使用过程中可能会遇到一些常见问题。一. Kafka 启动和连接问题1. Kafka Broker... ...查看全部

卸载RabbitMq

网友分享数栈君 发表了文章 • 0 个评论 • 204 次浏览 • 2024-11-12 14:48 • 来自相关话题

卸载RabbitMQ的方法取决于您最初安装它时所使用的工具和平台。以下是在一些常见Linux发行版中卸载RabbitMQ的步骤:对于基于Debian或Ubuntu的系统(使用APT)停止RabbitMQ服务:sudo service rabbitmq-serv... ...查看全部

实时模型推理

知识百科沸羊羊 发表了文章 • 0 个评论 • 114 次浏览 • 2024-11-12 14:07 • 来自相关话题

实时模型监控

知识百科沸羊羊 发表了文章 • 0 个评论 • 121 次浏览 • 2024-11-12 14:07 • 来自相关话题

实时模型优化

知识百科沸羊羊 发表了文章 • 0 个评论 • 103 次浏览 • 2024-11-12 14:06 • 来自相关话题

实时模型部署

知识百科沸羊羊 发表了文章 • 0 个评论 • 107 次浏览 • 2024-11-12 14:06 • 来自相关话题

条新动态, 点击查看
这部分官网上是有的,你再仔细找找想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新... 显示全部 »
这部分官网上是有的,你再仔细找找想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack/chunjun  

ChunJun FTP Connector 功能扩展解读

ChunJun数栈君 发表了文章 • 0 个评论 • 562 次浏览 • 2023-05-31 17:35 • 来自相关话题

本文将从 FTP Connector 的功能详解,自定义文件切割及自定义 FileFormat 三个方面为大家带来 ChunJun FTP Connector 的功能扩展分享。FTP Connector 详解FTP 是用于在网络上进行文件传输的一套标准协议,它... ...查看全部

技术干货|如何利用 ChunJun 实现数据离线同步?

ChunJun数栈君 发表了文章 • 0 个评论 • 655 次浏览 • 2023-05-19 10:08 • 来自相关话题

ChunJun 是⼀款稳定、易⽤、⾼效、批流⼀体的数据集成框架,基于计算引擎 Flink 实现多种异构数据源之间的数据同步与计算。ChunJun 可以把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从⽽为企业提供全⾯的数据共享,目前已在上千家公司部... ...查看全部

新起点!大数据分布式可视化的 DAG 任务调度系统 Taier 正式发布1.4版本

Taier数栈君 发表了文章 • 0 个评论 • 765 次浏览 • 2023-04-18 18:50 • 来自相关话题

我们很高兴向大家宣布,2023年4月14日,Taier(github.com/DTStack/Taier)正式发布 1.4 版本。自2022年2月份 Taier 正式开源以来,收到了很多开发者和行业用户的积极评价,在诸多生产环境中已得到充分应用。Taier 1... ...查看全部

袋鼠云数栈离线开发平台在小文件治理上的探索实践之路

产品交流数栈君 发表了文章 • 0 个评论 • 806 次浏览 • 2023-03-29 11:23 • 来自相关话题

日常生产中 HDFS 上小文件产生是一个很正常的事情,同时小文件也是 Hadoop 集群运维中的常见挑战,尤其对于大规模运行的集群来说可谓至关重要。数据地图是离线开发产品的基本使用单位,包含全部表和项目的相关信息,可以对表做相关的权限管理和脱敏管理操作,以及可... ...查看全部

ChunJun 顺利晋级“2022 年中国开源创新大赛”决赛,并荣获“优秀开源项目/社区”奖项

ChunJun数栈君 发表了文章 • 0 个评论 • 597 次浏览 • 2023-03-14 11:13 • 来自相关话题

日前,“2022年中国开源创新大赛”初赛晋级名单公布,易用、稳定、高效的批流统一的数据集成框架 ChunJun 顺利晋级决赛,并荣获“2022年中国开源创新大赛优秀开源项目/社区”奖项。感谢组委会专家的认可,ChunJun也将继续秉承技术初心,砥砺前行,不遗余... ...查看全部

一看就懂!任务提交的资源判断在Taier中的实践

Taier小美 发表了文章 • 0 个评论 • 777 次浏览 • 2023-02-01 10:17 • 来自相关话题

Taier 介绍Taier 是袋鼠云开源项目之一,是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本、提高大数据平台稳定性,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工... ...查看全部

袋鼠云基于Calcite框架的SQL语法扩展探索

技术共享数栈君 发表了文章 • 0 个评论 • 757 次浏览 • 2023-01-16 16:47 • 来自相关话题

Calcite在大数据系统中有着广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite,理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。但是不少人在学习Calcite的过程中... ...查看全部

基于数据中台的大数据治理,数字化运营组织

技术共享数栈君 发表了文章 • 0 个评论 • 1238 次浏览 • 2023-01-13 10:09 • 来自相关话题

1在互联网企业,业务和数据团队是无缝衔接的。本身互联网企业的业务运营对技术和数据就是极度的依赖,所以业务的同学对技术和数据具有天生的敏感性。基于这个前提,业务团队对数据团也是非常直接的喊着“要、要、要”。在这样的场景下,说明业务团队能够明确地提出数据需求,且数... ...查看全部

大数据开源讲解:基于Apache Calcite框架的SQL语法扩展探索

技术共享数栈君 发表了文章 • 0 个评论 • 1795 次浏览 • 2023-01-12 16:36 • 来自相关话题

Calcite在大数据系统中有着广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite,理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。但是不少人在学习Calcite的过程中... ...查看全部

DAG任务调度系统 Taier 演进之道,探究DataSourceX 模块

Taier数栈君 发表了文章 • 0 个评论 • 1388 次浏览 • 2022-12-28 13:41 • 来自相关话题

熟悉Taier的小伙伴们应该都知道,在11月7日发布的Taier1.3新版本中,我们融合了「DataSourceX 模块」。这是十分重要的一个变化,移除Taier外部插件依赖,新增数据源插件相关特性,支持后续Taier对接更多的RDBMS类型的SQL任务。本篇... ...查看全部

你好想问下提交flinksql任务的时候 Configuration 下面的 Interval Periodic checkpoints disabled

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 587 次浏览 • 2023-06-21 17:03 • 来自相关话题

chunjun支持实时mysql迁移到clickhouse吗?有没有已经在正常运行的json做参考

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 546 次浏览 • 2023-06-21 17:02 • 来自相关话题

大神们,请问1.16什么时候release有计划吗?

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 530 次浏览 • 2023-06-21 17:01 • 来自相关话题

mysql迁移到clickhouse,大字段 容易出现clickhouse response超时 是什么原因呢

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 560 次浏览 • 2023-06-21 17:00 • 来自相关话题

老师们早上好,binlog同步MySQL,出现这个错误是bug么?

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 535 次浏览 • 2023-06-21 16:59 • 来自相关话题

老师,请问rabbitMQ支持sslConfig吗(开启ssl连接认证),看着elasticSearch是支持的

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 550 次浏览 • 2023-06-21 16:59 • 来自相关话题

各位大佬,native-k8s模式如何使用,有没有一个quickstart

回复

ChunJun匿名用户 发起了问题 • 2 人关注 • 0 个回复 • 524 次浏览 • 2023-06-21 16:58 • 来自相关话题

数据还原,支持DDL的变更, 有这样的mysql 到mysql的模版吗?chunjun v1.12.8的。

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 2 个回复 • 552 次浏览 • 2023-06-21 16:55 • 来自相关话题

老师您好,想要实现mongo到mongo的数据传输,

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 2 个回复 • 549 次浏览 • 2023-06-21 16:54 • 来自相关话题

chunjun支持实时采集Oracle 吗

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 615 次浏览 • 2023-06-21 16:53 • 来自相关话题

大数据-229 离线数仓 - ODS层的构建 Hive处理 JSON 数据处理 结构化

网友分享数栈君 发表了文章 • 0 个评论 • 25 次浏览 • 2025-01-10 10:11 • 来自相关话题

章节内容上节我们完成了如下的内容:·自定义拦截器(续接上节) 编写代码·日志采集小结整体结构ODS层ODS的定义ODS是一种面向操作层的数据存储,专注于支持企业的日常运营。它通常整合了来自不同数据源(如ERP、CRM、销售系统等)的数据,通过清洗、转换后存储,... ...查看全部

RabbitMQ 工作模式使用案例之(发布订阅模式、路由模式、通配符模式)

网友分享数栈君 发表了文章 • 0 个评论 • 28 次浏览 • 2025-01-08 17:37 • 来自相关话题

一、Publish/Subscribe(发布/订阅)在发布/订阅模型中,多了一个Exchange角色.Exchange 常见有三种类型, 分别代表不同的路由规则a) Fanout:广播,将消息交给所有绑定到交换机的队列 (Publish/Subscribe模式... ...查看全部

RabbitMQ Work Queues (工作队列模式) 使用案例

网友分享数栈君 发表了文章 • 0 个评论 • 30 次浏览 • 2025-01-08 16:47 • 来自相关话题

前言在前面学习了简单模式的写法, 接下来学习另外几种工作模式的写法简单模式快速入门程序就是简单模式.Work Queues (工作队列)简单模式的增强版, 和简单模式的区别就是: 简单模式有一个消费者, 工作队列模式支持多个消费者接收消息, 消费者之间是竞争关... ...查看全部

信使之舞 之 RabbitMQ 7种工作模式概述

知识百科数栈君 发表了文章 • 0 个评论 • 17 次浏览 • 2025-01-08 16:32 • 来自相关话题

前言RabbitMQ 共提供了7种工作模式, 进⾏消息传递, 我们入门程序的案例(生产者消费者模型), 其实就是⼀个简单模式.官方文档一、Simple (简单模式)·P: 生产者, 也就是要发送消息的程序·C: 消费者,消息的接收者·Queue: 消息队列, ... ...查看全部

Kafka 常见问题与解决

网友分享数栈君 发表了文章 • 0 个评论 • 748 次浏览 • 2024-11-12 15:23 • 来自相关话题

Kafka是一个高性能的分布式消息信息流平台,广泛用于实时数据处理、大规模日志收集和事件驱动架构。然而,由于 Kafka 的分布式特性、复杂的配置以及多种应用场景,使用过程中可能会遇到一些常见问题。一. Kafka 启动和连接问题1. Kafka Broker... ...查看全部

卸载RabbitMq

网友分享数栈君 发表了文章 • 0 个评论 • 204 次浏览 • 2024-11-12 14:48 • 来自相关话题

卸载RabbitMQ的方法取决于您最初安装它时所使用的工具和平台。以下是在一些常见Linux发行版中卸载RabbitMQ的步骤:对于基于Debian或Ubuntu的系统(使用APT)停止RabbitMQ服务:sudo service rabbitmq-serv... ...查看全部

实时模型推理

知识百科沸羊羊 发表了文章 • 0 个评论 • 114 次浏览 • 2024-11-12 14:07 • 来自相关话题

实时模型监控

知识百科沸羊羊 发表了文章 • 0 个评论 • 121 次浏览 • 2024-11-12 14:07 • 来自相关话题

实时模型优化

知识百科沸羊羊 发表了文章 • 0 个评论 • 103 次浏览 • 2024-11-12 14:06 • 来自相关话题

实时模型部署

知识百科沸羊羊 发表了文章 • 0 个评论 • 107 次浏览 • 2024-11-12 14:06 • 来自相关话题