大数据开源

大数据开源

用了这么久rabbitmq,你还不知道它的目录结构吗?

知识百科数栈君 发表了文章 • 0 个评论 • 43 次浏览 • 2023-08-11 10:47 • 来自相关话题

Flink CDC、OGG、Debezium等基于日志开源CDC方案对比

知识百科数栈君 发表了文章 • 0 个评论 • 81 次浏览 • 2023-08-11 10:42 • 来自相关话题

大数据治理的保障要素

知识百科沸羊羊 发表了文章 • 0 个评论 • 68 次浏览 • 2023-08-04 11:14 • 来自相关话题

大数据治理的保障要素随着大数据时代的到来,数据已经成为企业竞争的核心资产之一。如何保障大数据的质量、安全和合规性,成为大数据治理的重要课题。本文将从基础设施、安全保障、法律法规和组织管理等方面,探讨大数据治理的保障要素。一、基础设施网络基础设施:大数据治理需要... ...查看全部

网络舆情大数据治理生态

知识百科沸羊羊 发表了文章 • 0 个评论 • 83 次浏览 • 2023-08-03 11:17 • 来自相关话题

随着互联网的普及和信息技术的快速发展,网络已经成为人们获取信息、表达意见、交流互动的主要渠道。网络舆情大数据作为互联网时代的重要信息资产,对于政府决策、企业竞争、社会治理等方面都具有重要的意义。然而,网络舆情大数据治理生态面临着诸多挑战,如数据采集难度大、数据... ...查看全部

大数据治理的技术路线

知识百科沸羊羊 发表了文章 • 0 个评论 • 135 次浏览 • 2023-08-03 11:12 • 来自相关话题

大数据治理的技术路线随着互联网、物联网、云计算等技术的快速发展,大数据已经成为各行业重要的生产要素和战略资源。为了更好地发挥大数据的价值,大数据治理技术路线应运而生。本文将从技术架构、技术应用、技术挑战和未来展望等方面探讨大数据治理的技术路线。一、技术架构大数... ...查看全部

大数据与乡村治理的有效性

知识百科沸羊羊 发表了文章 • 0 个评论 • 65 次浏览 • 2023-08-02 11:30 • 来自相关话题

大数据与乡村治理的有效性随着大数据技术的不断发展,其在乡村治理中的应用也逐渐显现。乡村治理是一个复杂而重要的领域,涉及众多方面的信息和数据,而大数据技术的应用可以为乡村治理提供有效的支持和优化。本文将探讨大数据在乡村治理中的有效性,分析其优势和不足,并提出相应... ...查看全部

大数据治理的困难

知识百科沸羊羊 发表了文章 • 0 个评论 • 57 次浏览 • 2023-07-31 14:10 • 来自相关话题

大数据治理的困难随着大数据技术的迅速发展,大数据已经成为企业和社会的重要资产。然而,在大数据治理的过程中,面临着许多困难和挑战。本文将探讨大数据治理的困难,并提出相应的解决方案。一、大数据治理的困难技术困难:大数据治理需要依靠复杂的技术,包括数据采集、存储、处... ...查看全部

【项目实战】Kafka 生产者写入分区的策略

网友分享数栈君 发表了文章 • 0 个评论 • 66 次浏览 • 2023-07-31 11:32 • 来自相关话题

1、生产者写入分区的策略有哪些?生产者写入分区的策略主要有以下几种:    1.轮询分区策略:生产者可以使用轮询策略将消息依次写入每个分区,实现负载均衡。在每次发送消息时,生产者会按照轮询的方式选择下一个可用的分区,并将消息写入该分区。这样可以确保消息均匀地分... ...查看全部

查看RabbitMQ日志---trace插件的使用

知识百科数栈君 发表了文章 • 0 个评论 • 51 次浏览 • 2023-07-31 11:31 • 来自相关话题

RabbitMQ详解,用心看完这一篇就够了【重点】

网友分享数栈君 发表了文章 • 0 个评论 • 85 次浏览 • 2023-07-31 11:31 • 来自相关话题

1.1 消息中间件消息中间件是基于队列与消息传递技术,在网络环境中为应用系统提供同步或异步、可靠的消息传输的支撑性软件系统——百度百科1.1.1 应用场景1.1.1.1 异步处理场景说明:用户注册后,需要发注册邮件和注册短信,传统的做法有两种    1.串行的... ...查看全部
条新动态, 点击查看
这部分官网上是有的,你再仔细找找想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新... 显示全部 »
这部分官网上是有的,你再仔细找找想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack/chunjun  

ChunJun FTP Connector 功能扩展解读

ChunJun数栈君 发表了文章 • 0 个评论 • 119 次浏览 • 2023-05-31 17:35 • 来自相关话题

本文将从 FTP Connector 的功能详解,自定义文件切割及自定义 FileFormat 三个方面为大家带来 ChunJun FTP Connector 的功能扩展分享。FTP Connector 详解FTP 是用于在网络上进行文件传输的一套标准协议,它... ...查看全部

技术干货|如何利用 ChunJun 实现数据离线同步?

ChunJun数栈君 发表了文章 • 0 个评论 • 145 次浏览 • 2023-05-19 10:08 • 来自相关话题

ChunJun 是⼀款稳定、易⽤、⾼效、批流⼀体的数据集成框架,基于计算引擎 Flink 实现多种异构数据源之间的数据同步与计算。ChunJun 可以把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从⽽为企业提供全⾯的数据共享,目前已在上千家公司部... ...查看全部

新起点!大数据分布式可视化的 DAG 任务调度系统 Taier 正式发布1.4版本

Taier数栈君 发表了文章 • 0 个评论 • 204 次浏览 • 2023-04-18 18:50 • 来自相关话题

我们很高兴向大家宣布,2023年4月14日,Taier(github.com/DTStack/Taier)正式发布 1.4 版本。自2022年2月份 Taier 正式开源以来,收到了很多开发者和行业用户的积极评价,在诸多生产环境中已得到充分应用。Taier 1... ...查看全部

袋鼠云数栈离线开发平台在小文件治理上的探索实践之路

产品交流数栈君 发表了文章 • 0 个评论 • 183 次浏览 • 2023-03-29 11:23 • 来自相关话题

日常生产中 HDFS 上小文件产生是一个很正常的事情,同时小文件也是 Hadoop 集群运维中的常见挑战,尤其对于大规模运行的集群来说可谓至关重要。数据地图是离线开发产品的基本使用单位,包含全部表和项目的相关信息,可以对表做相关的权限管理和脱敏管理操作,以及可... ...查看全部

ChunJun 顺利晋级“2022 年中国开源创新大赛”决赛,并荣获“优秀开源项目/社区”奖项

ChunJun数栈君 发表了文章 • 0 个评论 • 160 次浏览 • 2023-03-14 11:13 • 来自相关话题

日前,“2022年中国开源创新大赛”初赛晋级名单公布,易用、稳定、高效的批流统一的数据集成框架 ChunJun 顺利晋级决赛,并荣获“2022年中国开源创新大赛优秀开源项目/社区”奖项。感谢组委会专家的认可,ChunJun也将继续秉承技术初心,砥砺前行,不遗余... ...查看全部

一看就懂!任务提交的资源判断在Taier中的实践

Taier小美 发表了文章 • 0 个评论 • 190 次浏览 • 2023-02-01 10:17 • 来自相关话题

Taier 介绍Taier 是袋鼠云开源项目之一,是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本、提高大数据平台稳定性,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工... ...查看全部

袋鼠云基于Calcite框架的SQL语法扩展探索

技术共享数栈君 发表了文章 • 0 个评论 • 261 次浏览 • 2023-01-16 16:47 • 来自相关话题

Calcite在大数据系统中有着广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite,理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。但是不少人在学习Calcite的过程中... ...查看全部

基于数据中台的大数据治理,数字化运营组织

技术共享数栈君 发表了文章 • 0 个评论 • 232 次浏览 • 2023-01-13 10:09 • 来自相关话题

1在互联网企业,业务和数据团队是无缝衔接的。本身互联网企业的业务运营对技术和数据就是极度的依赖,所以业务的同学对技术和数据具有天生的敏感性。基于这个前提,业务团队对数据团也是非常直接的喊着“要、要、要”。在这样的场景下,说明业务团队能够明确地提出数据需求,且数... ...查看全部

大数据开源讲解:基于Apache Calcite框架的SQL语法扩展探索

技术共享数栈君 发表了文章 • 0 个评论 • 441 次浏览 • 2023-01-12 16:36 • 来自相关话题

Calcite在大数据系统中有着广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite,理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。但是不少人在学习Calcite的过程中... ...查看全部

DAG任务调度系统 Taier 演进之道,探究DataSourceX 模块

Taier数栈君 发表了文章 • 0 个评论 • 259 次浏览 • 2022-12-28 13:41 • 来自相关话题

熟悉Taier的小伙伴们应该都知道,在11月7日发布的Taier1.3新版本中,我们融合了「DataSourceX 模块」。这是十分重要的一个变化,移除Taier外部插件依赖,新增数据源插件相关特性,支持后续Taier对接更多的RDBMS类型的SQL任务。本篇... ...查看全部

你好想问下提交flinksql任务的时候 Configuration 下面的 Interval Periodic checkpoints disabled

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 100 次浏览 • 2023-06-21 17:03 • 来自相关话题

chunjun支持实时mysql迁移到clickhouse吗?有没有已经在正常运行的json做参考

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 101 次浏览 • 2023-06-21 17:02 • 来自相关话题

大神们,请问1.16什么时候release有计划吗?

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 109 次浏览 • 2023-06-21 17:01 • 来自相关话题

mysql迁移到clickhouse,大字段 容易出现clickhouse response超时 是什么原因呢

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 98 次浏览 • 2023-06-21 17:00 • 来自相关话题

老师们早上好,binlog同步MySQL,出现这个错误是bug么?

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 129 次浏览 • 2023-06-21 16:59 • 来自相关话题

老师,请问rabbitMQ支持sslConfig吗(开启ssl连接认证),看着elasticSearch是支持的

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 103 次浏览 • 2023-06-21 16:59 • 来自相关话题

各位大佬,native-k8s模式如何使用,有没有一个quickstart

回复

ChunJun匿名用户 发起了问题 • 2 人关注 • 0 个回复 • 101 次浏览 • 2023-06-21 16:58 • 来自相关话题

数据还原,支持DDL的变更, 有这样的mysql 到mysql的模版吗?chunjun v1.12.8的。

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 2 个回复 • 96 次浏览 • 2023-06-21 16:55 • 来自相关话题

老师您好,想要实现mongo到mongo的数据传输,

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 2 个回复 • 109 次浏览 • 2023-06-21 16:54 • 来自相关话题

chunjun支持实时采集Oracle 吗

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 128 次浏览 • 2023-06-21 16:53 • 来自相关话题

用了这么久rabbitmq,你还不知道它的目录结构吗?

知识百科数栈君 发表了文章 • 0 个评论 • 43 次浏览 • 2023-08-11 10:47 • 来自相关话题

Flink CDC、OGG、Debezium等基于日志开源CDC方案对比

知识百科数栈君 发表了文章 • 0 个评论 • 81 次浏览 • 2023-08-11 10:42 • 来自相关话题

大数据治理的保障要素

知识百科沸羊羊 发表了文章 • 0 个评论 • 68 次浏览 • 2023-08-04 11:14 • 来自相关话题

大数据治理的保障要素随着大数据时代的到来,数据已经成为企业竞争的核心资产之一。如何保障大数据的质量、安全和合规性,成为大数据治理的重要课题。本文将从基础设施、安全保障、法律法规和组织管理等方面,探讨大数据治理的保障要素。一、基础设施网络基础设施:大数据治理需要... ...查看全部

网络舆情大数据治理生态

知识百科沸羊羊 发表了文章 • 0 个评论 • 83 次浏览 • 2023-08-03 11:17 • 来自相关话题

随着互联网的普及和信息技术的快速发展,网络已经成为人们获取信息、表达意见、交流互动的主要渠道。网络舆情大数据作为互联网时代的重要信息资产,对于政府决策、企业竞争、社会治理等方面都具有重要的意义。然而,网络舆情大数据治理生态面临着诸多挑战,如数据采集难度大、数据... ...查看全部

大数据治理的技术路线

知识百科沸羊羊 发表了文章 • 0 个评论 • 135 次浏览 • 2023-08-03 11:12 • 来自相关话题

大数据治理的技术路线随着互联网、物联网、云计算等技术的快速发展,大数据已经成为各行业重要的生产要素和战略资源。为了更好地发挥大数据的价值,大数据治理技术路线应运而生。本文将从技术架构、技术应用、技术挑战和未来展望等方面探讨大数据治理的技术路线。一、技术架构大数... ...查看全部

大数据与乡村治理的有效性

知识百科沸羊羊 发表了文章 • 0 个评论 • 65 次浏览 • 2023-08-02 11:30 • 来自相关话题

大数据与乡村治理的有效性随着大数据技术的不断发展,其在乡村治理中的应用也逐渐显现。乡村治理是一个复杂而重要的领域,涉及众多方面的信息和数据,而大数据技术的应用可以为乡村治理提供有效的支持和优化。本文将探讨大数据在乡村治理中的有效性,分析其优势和不足,并提出相应... ...查看全部

大数据治理的困难

知识百科沸羊羊 发表了文章 • 0 个评论 • 57 次浏览 • 2023-07-31 14:10 • 来自相关话题

大数据治理的困难随着大数据技术的迅速发展,大数据已经成为企业和社会的重要资产。然而,在大数据治理的过程中,面临着许多困难和挑战。本文将探讨大数据治理的困难,并提出相应的解决方案。一、大数据治理的困难技术困难:大数据治理需要依靠复杂的技术,包括数据采集、存储、处... ...查看全部

【项目实战】Kafka 生产者写入分区的策略

网友分享数栈君 发表了文章 • 0 个评论 • 66 次浏览 • 2023-07-31 11:32 • 来自相关话题

1、生产者写入分区的策略有哪些?生产者写入分区的策略主要有以下几种:    1.轮询分区策略:生产者可以使用轮询策略将消息依次写入每个分区,实现负载均衡。在每次发送消息时,生产者会按照轮询的方式选择下一个可用的分区,并将消息写入该分区。这样可以确保消息均匀地分... ...查看全部

查看RabbitMQ日志---trace插件的使用

知识百科数栈君 发表了文章 • 0 个评论 • 51 次浏览 • 2023-07-31 11:31 • 来自相关话题

RabbitMQ详解,用心看完这一篇就够了【重点】

网友分享数栈君 发表了文章 • 0 个评论 • 85 次浏览 • 2023-07-31 11:31 • 来自相关话题

1.1 消息中间件消息中间件是基于队列与消息传递技术,在网络环境中为应用系统提供同步或异步、可靠的消息传输的支撑性软件系统——百度百科1.1.1 应用场景1.1.1.1 异步处理场景说明:用户注册后,需要发注册邮件和注册短信,传统的做法有两种    1.串行的... ...查看全部