大数据开源

大数据开源

kubernetes openelb

技术共享数栈君 发表了文章 • 0 个评论 • 66 次浏览 • 2024-03-13 10:20 • 来自相关话题

1、背景在云服务环境中的 Kubernetes 集群里,通常可以用云服务提供商提供的负载均衡服务来暴露 Service,但是在本地没办法这样操作。而 OpenELB 可以让用户在裸金属服务器、边缘以及虚拟化环境中创建 LoadBalancer 类型的 Serv... ...查看全部

Hadoop性能调优全方位指南

知识百科数栈君 发表了文章 • 0 个评论 • 36 次浏览 • 2024-03-06 10:41 • 来自相关话题

企业级Hadoop项目部署架构设计

知识百科数栈君 发表了文章 • 0 个评论 • 37 次浏览 • 2024-03-06 10:36 • 来自相关话题

Hadoop与Hive数据仓库设计与实现

知识百科数栈君 发表了文章 • 0 个评论 • 43 次浏览 • 2024-03-06 10:32 • 来自相关话题

Hadoop安全防护体系构建与优化

知识百科数栈君 发表了文章 • 0 个评论 • 37 次浏览 • 2024-03-06 10:30 • 来自相关话题

探索Kudu与其他开源组件(如Hadoop、Flink)的协同效应

知识百科数栈君 发表了文章 • 0 个评论 • 56 次浏览 • 2024-03-05 11:18 • 来自相关话题

Apache Kudu作为一种新型的存储引擎,它在大数据领域中扮演着至关重要的角色,尤其是在与Apache Hadoop和Apache Flink这样的开源组件协作时,展现出了强大的互补性和协同效应。Kudu的核心优势与特性Kudu的设计目标是在大数据处理中弥... ...查看全部

ldap安装部署

技术共享数栈君 发表了文章 • 0 个评论 • 51 次浏览 • 2024-02-29 10:45 • 来自相关话题

一、关闭selinux和防火墙sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config  setenforce 0systemctl stop firewalld systemctl... ...查看全部

Hive与Impala对比分析:应用场景与性能考量

知识百科数栈君 发表了文章 • 0 个评论 • 70 次浏览 • 2024-02-28 10:02 • 来自相关话题

在大数据生态系统中,Hive和Impala是两个广受欢迎的查询引擎,它们分别解决了大量的数据处理和分析需求。尽管它们有着共同的目的,但在设计哲学、性能特性和适用场景上存在显著差异。本文将深入探讨Hive和Impala的应用场景与性能考量,帮助用户理解两者的优势... ...查看全部

Doris索引介绍

知识百科数栈君 发表了文章 • 0 个评论 • 65 次浏览 • 2024-01-26 10:53 • 来自相关话题

Doris存储介绍

知识百科数栈君 发表了文章 • 0 个评论 • 71 次浏览 • 2024-01-26 10:53 • 来自相关话题

条新动态, 点击查看
这部分官网上是有的,你再仔细找找想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新... 显示全部 »
这部分官网上是有的,你再仔细找找想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack/chunjun  

ChunJun FTP Connector 功能扩展解读

ChunJun数栈君 发表了文章 • 0 个评论 • 259 次浏览 • 2023-05-31 17:35 • 来自相关话题

本文将从 FTP Connector 的功能详解,自定义文件切割及自定义 FileFormat 三个方面为大家带来 ChunJun FTP Connector 的功能扩展分享。FTP Connector 详解FTP 是用于在网络上进行文件传输的一套标准协议,它... ...查看全部

技术干货|如何利用 ChunJun 实现数据离线同步?

ChunJun数栈君 发表了文章 • 0 个评论 • 304 次浏览 • 2023-05-19 10:08 • 来自相关话题

ChunJun 是⼀款稳定、易⽤、⾼效、批流⼀体的数据集成框架,基于计算引擎 Flink 实现多种异构数据源之间的数据同步与计算。ChunJun 可以把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从⽽为企业提供全⾯的数据共享,目前已在上千家公司部... ...查看全部

新起点!大数据分布式可视化的 DAG 任务调度系统 Taier 正式发布1.4版本

Taier数栈君 发表了文章 • 0 个评论 • 379 次浏览 • 2023-04-18 18:50 • 来自相关话题

我们很高兴向大家宣布,2023年4月14日,Taier(github.com/DTStack/Taier)正式发布 1.4 版本。自2022年2月份 Taier 正式开源以来,收到了很多开发者和行业用户的积极评价,在诸多生产环境中已得到充分应用。Taier 1... ...查看全部

袋鼠云数栈离线开发平台在小文件治理上的探索实践之路

产品交流数栈君 发表了文章 • 0 个评论 • 414 次浏览 • 2023-03-29 11:23 • 来自相关话题

日常生产中 HDFS 上小文件产生是一个很正常的事情,同时小文件也是 Hadoop 集群运维中的常见挑战,尤其对于大规模运行的集群来说可谓至关重要。数据地图是离线开发产品的基本使用单位,包含全部表和项目的相关信息,可以对表做相关的权限管理和脱敏管理操作,以及可... ...查看全部

ChunJun 顺利晋级“2022 年中国开源创新大赛”决赛,并荣获“优秀开源项目/社区”奖项

ChunJun数栈君 发表了文章 • 0 个评论 • 311 次浏览 • 2023-03-14 11:13 • 来自相关话题

日前,“2022年中国开源创新大赛”初赛晋级名单公布,易用、稳定、高效的批流统一的数据集成框架 ChunJun 顺利晋级决赛,并荣获“2022年中国开源创新大赛优秀开源项目/社区”奖项。感谢组委会专家的认可,ChunJun也将继续秉承技术初心,砥砺前行,不遗余... ...查看全部

一看就懂!任务提交的资源判断在Taier中的实践

Taier小美 发表了文章 • 0 个评论 • 365 次浏览 • 2023-02-01 10:17 • 来自相关话题

Taier 介绍Taier 是袋鼠云开源项目之一,是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本、提高大数据平台稳定性,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工... ...查看全部

袋鼠云基于Calcite框架的SQL语法扩展探索

技术共享数栈君 发表了文章 • 0 个评论 • 425 次浏览 • 2023-01-16 16:47 • 来自相关话题

Calcite在大数据系统中有着广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite,理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。但是不少人在学习Calcite的过程中... ...查看全部

基于数据中台的大数据治理,数字化运营组织

技术共享数栈君 发表了文章 • 0 个评论 • 428 次浏览 • 2023-01-13 10:09 • 来自相关话题

1在互联网企业,业务和数据团队是无缝衔接的。本身互联网企业的业务运营对技术和数据就是极度的依赖,所以业务的同学对技术和数据具有天生的敏感性。基于这个前提,业务团队对数据团也是非常直接的喊着“要、要、要”。在这样的场景下,说明业务团队能够明确地提出数据需求,且数... ...查看全部

大数据开源讲解:基于Apache Calcite框架的SQL语法扩展探索

技术共享数栈君 发表了文章 • 0 个评论 • 783 次浏览 • 2023-01-12 16:36 • 来自相关话题

Calcite在大数据系统中有着广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite,理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。但是不少人在学习Calcite的过程中... ...查看全部

DAG任务调度系统 Taier 演进之道,探究DataSourceX 模块

Taier数栈君 发表了文章 • 0 个评论 • 497 次浏览 • 2022-12-28 13:41 • 来自相关话题

熟悉Taier的小伙伴们应该都知道,在11月7日发布的Taier1.3新版本中,我们融合了「DataSourceX 模块」。这是十分重要的一个变化,移除Taier外部插件依赖,新增数据源插件相关特性,支持后续Taier对接更多的RDBMS类型的SQL任务。本篇... ...查看全部

你好想问下提交flinksql任务的时候 Configuration 下面的 Interval Periodic checkpoints disabled

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 255 次浏览 • 2023-06-21 17:03 • 来自相关话题

chunjun支持实时mysql迁移到clickhouse吗?有没有已经在正常运行的json做参考

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 243 次浏览 • 2023-06-21 17:02 • 来自相关话题

大神们,请问1.16什么时候release有计划吗?

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 243 次浏览 • 2023-06-21 17:01 • 来自相关话题

mysql迁移到clickhouse,大字段 容易出现clickhouse response超时 是什么原因呢

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 243 次浏览 • 2023-06-21 17:00 • 来自相关话题

老师们早上好,binlog同步MySQL,出现这个错误是bug么?

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 264 次浏览 • 2023-06-21 16:59 • 来自相关话题

老师,请问rabbitMQ支持sslConfig吗(开启ssl连接认证),看着elasticSearch是支持的

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 251 次浏览 • 2023-06-21 16:59 • 来自相关话题

各位大佬,native-k8s模式如何使用,有没有一个quickstart

回复

ChunJun匿名用户 发起了问题 • 2 人关注 • 0 个回复 • 226 次浏览 • 2023-06-21 16:58 • 来自相关话题

数据还原,支持DDL的变更, 有这样的mysql 到mysql的模版吗?chunjun v1.12.8的。

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 2 个回复 • 232 次浏览 • 2023-06-21 16:55 • 来自相关话题

老师您好,想要实现mongo到mongo的数据传输,

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 2 个回复 • 255 次浏览 • 2023-06-21 16:54 • 来自相关话题

chunjun支持实时采集Oracle 吗

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 285 次浏览 • 2023-06-21 16:53 • 来自相关话题

kubernetes openelb

技术共享数栈君 发表了文章 • 0 个评论 • 66 次浏览 • 2024-03-13 10:20 • 来自相关话题

1、背景在云服务环境中的 Kubernetes 集群里,通常可以用云服务提供商提供的负载均衡服务来暴露 Service,但是在本地没办法这样操作。而 OpenELB 可以让用户在裸金属服务器、边缘以及虚拟化环境中创建 LoadBalancer 类型的 Serv... ...查看全部

Hadoop性能调优全方位指南

知识百科数栈君 发表了文章 • 0 个评论 • 36 次浏览 • 2024-03-06 10:41 • 来自相关话题

企业级Hadoop项目部署架构设计

知识百科数栈君 发表了文章 • 0 个评论 • 37 次浏览 • 2024-03-06 10:36 • 来自相关话题

Hadoop与Hive数据仓库设计与实现

知识百科数栈君 发表了文章 • 0 个评论 • 43 次浏览 • 2024-03-06 10:32 • 来自相关话题

Hadoop安全防护体系构建与优化

知识百科数栈君 发表了文章 • 0 个评论 • 37 次浏览 • 2024-03-06 10:30 • 来自相关话题

探索Kudu与其他开源组件(如Hadoop、Flink)的协同效应

知识百科数栈君 发表了文章 • 0 个评论 • 56 次浏览 • 2024-03-05 11:18 • 来自相关话题

Apache Kudu作为一种新型的存储引擎,它在大数据领域中扮演着至关重要的角色,尤其是在与Apache Hadoop和Apache Flink这样的开源组件协作时,展现出了强大的互补性和协同效应。Kudu的核心优势与特性Kudu的设计目标是在大数据处理中弥... ...查看全部

ldap安装部署

技术共享数栈君 发表了文章 • 0 个评论 • 51 次浏览 • 2024-02-29 10:45 • 来自相关话题

一、关闭selinux和防火墙sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config  setenforce 0systemctl stop firewalld systemctl... ...查看全部

Hive与Impala对比分析:应用场景与性能考量

知识百科数栈君 发表了文章 • 0 个评论 • 70 次浏览 • 2024-02-28 10:02 • 来自相关话题

在大数据生态系统中,Hive和Impala是两个广受欢迎的查询引擎,它们分别解决了大量的数据处理和分析需求。尽管它们有着共同的目的,但在设计哲学、性能特性和适用场景上存在显著差异。本文将深入探讨Hive和Impala的应用场景与性能考量,帮助用户理解两者的优势... ...查看全部

Doris索引介绍

知识百科数栈君 发表了文章 • 0 个评论 • 65 次浏览 • 2024-01-26 10:53 • 来自相关话题

Doris存储介绍

知识百科数栈君 发表了文章 • 0 个评论 • 71 次浏览 • 2024-01-26 10:53 • 来自相关话题