大数据

大数据

袋鼠云代码检查服务,揭秘高质量代码背后的秘密

技术共享数栈君 发表了文章 • 0 个评论 • 7 次浏览 • 6 天前 • 来自相关话题

质量是产品的生命线,代码检查是软件开发过程中至关重要的一环,它可以帮助我们发现并纠正潜在的错误,提高软件质量,降低维护成本。在袋鼠云产品中也存在这个问题,由于离线数据开发人员 SQL 水平不一,导致代码书写混乱、SQL 代码运行问题较多。本文将介绍在离线产品中... ...查看全部

大数据集成平台验收

知识百科沸羊羊 发表了文章 • 0 个评论 • 10 次浏览 • 6 天前 • 来自相关话题

随着大数据的普及和应用,企业对大数据的需求日益增长。为了满足这种需求,许多公司选择构建自己的大数据集成平台。然而,构建一个大数据集成平台并不是一项简单的任务,需要经过严格的验收流程以确保其性能和可靠性。本文将详细介绍大数据集成平台的验收流程。首先,我们需要明确... ...查看全部

数据集成平台调度岗位

知识百科沸羊羊 发表了文章 • 0 个评论 • 14 次浏览 • 6 天前 • 来自相关话题

omi数据集成平台部署

知识百科沸羊羊 发表了文章 • 0 个评论 • 16 次浏览 • 6 天前 • 来自相关话题

1. 引言在当今的信息化时代,数据已经成为企业的新型石油。如何有效地管理和利用这些数据,是每个企业都需要面对的问题。Omi数据集成平台作为一种强大的数据集成工具,可以帮助企业解决这一问题。本文将详细介绍如何部署OMI数据集成平台。2. OMI数据集成平台简介O... ...查看全部

数据集成平台github

知识百科沸羊羊 发表了文章 • 0 个评论 • 10 次浏览 • 6 天前 • 来自相关话题

数据集成平台合同

知识百科沸羊羊 发表了文章 • 0 个评论 • 11 次浏览 • 6 天前 • 来自相关话题

flink定时器(Timer)

知识百科数栈君 发表了文章 • 0 个评论 • 11 次浏览 • 2023-09-26 10:03 • 来自相关话题

Spring Boot如何实现分布式消息队列

知识百科数栈君 发表了文章 • 0 个评论 • 12 次浏览 • 2023-09-26 09:59 • 来自相关话题

flink 从savepoint、checkpoint中恢复数据

网友分享数栈君 发表了文章 • 0 个评论 • 27 次浏览 • 2023-09-26 09:55 • 来自相关话题

前言提示:flink checkpoint重启:  flink作业因为故障导致restart strategy失败或升级flink版本重新发布任务,这时就需要从最近的checkpoint恢复。一般而言有两种方案,第一种方案是开启checkpoint且任务取消时... ...查看全部

RabbitMq监听器simple和direct

网友分享数栈君 发表了文章 • 0 个评论 • 11 次浏览 • 2023-09-26 09:47 • 来自相关话题

监听器类型 simple,direct区别1、消费者,channel,connection的关系首先明确,这里的consumer不是一台消费者机器,而是rabbitMq的最小消费单位,一台机器可以开启多个消费者,一个消费者总是对应一个channel。一个TCP... ...查看全部
条新动态, 点击查看
可以注册到同一个zk下 通过zk来分配节点任务想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术... 显示全部 »
可以注册到同一个zk下 通过zk来分配节点任务想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack/Taier  

“数据驱动”时代,企业为什么需要实时湖仓?

产品交流数栈君 发表了文章 • 0 个评论 • 81 次浏览 • 2023-09-05 17:42 • 来自相关话题

当谈到数据湖的时候,大家都在说,可以把所有数据(结构化/半结构化/非结构化)一股脑都丢进去,进行统一的元数据管理。然后上层计算对接,进行流批计算/OLAP 分析/算法分析。这个没问题,数据湖确实能承接底层的这部分能力,但是同时出现的问题也是不容忽视的。本文将关... ...查看全部

大数据计算引擎 EasyMR 如何简单高效管理 Yarn 资源队列

产品交流数栈君 发表了文章 • 0 个评论 • 97 次浏览 • 2023-08-31 17:46 • 来自相关话题

设想一下,作为一个开发人员,你现在所在的公司有一套线上的 Hadoop 集群。A部门经常做一些定时的 BI 报表,B部门则经常使用软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景,这个时候到底应该如何分配资源满足这两个任务呢?是先执行A的任务,再执行B... ...查看全部

袋鼠云数栈 DataOps 数据生产力实践,实现数据流程的自动化和规范化

产品交流数栈君 发表了文章 • 0 个评论 • 108 次浏览 • 2023-08-11 20:05 • 来自相关话题

袋鼠云产品团队在帮助企业进行数字化转型实践的过程中,发现很多企业在数据生产链路上都有着相同的问题。包括数据团队聚焦于业务需求短期内的快速交付,内部缺少自顶向下的数据生产管理制度,在数据标准、数据生产流程到研发规范的各个层面均存在不完善与不规范之处;很多环节依赖... ...查看全部

基于袋鼠云实时开发平台开发 FlinkSQL 任务的实践探索

产品交流数栈君 发表了文章 • 0 个评论 • 283 次浏览 • 2023-07-06 11:43 • 来自相关话题

随着业务的发展,实时场景在各个⾏业中变得越来越重要。⽆论是⾦融、电商还是物流,实时数据处理都成为了其中的关键环节。Flink 凭借其强⼤的流处理特性、窗⼝操作以及对各种数据源的⽀持,成为实时场景下的⾸选开发⼯具。FlinkSQL 通过 SQL 语⾔⾯向数据开发... ...查看全部

研产供销数据一体化,解码汽车集团企业的数据治理之道

最佳实践数栈君 发表了文章 • 0 个评论 • 270 次浏览 • 2023-07-06 11:40 • 来自相关话题

通过对数据质量的持续关注与不断改进,使OTA安全可靠地服务于客户,提升OTA升级成功率,实现“可进化的汽车”“无需到店即可升级”“车辆常用常新”。OTA(Over-The-Air,空中下载技术),是汽车使用的一种远程无线升级技术。车主只要保持联网的状态,汽车就... ...查看全部

如何成功实施一个数据治理项目?实施步骤有哪些?

产品交流数栈君 发表了文章 • 0 个评论 • 176 次浏览 • 2023-06-09 14:18 • 来自相关话题

企业数字化转型以数据为中心,通过数据驱动业务发展、管理协同和运营。因此,数字化转型关键在于数据,数据治理则需先行。从而更好激发数据生产要素潜能,实现业务数据化、数据价值化,助力企业数字化转型。那么何为数据治理?国际数据管理协会(DAMA)在其《DAMA数据管理... ...查看全部

聚力共建信创新生态,袋鼠云出席2023数博会信创论坛

公司动态数栈君 发表了文章 • 0 个评论 • 148 次浏览 • 2023-06-02 15:58 • 来自相关话题

5月28日,为期3天的2023中国国际大数据产业博览会落下帷幕。数博会由国家发展和改革委员会、工业和信息化部、国家互联网信息办公室、贵州省人民政府共同主办。本届数博会坚持“数据创造价值 创新驱动未来”的大会主题,以“数实相融 算启未来”为年度主题,开展丰富多彩... ...查看全部

袋鼠云出任福建省大数据产业商会监事单位

公司动态数栈君 发表了文章 • 0 个评论 • 126 次浏览 • 2023-05-04 10:26 • 来自相关话题

近日,福建省大数据产业商会成立大会暨第一届会员大会在福州新区滨海新城东湖数字小镇召开,省大数据集团有限公司董事高元荣当选为首任会长。福建省大数据产业商会是省内首家由国企牵头,联合数字经济头部民企发起成立的全省性、非营利性、行业性的社会组织。商会的联合发起单位均... ...查看全部

袋鼠云数栈V6.0全新产品矩阵发布,大数据计算引擎 EasyMR 焕新升级

产品交流数栈君 发表了文章 • 0 个评论 • 138 次浏览 • 2023-04-27 11:43 • 来自相关话题

4月20日,袋鼠云成功举行了以“数实融合,韧性生长”为主题的2023春季生长大会。会上,袋鼠云自主研发的一站式大数据基础软件——数栈V6.0产品矩阵全新发布。对旗下大数据基础平台、大数据开发与治理、数据智能分析与洞察三大模块的全线产品进行全新升级,并重点发布了... ...查看全部

数据开发提效有秘诀!离线开发BatchWorks 六大典型场景拆解

产品交流数栈君 发表了文章 • 0 个评论 • 210 次浏览 • 2023-04-12 10:25 • 来自相关话题

回顾大数据的发展历程,一句话概括就是海量数据的高效处理。在当今快节奏、不断变化的市场环境下,优秀的开发效率已经成为企业数字化转型的必备条件。数栈离线开发BatchWorks 是一款专注离线数据ELT开发的产品,采用先进的大数据生态底层技术,具备高性能且功能丰富... ...查看全部

佬麻烦问一下chunjun有根据名称映射传输数据的这个功能吗

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 129 次浏览 • 2023-03-28 11:11 • 来自相关话题

chunjun在处理数据的时候,是先把源端的数据都加载到内存后,再开始处理数据吗?

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 2 个回复 • 141 次浏览 • 2023-03-24 11:07 • 来自相关话题

chunjun- clients.jar里丢了很多依赖,我昨天群里问了,没人回复我

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 209 次浏览 • 2023-03-24 11:06 • 来自相关话题

从GitHub下载了master分支的源码,在idea使用 mvn clean package -DskipTests 打出来的包不完整,有遇到这个问题的同学吗

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 158 次浏览 • 2023-03-24 11:05 • 来自相关话题

我在测试读取MongoDB数据保存到另一个MongoDB空集合的时候,_id类型为objectid的时候显示exception为脏数据,

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 132 次浏览 • 2023-03-24 11:01 • 来自相关话题

我用chunjun同步数据,源端数据量1000w左右,这里一直是0,源端数据库那里一直在读取数据

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 132 次浏览 • 2023-03-24 11:00 • 来自相关话题

再请教一个问题,chunjun创建了一个oracleLogminer任务到flink上,任务会是一直运行状态吗?

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 2 个回复 • 156 次浏览 • 2023-03-23 14:23 • 来自相关话题

请教加,chunjun我这边想单独打个kafak的包,要怎么打??

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 183 次浏览 • 2023-03-23 14:22 • 来自相关话题

袋鼠云代码检查服务,揭秘高质量代码背后的秘密

技术共享数栈君 发表了文章 • 0 个评论 • 7 次浏览 • 6 天前 • 来自相关话题

质量是产品的生命线,代码检查是软件开发过程中至关重要的一环,它可以帮助我们发现并纠正潜在的错误,提高软件质量,降低维护成本。在袋鼠云产品中也存在这个问题,由于离线数据开发人员 SQL 水平不一,导致代码书写混乱、SQL 代码运行问题较多。本文将介绍在离线产品中... ...查看全部

大数据集成平台验收

知识百科沸羊羊 发表了文章 • 0 个评论 • 10 次浏览 • 6 天前 • 来自相关话题

随着大数据的普及和应用,企业对大数据的需求日益增长。为了满足这种需求,许多公司选择构建自己的大数据集成平台。然而,构建一个大数据集成平台并不是一项简单的任务,需要经过严格的验收流程以确保其性能和可靠性。本文将详细介绍大数据集成平台的验收流程。首先,我们需要明确... ...查看全部

数据集成平台调度岗位

知识百科沸羊羊 发表了文章 • 0 个评论 • 14 次浏览 • 6 天前 • 来自相关话题

omi数据集成平台部署

知识百科沸羊羊 发表了文章 • 0 个评论 • 16 次浏览 • 6 天前 • 来自相关话题

1. 引言在当今的信息化时代,数据已经成为企业的新型石油。如何有效地管理和利用这些数据,是每个企业都需要面对的问题。Omi数据集成平台作为一种强大的数据集成工具,可以帮助企业解决这一问题。本文将详细介绍如何部署OMI数据集成平台。2. OMI数据集成平台简介O... ...查看全部

数据集成平台github

知识百科沸羊羊 发表了文章 • 0 个评论 • 10 次浏览 • 6 天前 • 来自相关话题

数据集成平台合同

知识百科沸羊羊 发表了文章 • 0 个评论 • 11 次浏览 • 6 天前 • 来自相关话题

flink定时器(Timer)

知识百科数栈君 发表了文章 • 0 个评论 • 11 次浏览 • 2023-09-26 10:03 • 来自相关话题

Spring Boot如何实现分布式消息队列

知识百科数栈君 发表了文章 • 0 个评论 • 12 次浏览 • 2023-09-26 09:59 • 来自相关话题

flink 从savepoint、checkpoint中恢复数据

网友分享数栈君 发表了文章 • 0 个评论 • 27 次浏览 • 2023-09-26 09:55 • 来自相关话题

前言提示:flink checkpoint重启:  flink作业因为故障导致restart strategy失败或升级flink版本重新发布任务,这时就需要从最近的checkpoint恢复。一般而言有两种方案,第一种方案是开启checkpoint且任务取消时... ...查看全部

RabbitMq监听器simple和direct

网友分享数栈君 发表了文章 • 0 个评论 • 11 次浏览 • 2023-09-26 09:47 • 来自相关话题

监听器类型 simple,direct区别1、消费者,channel,connection的关系首先明确,这里的consumer不是一台消费者机器,而是rabbitMq的最小消费单位,一台机器可以开启多个消费者,一个消费者总是对应一个channel。一个TCP... ...查看全部