大数据技术交流

大数据技术本质上解决的是5个核心问题

网友分享 • 数栈君发表了文章 • 0 个评论 • 237 次浏览 • 2023-07-26 10:42 • 来自相关话题

大数据诞生之前的数据处理模式大数据是什么？其实大数据是满足数据达到海量这个规模以后，对这部分数据要完成存储包括计算的一种技术。但在数据没有达到海量规模之前，我们是不是有传统的数据处理架构去帮我们完成这部分数据的一个处理？首先从数据类型来说，我们处理的有结构化的... ...查看全部

一文详解大数据处理都分为哪几步？

网友分享 • 数栈君发表了文章 • 0 个评论 • 226 次浏览 • 2023-07-25 16:32 • 来自相关话题

数据的处理过程一般包括采集、传输、清洗、存储、计算、数据运用等环节。大体流程如下：这是最基本的流程，当然实际项目中会根据不同项目情况下中间的一些顺序可能会有些调整。数据采集：这是第一步，主要是对各种类型的数据通过各种方法进行采集，比如日志数据、文本文件、音视频... ...查看全部

Hive SQL on Flink 构建流批一体引擎

网友分享 • 数栈君发表了文章 • 0 个评论 • 175 次浏览 • 2023-06-01 17:18 • 来自相关话题

01构建流批一体引擎的挑战目前，流和批仍然是相对割裂的。虽然我们在应用层统一了，但从接入层开始，不同的引擎依旧有不同的接入层、API 层、执行层。我们认为，统一的流批一体引擎应该是从接入层开始使用 SQL Gateway 作为接入层。在 API 层使用 Fli... ...查看全部

Hybrid Shuffle 测试分析和使用建议

网友分享 • 数栈君发表了文章 • 0 个评论 • 135 次浏览 • 2023-06-01 17:15 • 来自相关话题

Hybrid Shuffle 的优势分析相比于传统的批式 Shuffle, Hybrid Shuffle 主要具备以下优势：调度：Hybrid Shuffle 打破了 Pipelined Shuffle 所有 Task 必须同时调度，Blocking Shuf... ...查看全部

谁知道哪里能配置mysql_sql的任务类型呀，我本地启动后，新建任务选不到这个，你们能选到吗~

Taier • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 197 次浏览 • 2023-02-14 15:28 • 来自相关话题

taier 1.3 master , 创建 FlinkSQL 任务，以kakfa中数据作为数据源， sql语法检查通过不了，这么写是问题在哪里呢，怎么修改

贡献

Taier • srgyk 回复了问题 • 1 人关注 • 5 个回复 • 217 次浏览 • 2023-02-14 14:59 • 来自相关话题

taier怎么与prometheus集成呀

Taier • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 199 次浏览 • 2023-02-14 14:47 • 来自相关话题

flinksql 事件时间怎么定义， kafka 的json中 ts字段是毫秒时间戳

Taier • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 244 次浏览 • 2023-02-14 14:46 • 来自相关话题

Flink提交流程&如何debug和跟踪流程（on yarn）

技术共享 • 数栈君发表了文章 • 0 个评论 • 540 次浏览 • 2023-02-14 14:05 • 来自相关话题

4月20日，袋鼠云数栈技术研发团队工程师兰洋（花名：莫问）为大家直播分享《Flink提交流程&如何debug和跟踪流程（on yarn）》。错过直播的朋友可以钉钉扫描文末的二维码，加入钉钉群回看直播，或者在b站搜索“袋鼠云”观看视频。b站视频网址：ht... ...查看全部

谁知道哪里能配置mysql_sql的任务类型呀，我本地启动后，新建任务选不到这个，你们能选到吗~

Taier • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 197 次浏览 • 2023-02-14 15:28 • 来自相关话题

taier 1.3 master , 创建 FlinkSQL 任务，以kakfa中数据作为数据源， sql语法检查通过不了，这么写是问题在哪里呢，怎么修改

Taier • srgyk 回复了问题 • 1 人关注 • 5 个回复 • 217 次浏览 • 2023-02-14 14:59 • 来自相关话题

taier怎么与prometheus集成呀

Taier • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 199 次浏览 • 2023-02-14 14:47 • 来自相关话题

flinksql 事件时间怎么定义， kafka 的json中 ts字段是毫秒时间戳

Taier • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 244 次浏览 • 2023-02-14 14:46 • 来自相关话题

大数据技术本质上解决的是5个核心问题

网友分享 • 数栈君发表了文章 • 0 个评论 • 237 次浏览 • 2023-07-26 10:42 • 来自相关话题

一文详解大数据处理都分为哪几步？

网友分享 • 数栈君发表了文章 • 0 个评论 • 226 次浏览 • 2023-07-25 16:32 • 来自相关话题

Hive SQL on Flink 构建流批一体引擎

网友分享 • 数栈君发表了文章 • 0 个评论 • 175 次浏览 • 2023-06-01 17:18 • 来自相关话题

Hybrid Shuffle 测试分析和使用建议

网友分享 • 数栈君发表了文章 • 0 个评论 • 135 次浏览 • 2023-06-01 17:15 • 来自相关话题

Flink提交流程&如何debug和跟踪流程（on yarn）

技术共享 • 数栈君发表了文章 • 0 个评论 • 540 次浏览 • 2023-02-14 14:05 • 来自相关话题

更多...

大数据技术本质上解决的是5个核心问题

一文详解大数据处理都分为哪几步？

Hive SQL on Flink 构建流批一体引擎

Hybrid Shuffle 测试分析和使用建议

谁知道哪里能配置mysql_sql的任务类型呀，我本地启动后，新建任务选不到这个，你们能选到吗~

taier 1.3 master , 创建 FlinkSQL 任务，以kakfa中数据作为数据源， sql语法检查通过不了，这么写是问题在哪里呢，怎么修改

taier怎么与prometheus集成呀

flinksql 事件时间怎么定义， kafka 的json中 ts字段是毫秒时间戳

Flink提交流程&如何debug和跟踪流程（on yarn）

谁知道哪里能配置mysql_sql的任务类型呀，我本地启动后，新建任务选不到这个，你们能选到吗~

taier 1.3 master , 创建 FlinkSQL 任务，以kakfa中数据作为数据源， sql语法检查通过不了，这么写是问题在哪里呢，怎么修改

taier怎么与prometheus集成呀

flinksql 事件时间怎么定义， kafka 的json中 ts字段是毫秒时间戳

大数据技术本质上解决的是5个核心问题

一文详解大数据处理都分为哪几步？

Hive SQL on Flink 构建流批一体引擎

Hybrid Shuffle 测试分析和使用建议

Flink提交流程&如何debug和跟踪流程（on yarn）

话题描述

相关话题

1 人关注该话题