数据框架

springboot简单使用kafka消费者监听，以及kafka配置账号密码

网友分享 • 数栈君发表了文章 • 0 个评论 • 1500 次浏览 • 2023-08-04 09:56 • 来自相关话题

1.引入依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-k... ...查看全部

elasticsearch数据同步到hive

网友分享 • 数栈君发表了文章 • 0 个评论 • 834 次浏览 • 2023-07-31 11:29 • 来自相关话题

背景来自用户的需求: 用户有一部分数据来自 elasticsearch ，我们已经支持了通过 presto 查询 es 数据。但是用户需要将 es 表和 hive 表做关联查询，而 presto 是不能跨数据源进行 join 查询的。所以需要先把 es 数据... ...查看全部

大数据在技术架构上所带来的挑战

知识百科 • 数栈君发表了文章 • 0 个评论 • 694 次浏览 • 2023-07-25 16:32 • 来自相关话题

大数据在技术架构上所面临的挑战随着数据的快速增长，大数据已经成为企业不可或缺的资源之一。然而，随着大数据的复杂性和规模的不断扩大，企业在技术架构上面临着越来越多的挑战。本文将探讨大数据在技术架构上所面临的挑战，以及如何应对这些挑战。一、大数据技术架构的挑战数据... ...查看全部

【SpringCloud】Eureka 案例上手稍微带点原理

知识百科 • 数栈君发表了文章 • 0 个评论 • 446 次浏览 • 2023-07-05 14:12 • 来自相关话题

【大数据hive】hive 拉链表设计与实现

网友分享 • 数栈君发表了文章 • 0 个评论 • 849 次浏览 • 2023-07-05 12:01 • 来自相关话题

一、前言做过电商开发的同学对订单的业务应该不陌生，比如对一条订单数据来说，通常会有一个类似于status的字段来标识这个订单的完整的生命周期，从存储的数据来看，一张表只需要存储这一条数据即可。但是对于数据分析来看，为了跟踪这个订单的全生命周期的完整过程来说，这... ...查看全部

大数据处理利器：使用 Hadoop 进行数据处理的步骤及实例

网友分享 • 数栈君发表了文章 • 0 个评论 • 599 次浏览 • 2023-07-05 11:57 • 来自相关话题

HadoopHadoop是一个由Apache基金会开发的分布式计算框架，可以处理海量数据。它包括两个核心组件：Hadoop分布式文件系统（HDFS）和MapReduce计算框架。HDFS是一个分布式的文件系统，可以存储大量的数据，并且可以在集群的多个节点上进行... ...查看全部

有谁可以回答一下，chunjun flink作业的checkpoint如何配置开启

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 593 次浏览 • 2023-04-27 17:34 • 来自相关话题

要支持分区表全量同步，配置表的hdfs路径后怎么找子分区目录，要怎么配置，能给个json样例吗

贡献

ChunJun • 群内解答回复了问题 • 1 人关注 • 1 个回复 • 522 次浏览 • 2023-04-27 17:27 • 来自相关话题

现在是不是chunjun只支持SqlServerCDC实时同步到hive，不知道支持到其他关系型数据库

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 501 次浏览 • 2023-04-27 17:26 • 来自相关话题

大佬，'properties.sftpConf' = '{"host"="172.25.217.57","username"="root"}'这个怎么填，一直读取不到

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 483 次浏览 • 2023-04-27 17:25 • 来自相关话题

有谁可以回答一下，chunjun flink作业的checkpoint如何配置开启

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 593 次浏览 • 2023-04-27 17:34 • 来自相关话题

要支持分区表全量同步，配置表的hdfs路径后怎么找子分区目录，要怎么配置，能给个json样例吗

ChunJun • 群内解答回复了问题 • 1 人关注 • 1 个回复 • 522 次浏览 • 2023-04-27 17:27 • 来自相关话题

现在是不是chunjun只支持SqlServerCDC实时同步到hive，不知道支持到其他关系型数据库

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 501 次浏览 • 2023-04-27 17:26 • 来自相关话题

大佬，'properties.sftpConf' = '{"host"="172.25.217.57","username"="root"}'这个怎么填，一直读取不到

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 483 次浏览 • 2023-04-27 17:25 • 来自相关话题

chunjun为什么这个样例无法执行呢？

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 464 次浏览 • 2023-04-27 17:25 • 来自相关话题

date报这个错，是我哪里写错了吗

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 464 次浏览 • 2023-04-27 17:24 • 来自相关话题

chunjun的checkpoint在 json文件中如何配置，还是仅仅需要配置 restore即可，但是我在代码中没有发现checkpoint的代码，只能全局开启么

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 557 次浏览 • 2023-04-27 17:22 • 来自相关话题

进行Kerberos认证的时候对应的认证文件可以通过ssh的方式获取吗？对应的chujun任务文件如何更改？

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 439 次浏览 • 2023-04-27 17:22 • 来自相关话题

大佬帮忙看一下这个配置有问题吗？SqlServer向mysql实时同步数据，向mysql写入数据的时候，总是报错：Table 'dbo.xs_yfmb' doesn't exist，

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 448 次浏览 • 2023-04-27 17:22 • 来自相关话题

大佬这就是编译打包后的包路径？

ChunJun • 群内解答回复了问题 • 1 人关注 • 1 个回复 • 498 次浏览 • 2023-04-27 17:20 • 来自相关话题

springboot简单使用kafka消费者监听，以及kafka配置账号密码

网友分享 • 数栈君发表了文章 • 0 个评论 • 1500 次浏览 • 2023-08-04 09:56 • 来自相关话题

1.引入依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-k... ...查看全部

elasticsearch数据同步到hive

网友分享 • 数栈君发表了文章 • 0 个评论 • 834 次浏览 • 2023-07-31 11:29 • 来自相关话题

大数据在技术架构上所带来的挑战

知识百科 • 数栈君发表了文章 • 0 个评论 • 694 次浏览 • 2023-07-25 16:32 • 来自相关话题

【SpringCloud】Eureka 案例上手稍微带点原理

知识百科 • 数栈君发表了文章 • 0 个评论 • 446 次浏览 • 2023-07-05 14:12 • 来自相关话题

【大数据hive】hive 拉链表设计与实现

网友分享 • 数栈君发表了文章 • 0 个评论 • 849 次浏览 • 2023-07-05 12:01 • 来自相关话题

大数据处理利器：使用 Hadoop 进行数据处理的步骤及实例

网友分享 • 数栈君发表了文章 • 0 个评论 • 599 次浏览 • 2023-07-05 11:57 • 来自相关话题

FlinkX HDFS Write vs StreamFileSink设计原理与使用丨直播回顾

网友分享 • 数栈君发表了文章 • 0 个评论 • 860 次浏览 • 2021-12-06 20:32 • 来自相关话题

哈喽！朋友们11月23日晚19:00袋鼠云数栈的大数据引擎开发技术大咖-渡劫在钉钉群、微信视频号和B站同步直播FlinkX技术分享《FlinkX HDFS Write vs StreamFileSink设计原理与使用》有没有看呢？我们看过的小伙伴都表示学到了渡... ...查看全部

更多...

springboot简单使用kafka消费者监听，以及kafka配置账号密码

elasticsearch数据同步到hive

大数据在技术架构上所带来的挑战

【SpringCloud】Eureka 案例上手稍微带点原理

【大数据hive】hive 拉链表设计与实现

大数据处理利器：使用 Hadoop 进行数据处理的步骤及实例

有谁可以回答一下，chunjun flink作业的checkpoint如何配置开启

要支持分区表全量同步，配置表的hdfs路径后怎么找子分区目录，要怎么配置，能给个json样例吗

现在是不是chunjun只支持SqlServerCDC实时同步到hive，不知道支持到其他关系型数据库

大佬，'properties.sftpConf' = '{"host"="172.25.217.57","username"="root"}'这个怎么填，一直读取不到

有谁可以回答一下，chunjun flink作业的checkpoint如何配置开启

要支持分区表全量同步，配置表的hdfs路径后怎么找子分区目录，要怎么配置，能给个json样例吗

现在是不是chunjun只支持SqlServerCDC实时同步到hive，不知道支持到其他关系型数据库

大佬，'properties.sftpConf' = '{"host"="172.25.217.57","username"="root"}'这个怎么填，一直读取不到

chunjun为什么这个样例无法执行呢？

date报这个错，是我哪里写错了吗

chunjun的checkpoint在 json文件中如何配置，还是仅仅需要配置 restore即可，但是我在代码中没有发现checkpoint的代码，只能全局开启么

进行Kerberos认证的时候对应的认证文件可以通过ssh的方式获取吗？对应的chujun任务文件如何更改？

大佬帮忙看一下这个配置有问题吗？SqlServer向mysql实时同步数据，向mysql写入数据的时候，总是报错：Table 'dbo.xs_yfmb' doesn't exist，

大佬这就是编译打包后的包路径？

springboot简单使用kafka消费者监听，以及kafka配置账号密码

elasticsearch数据同步到hive

大数据在技术架构上所带来的挑战

【SpringCloud】Eureka 案例上手稍微带点原理

【大数据hive】hive 拉链表设计与实现

大数据处理利器：使用 Hadoop 进行数据处理的步骤及实例

FlinkX HDFS Write vs StreamFileSink设计原理与使用丨直播回顾

话题描述

相关话题

1 人关注该话题