数据采集

数据采集

老哥,请教一下,咱们的框架支持数据的同步过程中的转换操作不。还是必须得端到端字段一一对应。

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 99 次浏览 • 2023-08-31 17:59 • 来自相关话题

按照教程maven编译后报错,是我的姿势不太对么,请教一下。1.12.8版本

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 114 次浏览 • 2023-08-31 17:59 • 来自相关话题

flink SQL的状态初始化是在哪个源码实现的?找了很久没有看到相似的?大佬指点一下

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 114 次浏览 • 2023-08-31 17:58 • 来自相关话题

老师您好,我提交一个mysql到hdfs任务后报错,是包没更新到最新吗

ChunJun群内解答 回复了问题 • 1 人关注 • 3 个回复 • 125 次浏览 • 2023-08-31 17:58 • 来自相关话题

为什么我查的mysql中的ADD是一个保留字,但是却在非保留关键字里出现了呢?

ChunJun群内解答 回复了问题 • 1 人关注 • 3 个回复 • 108 次浏览 • 2023-08-31 17:57 • 来自相关话题

大佬们,chunjun框架支持数据etl过程,即数据的转换计算过程

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 101 次浏览 • 2023-08-31 17:57 • 来自相关话题

这段是有解决过网络抖动的问题吗

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 96 次浏览 • 2023-08-31 17:55 • 来自相关话题

这个错误能忽略不?也不知道啥问题

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 103 次浏览 • 2023-08-31 17:54 • 来自相关话题

另外请问一下binlogreader和mysqlcdcreader在实现方式上有什么区别

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 109 次浏览 • 2023-08-31 17:54 • 来自相关话题

请问http源怎么配动态参数,比如分页

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 91 次浏览 • 2023-08-31 17:53 • 来自相关话题

老哥,请教一下,咱们的框架支持数据的同步过程中的转换操作不。还是必须得端到端字段一一对应。

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 99 次浏览 • 2023-08-31 17:59 • 来自相关话题

按照教程maven编译后报错,是我的姿势不太对么,请教一下。1.12.8版本

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 1 个回复 • 114 次浏览 • 2023-08-31 17:59 • 来自相关话题

flink SQL的状态初始化是在哪个源码实现的?找了很久没有看到相似的?大佬指点一下

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 114 次浏览 • 2023-08-31 17:58 • 来自相关话题

老师您好,我提交一个mysql到hdfs任务后报错,是包没更新到最新吗

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 3 个回复 • 125 次浏览 • 2023-08-31 17:58 • 来自相关话题

为什么我查的mysql中的ADD是一个保留字,但是却在非保留关键字里出现了呢?

回复

ChunJun群内解答 回复了问题 • 1 人关注 • 3 个回复 • 108 次浏览 • 2023-08-31 17:57 • 来自相关话题

大佬们,chunjun框架支持数据etl过程,即数据的转换计算过程

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 101 次浏览 • 2023-08-31 17:57 • 来自相关话题

这段是有解决过网络抖动的问题吗

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 96 次浏览 • 2023-08-31 17:55 • 来自相关话题

这个错误能忽略不?也不知道啥问题

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 103 次浏览 • 2023-08-31 17:54 • 来自相关话题

另外请问一下binlogreader和mysqlcdcreader在实现方式上有什么区别

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 109 次浏览 • 2023-08-31 17:54 • 来自相关话题

请问http源怎么配动态参数,比如分页

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 91 次浏览 • 2023-08-31 17:53 • 来自相关话题

Elasticsearch查询文档--常见API篇(附详细代码和案例图文)

网友分享数栈君 发表了文章 • 0 个评论 • 136 次浏览 • 2023-05-23 11:08 • 来自相关话题

Java中API查询文档Elasticsearch在网页端查询文档对应的DSL语句如下:GET /hotel/_search{ "query": { "match": { "all": "如家" } }, "highlight": ... ...查看全部

计算消费后的余额&计算银行流水累计和&计算各部门工资排名前三位的员工-SQL开发实战系列(十四)

网友分享数栈君 发表了文章 • 0 个评论 • 162 次浏览 • 2023-03-01 14:39 • 来自相关话题

一、模拟计算消费流水账首先生成样例数据:SQL> with t as ( 2 select 1000 as 编号,'余额' as 项目,30000 as 金额 from dual 3 union all 4 select empno,to_c... ...查看全部

讨论一下常用聚集函数&通过执行计划看sum()over()对员工工资进行累加-SQL开发实战系列(十三)

网友分享数栈君 发表了文章 • 0 个评论 • 211 次浏览 • 2023-03-01 14:32 • 来自相关话题

一、常用聚集函数SQL> SELECT deptno, 2 AVG(sal)AS平均值,MIN(sal)AS最小值,MAX(sal)AS最大值,SUM(sal)工资合计,COUNT(*)总行数, 3 COUNT(comm)获得提成的人数, 4 ... ...查看全部

三问(如何对字符串字母去重后按字母顺序排列字符串?如何识别哪些字符串中包含数字?如何将分隔数据转换为多值IN列表?)-SQL开发实战(十二)

网友分享数栈君 发表了文章 • 0 个评论 • 162 次浏览 • 2023-03-01 14:27 • 来自相关话题

一、将分隔数据转换为多值IN列表工作中经常有这么一个场景,用户通过前端页面传入了一个字符串列表如:('CLARK,JONES,MARTIN'),要求根据这个串查询相关用户信息。开发人员需要你提供一个sql他嵌套到代码里面,想直接把这个字符串传给这个sql然后做... ...查看全部

拿几个案例讲讲translate|regexp_replace|listagg|wmsys.wm_concat|substr|regexp_substr常用函数-SQL开发实战系列(十一)

网友分享数栈君 发表了文章 • 0 个评论 • 204 次浏览 • 2023-03-01 13:51 • 来自相关话题

一、如何使用translate或regexp_replace提取姓名的大写首字母缩写现在有一个需求:将下面临时表中的首大写字母,中间加".“显示为"Z.Y.D”:with t as(select 'Zhao Yan Dong' as aa from dual)... ...查看全部

数据中台建设系列:什么是数据中台

网友分享数栈君 发表了文章 • 0 个评论 • 157 次浏览 • 2023-02-13 14:13 • 来自相关话题

01数据中台的前世今生在正式进入数据中台建设实践之前,我想花点时间先聊一聊大数据的发展史,这样更能理解数据中台诞生的原因。不管是学习一项知识,还是讨论一个问题,最好的方法都不应该是一头扎进细节里,而是应该先从时空的维度了解其来龙去脉,当你了解了一件事物的前因后... ...查看全部

数栈技术文章分享:你居然是这样的initialValue

技术共享小美 发表了文章 • 0 个评论 • 216 次浏览 • 2023-01-20 10:40 • 来自相关话题

一、initialValue的出处和定义initialValue的出处:AntDesign/Form表单件/getFieldDecorator(id,options)装饰器函数/第二个参数options/options.initialValue。链接地址:ht... ...查看全部

数栈技术分享:如何使用数栈进行数据采集?

产品交流小美 发表了文章 • 0 个评论 • 216 次浏览 • 2023-01-20 10:36 • 来自相关话题

一、从哪里采集数据我们谈大数据、用大数据、让数据产生价值的前提是,我们首先要有数据。我们讲数据中台“存”、“通”、“用”,首先就是“存”,我们要将数据放到中台里,以前是放在数据仓库里,在“存”的基础上,我们会将不同来源不同格式的数据进行梳理、把一个个数据孤岛打... ...查看全部

数据中台架构之数据采集数据存储 数据清洗 数据分析 数据可视化及数据应用

网友分享数栈君 发表了文章 • 0 个评论 • 856 次浏览 • 2022-12-28 14:27 • 来自相关话题

数据中台架构体系是企业信息化建设的核心。数据中台架构体系的建立,不仅能够有效地整合企业内部的数据资源,还能够有效地支撑企业信息化建设的全过程。一、数据中台通用体系架构 数据中台通用体系架构包括数据采集、数据存储、数据清洗、数据分析、数据可视化和数据应用等六个主... ...查看全部

数据仓库和数据集市:ODS、DW、DWD、DWM、DWS、ADS

网友分享包袋鼠 发表了文章 • 0 个评论 • 501 次浏览 • 2021-12-27 19:33 • 来自相关话题

数据流向应用示例何为数仓DWData warehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下,它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的,是为前端查询和分析作为基础,主要应用于OLAP(on-... ...查看全部