1.概述Flink CDC 是Apache Flink ®的一组源连接器，使用变更数据捕获 (CDC) 从不同数据库中获取变更。Apache Flink 的 CDC Connectors集成 Debezium 作为捕获数据更改的引擎。所以它可以充分发挥 Deb...
数栈君 发表于2024-02-05 10:17
336
0
记者1月31日从上海数据交易所获悉，近日，依托上海数据交易所构建的全链条数商生态和数据资产入表综合服务，CBD国际集团全资子公司北京商务中心区信链科技有限公司（下称“信链科技”）完成北京市朝阳区国企首单数据资产入表，并建立数据资产化的长效机制。这是上海数据交易...
沸羊羊 发表于2024-02-02 15:44
200
0
在大数据时代，数据已经成为企业的核心资产。然而，随着数据量的不断增加，数据安全问题也愈发突出。如何保障数据安全，成为企业必须面对的难题。作为中国新一代信息安全技术企业的代表厂商，明朝万达数据安全专家对数据安全领域未来一年的发展趋势进行了预测，旨在帮助企业更好地...
沸羊羊 发表于2024-02-02 15:42
244
0
Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身...
沸羊羊 发表于2024-02-02 15:39
268
0
Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hiv...
沸羊羊 发表于2024-02-02 15:39
305
0
引言我们在运维数据库的时候，经常会面对这样的问题：数据库现在运行得怎么样有哪些会话在执行，当前状态是什么，在执行什么SQL哪些会话被阻塞，阻塞原因是什么会话是从哪些IP连接过来的，使用了什么账号通过这篇文章介绍的方法，我们可以快速找到SQL Server中正在...
数栈君 发表于2024-01-31 10:37
237
0
背景节点报CPU使用率高，需要定位是什么进程占用CPU使用率高。CPU使用率持续较高在对应节点使用 “top”命令，然后键盘输入“P”，即按照CPU使用率排序进程。执行ps -ef | grep 使用率高的pid>。确认该进程的详细信息，确认该进程的日志...
数栈君 发表于2024-01-31 10:32
208
0
问题背景数栈数据质量模块，接入客户的数据源后，一执行就报错。报错信息：{"logInfo": {{"jobid":"1a4ebbbd","msg_info":"2021-12-20 14:23:54:submit job is success"}} "engi...
数栈君 发表于2024-01-29 11:33
287
0
1 综述1.1 综述本指导书旨在指导大数据集群使用者在大数据集群小文件较多的情况下，针对小文件进行优化处理，有效减小集群文件对象数目，减缓namenode所承载的压力，减少mapreduce任务扫描文件数。2 关于小文件2.1 什么是小文件小文件是指文件大小明...
数栈君 发表于2024-01-29 11:31
491
0
Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和、Hiv...
数栈君 发表于2024-01-29 11:29
214
0
@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号
