1、概述 Iceberg 是一个面向海量数据分析场景的开放表格式（Table Format）。表格式（Table Format）可以理解为元数据以及数据文件的一种组织方式，处于计算框架（Flink，Spark...） 之下，数据文件之上。2、...
数栈君 发表于2024-06-27 19:20
420
0
在当下的企业管理中，由于数据量的激增，管理方式逐渐从基于经验转向基于数据。在此过程中，我们能够通过数据探查业务情况、分析数据，从而获取更优的决策支持数据。这通常通过数据报表或分析平台来实现，对于临时性场景，则会基于日常取数方式进行临时数据分析。但在此过程中，由...
数栈君 发表于2024-06-27 19:19
680
0
什么是canalcanal，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。这里我们可以简单地把canal理解为一个用来同步增量数据的一个工具。工作原理MySQL主备复制原理MySQL master 将数据变更写入二进制日志( bina...
数栈君 发表于2024-06-26 11:15
431
0
在当今数据驱动的时代，企业对数据的实施性能力提出了前所未有的高要求。为了应对这一挑战，构建高效、灵活且可扩展的实时湖仓成为数字化转型的关键。本文将深入探讨袋鼠云数栈如何通过三大核心实践——ChunJun 融合 Flink CDC、MySQL 一键入湖至 Pai...
数栈君 发表于2024-06-26 11:13
746
0
canal formatCanal 是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或 protobuf 序列...
数栈君 发表于2024-06-25 10:41
367
0
HiveCatalogHiveCatalog 有两个用途：作为原生 Flink 元数据的持久化存储，以及作为读写现有 Hive 元数据的接口。配置在flink-sql-connector-hive-1.2.2_2.12-1.15.0.jar包上传到lfink ...
数栈君 发表于2024-06-25 10:39
339
0
简介 在使用 Hive 方言时，Flink 允许用户用 Hive 语法来编写 SQL 语句。 通过提供与 Hive 语法的兼容性，我们旨在改善与 Hive 的互操作性，并减少用户需要在 Flink 和 Hive 之间切换来执行不同语句的情况。配置F...
数栈君 发表于2024-06-24 17:34
324
0
前言本篇文章介绍一些 MySQL 中常用的监控指标，常见的监控工具都是采集 MySQL 中的状态变量（status variables）理解这些状态变量，可以更好的帮助我们理解 MySQL 监控的含义及配置有效完备的监控，从而游刃有余的定位数据库的性能问题。1...
数栈君 发表于2024-06-24 17:32
378
0
一、docker有时候pull很慢有时候docker去pull某些镜像的时候，会很慢，几十k的下载，如果是非常大的镜像，那基本上是不奢望能下载下来的了，因为下载往往要等待很久，甚至会出现进度条停止下载卡死的情况。其实原因是：因为我们docker默认镜像地址是国...
数栈君 发表于2024-06-21 15:37
1811
0
前言 由于大数据开发中经常需要用到Zookeeper、Hadoop、Spark、HBase、Kafka、Flume、Redis、Hive等软件，安装的时候需要它们的下载地址，这里就汇总一下，方便同学们查找。一、软件下载地址如下VMware下载地址：https...
数栈君 发表于2024-06-21 15:32
347
0
@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号
