iceberg

iceberg

Hive SQL小文件合并优化方案

知识百科 • 数栈君 发表了文章 • 0 个评论 • 67 次浏览 • 2026-03-29 08:33 • 来自相关话题

在大数据处理与分析体系中，Hive SQL 作为企业级数据仓库的核心查询引擎，广泛应用于数据中台、数字孪生和数字可视化等场景。然而，随着数据量持续增长、任务调度频繁、分区粒度细化，Hive 表中常出现大量小文件（通常指小于 HDFS 块大小 128MB 或 2... ...查看全部

出海数据中台架构与实时数仓实现

知识百科 • 数栈君 发表了文章 • 0 个评论 • 72 次浏览 • 2026-03-28 15:30 • 来自相关话题

出海数据中台架构与实时数仓实现在全球化竞争加剧的背景下，越来越多中国企业将业务拓展至海外市场。无论是电商、SaaS、游戏，还是金融科技，企业都需要一套高效、稳定、可扩展的数据基础设施来支撑多区域、多语言、多时区的运营决策。而“出海数据中台”正是这一需求的核心载... ...查看全部

出海数据中台架构与实时数仓实现

知识百科 • 数栈君 发表了文章 • 0 个评论 • 73 次浏览 • 2026-03-27 17:37 • 来自相关话题

出海数据中台架构与实时数仓实现在全球化加速的背景下，越来越多的中国企业将业务拓展至海外，覆盖北美、欧洲、东南亚、中东等多元市场。然而，面对语言、时区、法规、支付方式、用户行为的显著差异，传统分散式数据管理方式已无法支撑精细化运营与实时决策。构建一套标准化、可扩... ...查看全部

基于Flink+Iceberg构建集团轻量化实时数据中台架构

知识百科 • 数栈君 发表了文章 • 0 个评论 • 421 次浏览 • 2025-09-09 13:59 • 来自相关话题

在当前数据驱动的商业环境中，构建一个高效、灵活、可扩展的数据中台架构，已成为大型集团企业实现数字化转型的核心任务。随着实时数据处理需求的不断增长，传统的批处理架构已难以满足业务对低延迟、高并发的实时分析需求。本文将围绕 Flink + Iceberg 技术组合... ...查看全部

shell脚本-expect

技术共享 • 数栈君 发表了文章 • 0 个评论 • 981 次浏览 • 2024-06-27 19:23 • 来自相关话题

一、概述      Expect是建立在tcl基础上的一个工具，Expect 是用来进行自动化控制和测试的工具。主要解决shell脚本中不可交互的问题。      在一些需要交互输入指令的场景下, 可通过脚本设置自动进行交互通信. 其交互流程是: spawn启... ...查看全部

flink sql 批处理

技术共享 • 数栈君 发表了文章 • 0 个评论 • 1059 次浏览 • 2024-06-27 19:22 • 来自相关话题

进入flink sql命令行Bashsql-client.shSource 表        与所有 SQL 引擎一样，Flink 查询操作是在表上进行。与传统数据库不同，Flink 不在本地管理静态数据；相反，它的查询在外部表上连续运行。       Fli... ...查看全部

数据湖Iceberg

技术共享 • 数栈君 发表了文章 • 0 个评论 • 1043 次浏览 • 2024-06-27 19:20 • 来自相关话题

1、概述         Iceberg 是一个面向海量数据分析场景的开放表格式（Table Format）。表格式（Table  Format）可以理解为元数据以及数据文件的一种组织方式，处于计算框架（Flink，Spark...） 之下，数据文件之上。2、... ...查看全部

kafka常用命令

知识百科 • 数栈君 发表了文章 • 0 个评论 • 770 次浏览 • 2024-01-17 10:34 • 来自相关话题

一、概述本文以 kafka_2.5.1 版本为例，描述的常用命令，在 3.x 版本上命令有所不同。二、主要命令kafka 启动命令：nohup bin/kafka-server-start.sh config/server.properties &1k... ...查看全部

Iceberg项目使用技巧

知识百科 • 数栈君 发表了文章 • 0 个评论 • 650 次浏览 • 2024-01-15 10:46 • 来自相关话题

Iceberg原理

知识百科 • 数栈君 发表了文章 • 0 个评论 • 655 次浏览 • 2024-01-15 10:46 • 来自相关话题

更多...

袋鼠云的数据湖解决方案选型的是那个框架？Hudi、Iceberg还是Delta Lake

数据中台 • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 2486 次浏览 • 2022-12-21 14:06 • 来自相关话题

没有更多了...

大佬们，早上好，我在1.12.8上做logminner然后发现nameMapping配置了未能生效，输出还是原表信息，大佬们有无遇到这个问题

回复

ChunJun • 150****6033 回复了问题 • 1 人关注 • 1 个回复 • 3011 次浏览 • 2023-10-26 14:36 • 来自相关话题

各位老师，我设置的namemapping死活不生效，没办法变成插入目标user下面的test表，老师能否看一下是哪里问题，感谢感谢

回复

ChunJun • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 1339 次浏览 • 2023-06-16 15:35 • 来自相关话题

老师有空帮忙看下哈，我只是想简单的配置flinksql读取es数据到mysql这样，但是实现失败

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 848 次浏览 • 2023-06-16 15:34 • 来自相关话题

我拉取了最新代码，还是报这个错误，请问这个是在哪个commit解决的

回复

ChunJun • 群内解答 回复了问题 • 1 人关注 • 2 个回复 • 1019 次浏览 • 2023-06-16 15:33 • 来自相关话题

老师问一下,es的source读取是需要什么特殊配置吗，

回复

ChunJun • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 925 次浏览 • 2023-06-16 15:32 • 来自相关话题

有人编译过 impala么？ https://native-toolchain.s3.amazonaws.com 官方的这个Maven 地址一直是403 有解决过的大佬么？

回复

ChunJun • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 1044 次浏览 • 2023-06-16 15:31 • 来自相关话题

老师们，我在1.12.8上做logminner然后发现nameMapping配置了未能生效，输出还是原表信息，name mapping是不支持吗？

回复

ChunJun • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 968 次浏览 • 2023-06-16 15:30 • 来自相关话题

请教下有没有对flink 写入iceberg有经验的铁子，

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 855 次浏览 • 2023-06-16 15:30 • 来自相关话题

请教下，纯钧现在可以支持多个输出吗？

回复

ChunJun • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 1247 次浏览 • 2023-06-16 15:29 • 来自相关话题

打扰各位老师 sink clickhouse 时 报错

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 1079 次浏览 • 2023-06-16 15:28 • 来自相关话题

没有更多了...

Hive SQL小文件合并优化方案

知识百科 • 数栈君 发表了文章 • 0 个评论 • 67 次浏览 • 2026-03-29 08:33 • 来自相关话题

在大数据处理与分析体系中，Hive SQL 作为企业级数据仓库的核心查询引擎，广泛应用于数据中台、数字孪生和数字可视化等场景。然而，随着数据量持续增长、任务调度频繁、分区粒度细化，Hive 表中常出现大量小文件（通常指小于 HDFS 块大小 128MB 或 2... ...查看全部

出海数据中台架构与实时数仓实现

知识百科 • 数栈君 发表了文章 • 0 个评论 • 72 次浏览 • 2026-03-28 15:30 • 来自相关话题

出海数据中台架构与实时数仓实现在全球化竞争加剧的背景下，越来越多中国企业将业务拓展至海外市场。无论是电商、SaaS、游戏，还是金融科技，企业都需要一套高效、稳定、可扩展的数据基础设施来支撑多区域、多语言、多时区的运营决策。而“出海数据中台”正是这一需求的核心载... ...查看全部

出海数据中台架构与实时数仓实现

知识百科 • 数栈君 发表了文章 • 0 个评论 • 73 次浏览 • 2026-03-27 17:37 • 来自相关话题

出海数据中台架构与实时数仓实现在全球化加速的背景下，越来越多的中国企业将业务拓展至海外，覆盖北美、欧洲、东南亚、中东等多元市场。然而，面对语言、时区、法规、支付方式、用户行为的显著差异，传统分散式数据管理方式已无法支撑精细化运营与实时决策。构建一套标准化、可扩... ...查看全部

基于Flink+Iceberg构建集团轻量化实时数据中台架构

知识百科 • 数栈君 发表了文章 • 0 个评论 • 421 次浏览 • 2025-09-09 13:59 • 来自相关话题

在当前数据驱动的商业环境中，构建一个高效、灵活、可扩展的数据中台架构，已成为大型集团企业实现数字化转型的核心任务。随着实时数据处理需求的不断增长，传统的批处理架构已难以满足业务对低延迟、高并发的实时分析需求。本文将围绕 Flink + Iceberg 技术组合... ...查看全部

shell脚本-expect

技术共享 • 数栈君 发表了文章 • 0 个评论 • 981 次浏览 • 2024-06-27 19:23 • 来自相关话题

一、概述      Expect是建立在tcl基础上的一个工具，Expect 是用来进行自动化控制和测试的工具。主要解决shell脚本中不可交互的问题。      在一些需要交互输入指令的场景下, 可通过脚本设置自动进行交互通信. 其交互流程是: spawn启... ...查看全部

flink sql 批处理

技术共享 • 数栈君 发表了文章 • 0 个评论 • 1059 次浏览 • 2024-06-27 19:22 • 来自相关话题

进入flink sql命令行Bashsql-client.shSource 表        与所有 SQL 引擎一样，Flink 查询操作是在表上进行。与传统数据库不同，Flink 不在本地管理静态数据；相反，它的查询在外部表上连续运行。       Fli... ...查看全部

数据湖Iceberg

技术共享 • 数栈君 发表了文章 • 0 个评论 • 1043 次浏览 • 2024-06-27 19:20 • 来自相关话题

1、概述         Iceberg 是一个面向海量数据分析场景的开放表格式（Table Format）。表格式（Table  Format）可以理解为元数据以及数据文件的一种组织方式，处于计算框架（Flink，Spark...） 之下，数据文件之上。2、... ...查看全部

kafka常用命令

知识百科 • 数栈君 发表了文章 • 0 个评论 • 770 次浏览 • 2024-01-17 10:34 • 来自相关话题

一、概述本文以 kafka_2.5.1 版本为例，描述的常用命令，在 3.x 版本上命令有所不同。二、主要命令kafka 启动命令：nohup bin/kafka-server-start.sh config/server.properties &1k... ...查看全部

Iceberg项目使用技巧

知识百科 • 数栈君 发表了文章 • 0 个评论 • 650 次浏览 • 2024-01-15 10:46 • 来自相关话题

Iceberg原理

知识百科 • 数栈君 发表了文章 • 0 个评论 • 655 次浏览 • 2024-01-15 10:46 • 来自相关话题

没有更多了...
热门产品
数雁EasyDigit 数栈DTinsight 数驹DTengine 易知微EasyV
解决方案
政务解决方案 港口解决方案 基金解决方案 制造解决方案 保险解决方案 高校解决方案 证券解决方案 文旅解决方案 银行解决方案 大宗商品解决方案
快速入口
合作与生态 开源社区 Github
联系我们

合作咨询 market@dtstack.com

联系电话 400-002-1024

总部地址 杭州市余杭区五常街道阿里巴巴数字生态创新园4号楼袋鼠云

袋鼠云官方订阅号
袋鼠云官方订阅号
热门搜索：
数据中台 企业数据中台 金融数据中台 离线数据中台 数据中台公司 一站式数据中台 数据中台开发 一站式数据开发 数据中台解决方案 大数据分析 数据分析平台 新基建 大数据开发 大数据开发平台 数据化转型解决方案 信创 数据可视化 数字孪生 可视化大屏 数字化转型

友情链接： 易知微 云掣

@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号