Hadoop

远程调试Hadoop任务的高效方法及工具推荐

知识百科 • 数栈君发表了文章 • 0 个评论 • 11 次浏览 • 4 天前 • 来自相关话题

远程调试Hadoop任务的高效方法及工具推荐在现代数据驱动的业务环境中，Hadoop作为分布式计算框架，广泛应用于大数据处理和分析任务。然而，Hadoop任务的调试和排查往往面临复杂性和挑战，特别是在远程环境下。为了提高效率，企业需要掌握远程调试Hadoop任... ...查看全部

Hadoop核心参数优化策略与性能调优技巧

知识百科 • 数栈君发表了文章 • 0 个评论 • 11 次浏览 • 4 天前 • 来自相关话题

Hadoop核心参数优化策略与性能调优技巧在大数据时代，Hadoop作为分布式计算框架，被广泛应用于数据处理和分析。然而，Hadoop的性能优化是一个复杂且关键的任务，直接影响到系统的效率和成本。本文将深入探讨Hadoop的核心参数优化策略与性能调优技巧，为企... ...查看全部

Hadoop分布式文件系统数据存储与管理技术详解

知识百科 • 数栈君发表了文章 • 0 个评论 • 10 次浏览 • 4 天前 • 来自相关话题

Hadoop分布式文件系统数据存储与管理技术详解引言在大数据时代，数据的存储与管理变得尤为重要。Hadoop分布式文件系统（HDFS）作为一种高效、可靠的分布式存储系统，广泛应用于企业数据中台、数字孪生和数字可视化等领域。本文将详细探讨HDFS的核心技术、工作... ...查看全部

Hadoop分布式文件系统数据存储与优化技术探讨

知识百科 • 数栈君发表了文章 • 0 个评论 • 8 次浏览 • 4 天前 • 来自相关话题

Hadoop分布式文件系统数据存储与优化技术探讨Hadoop作为一种广泛应用于大数据处理的分布式计算框架，其核心组件Hadoop Distributed File System（HDFS）在数据存储和管理方面扮演着至关重要的角色。本文将深入探讨Hadoop分布... ...查看全部

Hadoop分布式文件系统数据存储与管理技术详解

知识百科 • 数栈君发表了文章 • 0 个评论 • 11 次浏览 • 4 天前 • 来自相关话题

Hadoop分布式文件系统数据存储与管理技术详解一、Hadoop分布式文件系统概述Hadoop分布式文件系统（HDFS）是Hadoop平台的核心组件之一，主要用于处理大规模数据存储与管理。HDFS的设计初衷是为了支持大规模数据集的分布式存储和计算，适用于高容错... ...查看全部

基于Apache Hadoop的批处理计算框架实现详解

知识百科 • 数栈君发表了文章 • 0 个评论 • 6 次浏览 • 4 天前 • 来自相关话题

# 基于Apache Hadoop的批处理计算框架实现详解在当今数据驱动的时代，批处理计算作为一种高效的数据处理方式，正被广泛应用于企业的数据中台、数字孪生和数字可视化等领域。Apache Hadoop作为最流行的批处理计算框架之一，凭借其强大的扩展性和高容错... ...查看全部

基于大数据的矿产可视化大屏技术实现方法

知识百科 • 数栈君发表了文章 • 0 个评论 • 8 次浏览 • 4 天前 • 来自相关话题

基于大数据的矿产可视化大屏技术实现方法随着大数据技术的快速发展，矿产行业逐渐从传统的人工化管理向数字化、智能化转型。矿产可视化大屏作为数据驱动决策的重要工具，能够直观展示矿产资源的分布、开采情况、生产效率等信息，为企业管理者提供科学的决策依据。本文将深入探讨矿... ...查看全部

Hadoop核心参数优化详解：提升MapReduce性能技巧

知识百科 • 数栈君发表了文章 • 0 个评论 • 7 次浏览 • 4 天前 • 来自相关话题

Hadoop核心参数优化详解：提升MapReduce性能技巧在大数据处理领域，Hadoop MapReduce框架以其高效的分布式计算能力，成为企业处理海量数据的核心工具。然而，MapReduce性能的优化离不开对Hadoop核心参数的深入理解和精细调优。本文... ...查看全部

Hadoop核心参数优化详解：提升MapReduce性能配置技巧

知识百科 • 数栈君发表了文章 • 0 个评论 • 10 次浏览 • 4 天前 • 来自相关话题

### Hadoop核心参数优化详解：提升MapReduce性能配置技巧Hadoop作为大数据处理领域的核心框架，其性能优化一直是企业和开发者关注的重点。MapReduce作为Hadoop的核心计算模型，其性能表现直接影响到整个数据处理流程的效率。在实际应用中... ...查看全部

Hadoop核心参数调优详解：提升性能的关键配置方法

知识百科 • 数栈君发表了文章 • 0 个评论 • 11 次浏览 • 4 天前 • 来自相关话题

Hadoop核心参数调优详解：提升性能的关键配置方法在大数据时代，Hadoop作为分布式计算框架，被广泛应用于数据中台、数字孪生和数字可视化等领域。然而，Hadoop的性能表现不仅取决于其架构设计，还与核心参数的配置密切相关。本文将深入探讨Hadoop的核心参... ...查看全部

国产化方案如何破解数据迁移困局？

产品交流 • 数栈君发表了文章 • 0 个评论 • 192 次浏览 • 2025-05-27 15:24 • 来自相关话题

在当下，Cloudera CDH/HDP 停止更新，CDP 订阅成本急剧攀升，与此同时，金融、能源等行业的国产化政策加速落地。种种因素叠加，企业正面临着从传统大数据平台向国产化架构迁移的紧迫需求。本文将深度剖析大数据迁移过程中的四大核心挑战，并给出三大行之有效... ...查看全部

AI已经很聪明了，为什么我们还需要“ AI Agent 平台”？

产品交流 • 数栈君发表了文章 • 0 个评论 • 232 次浏览 • 2025-05-27 15:14 • 来自相关话题

在过去一年中，大模型能力不断跃升，AI应用层一度呈现“百花齐放”的局面。但当热潮褪去，产业界出现了一个更值得关注的现象：越来越多企业，特别是技术中台能力较强的大厂，开始“偷偷地”将注意力转向了AI Agent平台的建设。这不是一场突然兴起的技术热潮，而是AI系... ...查看全部

Dinky 扩展批流统一数据集成框架 ChunJun 的实践分享

ChunJun • 数栈君发表了文章 • 0 个评论 • 2256 次浏览 • 2022-11-18 15:36 • 来自相关话题

一、前言ChunJun（原 FlinkX）是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具，既可以采集静态的数据，比如 MySQL，HDFS 等，也可以采集实时变化的数据，比如 binlog，Kafka 等。同时 ChunJun 也是一个支... ...查看全部

一文读懂什么是Hadoop？

技术共享 • 花袋鼠发表了文章 • 0 个评论 • 1311 次浏览 • 2021-11-04 11:34 • 来自相关话题

01引言2011年的时候我们在百度搜索Hadoop相关的问题每天只有零星几个，2015年再去百度搜索Hadoop已经有800多万个问题，而如今已然已经过亿了，Hadoop已成为大数据必备的基础设施了。Hadoop被公认是一套行业大数据标准开源软件，在分布式环境... ...查看全部

各位大佬，我现在在尝试通过kubernetes-session方式运行chunjun syncjob 任务。现在遇到的问题是当任务提交到session集群是报jar missing错误

ChunJun • 群内解答回复了问题 • 1 人关注 • 3 个回复 • 904 次浏览 • 2023-05-26 10:43 • 来自相关话题

大佬们，chunjun，yan-prejob 启动时会报空，这是什么原因呢

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 886 次浏览 • 2023-05-26 10:41 • 来自相关话题

有没有大佬遇到过把chunjun-dist 放到 flink lib里面创建 iceberg的连接器失败，去掉就可以创建，版本1.16

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 873 次浏览 • 2023-05-26 10:41 • 来自相关话题

问下大家 flink在提交任务后，在源端数据库会有一个进程

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 755 次浏览 • 2023-05-26 10:40 • 来自相关话题

我修改了flink-json的源代码暂时绕过去了

ChunJun • 群内解答回复了问题 • 1 人关注 • 2 个回复 • 934 次浏览 • 2023-05-26 10:40 • 来自相关话题

请教各位大佬一个问题哈，目前chunjun支持postgresql数据库11版本备库实时数据同步吗？

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 846 次浏览 • 2023-05-26 10:38 • 来自相关话题

啥时候能把flink cdc的版本提升呀

ChunJun • 群内解答回复了问题 • 1 人关注 • 2 个回复 • 859 次浏览 • 2023-05-26 10:29 • 来自相关话题

1.13 和1.16的 json包结构发生了变化；mapper对象修改了不在构造方法中创建了；

ChunJun • 群内解答回复了问题 • 1 人关注 • 1 个回复 • 1071 次浏览 • 2023-05-26 10:28 • 来自相关话题

有大佬遇到过这个问题吗？使用docker镜像进行ES数据同步，

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 724 次浏览 • 2023-05-26 10:27 • 来自相关话题

咱们使用mysql当做sink时，有一个D的删除操作，生成的语句为什么是根据所有字段删除的，不是根据主键删除，而且为什么如果是null的时候是= null而不是is null，导致删除失败了

ChunJun • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 817 次浏览 • 2023-05-26 10:24 • 来自相关话题

远程调试Hadoop任务的高效方法及工具推荐

知识百科 • 数栈君发表了文章 • 0 个评论 • 11 次浏览 • 4 天前 • 来自相关话题

Hadoop核心参数优化策略与性能调优技巧

知识百科 • 数栈君发表了文章 • 0 个评论 • 11 次浏览 • 4 天前 • 来自相关话题

Hadoop分布式文件系统数据存储与管理技术详解

知识百科 • 数栈君发表了文章 • 0 个评论 • 10 次浏览 • 4 天前 • 来自相关话题

Hadoop分布式文件系统数据存储与优化技术探讨

知识百科 • 数栈君发表了文章 • 0 个评论 • 8 次浏览 • 4 天前 • 来自相关话题

Hadoop分布式文件系统数据存储与管理技术详解

知识百科 • 数栈君发表了文章 • 0 个评论 • 11 次浏览 • 4 天前 • 来自相关话题

基于Apache Hadoop的批处理计算框架实现详解

知识百科 • 数栈君发表了文章 • 0 个评论 • 6 次浏览 • 4 天前 • 来自相关话题

基于大数据的矿产可视化大屏技术实现方法

知识百科 • 数栈君发表了文章 • 0 个评论 • 8 次浏览 • 4 天前 • 来自相关话题

Hadoop核心参数优化详解：提升MapReduce性能技巧

知识百科 • 数栈君发表了文章 • 0 个评论 • 7 次浏览 • 4 天前 • 来自相关话题

Hadoop核心参数优化详解：提升MapReduce性能配置技巧

知识百科 • 数栈君发表了文章 • 0 个评论 • 10 次浏览 • 4 天前 • 来自相关话题

Hadoop核心参数调优详解：提升性能的关键配置方法

知识百科 • 数栈君发表了文章 • 0 个评论 • 11 次浏览 • 4 天前 • 来自相关话题

更多...

远程调试Hadoop任务的高效方法及工具推荐

Hadoop核心参数优化策略与性能调优技巧

Hadoop分布式文件系统数据存储与管理技术详解

Hadoop分布式文件系统数据存储与优化技术探讨

Hadoop分布式文件系统数据存储与管理技术详解

基于Apache Hadoop的批处理计算框架实现详解

基于大数据的矿产可视化大屏技术实现方法

Hadoop核心参数优化详解：提升MapReduce性能技巧

Hadoop核心参数优化详解：提升MapReduce性能配置技巧

Hadoop核心参数调优详解：提升性能的关键配置方法

各位大佬，我现在在尝试通过kubernetes-session方式运行chunjun syncjob 任务。现在遇到的问题是当任务提交到session集群是报jar missing错误

大佬们，chunjun，yan-prejob 启动时会报空，这是什么原因呢

有没有大佬遇到过把chunjun-dist 放到 flink lib里面创建 iceberg的连接器失败，去掉就可以创建，版本1.16

问下大家 flink在提交任务后，在源端数据库会有一个进程

我修改了flink-json的源代码暂时绕过去了

请教各位大佬一个问题哈，目前chunjun支持postgresql数据库11版本备库实时数据同步吗？

啥时候能把flink cdc的版本提升呀

1.13 和1.16的 json包结构发生了变化；mapper对象修改了不在构造方法中创建了；

有大佬遇到过这个问题吗？使用docker镜像进行ES数据同步，

咱们使用mysql当做sink时，有一个D的删除操作，生成的语句为什么是根据所有字段删除的，不是根据主键删除，而且为什么如果是null的时候是= null而不是is null，导致删除失败了

远程调试Hadoop任务的高效方法及工具推荐

Hadoop核心参数优化策略与性能调优技巧

Hadoop分布式文件系统数据存储与管理技术详解

Hadoop分布式文件系统数据存储与优化技术探讨

Hadoop分布式文件系统数据存储与管理技术详解

基于Apache Hadoop的批处理计算框架实现详解

基于大数据的矿产可视化大屏技术实现方法

Hadoop核心参数优化详解：提升MapReduce性能技巧

Hadoop核心参数优化详解：提升MapReduce性能配置技巧

Hadoop核心参数调优详解：提升性能的关键配置方法

话题描述

相关话题

1 人关注该话题