任务调度

YARN Capacity Scheduler中跨队列权重配置的资源共享模式研究

知识百科 • 数栈君发表了文章 • 0 个评论 • 3 次浏览 • 19 小时前 • 来自相关话题

YARN Capacity Scheduler中跨队列权重配置的资源共享模式研究在大数据处理环境中，YARN（Yet Another Resource Negotiator）作为资源管理的核心组件，其Capacity Scheduler（容量调度器）是实现... ...查看全部

Hadoop存算分离架构中任务调度优先级算法设计

知识百科 • 数栈君发表了文章 • 0 个评论 • 3 次浏览 • 19 小时前 • 来自相关话题

Hadoop存算分离架构是一种将存储和计算分离的分布式系统设计方法，旨在优化资源利用率和任务调度效率。在存算分离架构中，任务调度优先级算法的设计至关重要，因为它直接影响到系统的性能和资源分配效率。本文将深入探讨Hadoop存算分离方案中的任务调度优先级算法设计... ...查看全部

基于AWS Data Pipeline的数据中台迁移自动化实践

知识百科 • 数栈君发表了文章 • 0 个评论 • 2 次浏览 • 22 小时前 • 来自相关话题

在企业数字化转型过程中，数据中台的迁移和自动化管理成为关键环节。本文将深入探讨基于AWS Data Pipeline的数据中台迁移自动化实践，帮助企业和个人理解如何利用AWS Data Pipeline实现高效、可靠的数据迁移。 1. AWS Data Pi... ...查看全部

spark.sql.files.maxPartitionBytes

知识百科 • 数栈君发表了文章 • 0 个评论 • 4 次浏览 • 22 小时前 • 来自相关话题

在大数据处理领域，Spark 是一个强大的分布式计算框架，但在实际应用中，小文件问题常常会降低其性能。小文件过多会导致任务调度开销增加、数据倾斜以及存储效率低下等问题。因此，对 Spark 小文件合并优化参数的合理配置至关重要。什么是小文件问题？ ... ...查看全部

Spark小文件合并优化参数在混合事务分析场景中的表现

知识百科 • 数栈君发表了文章 • 0 个评论 • 4 次浏览 • 22 小时前 • 来自相关话题

在大数据处理领域，Spark小文件合并优化参数是提升混合事务分析场景性能的关键。本文将深入探讨这些参数的定义、作用以及如何在实际场景中进行优化配置。什么是Spark小文件合并优化参数 Spark小文件合并优化参数是指在Spark作业中，通过调整特定配置项来... ...查看全部

企业大数据国产化替换迁移中的数据迁移任务调度

知识百科 • 数栈君发表了文章 • 0 个评论 • 4 次浏览 • 23 小时前 • 来自相关话题

在企业大数据国产化替换迁移过程中，数据迁移任务调度是确保数据完整性和迁移效率的核心环节。本文将深入探讨如何在大数据国产化替换迁移中设计和实施高效的任务调度策略。 1. 数据迁移任务调度的关键概念在大数据国产化替换迁移中，任务调度是指根据资源可用性、任务优先... ...查看全部

基于国产芯片的大数据分析框架并行计算优化

知识百科 • 数栈君发表了文章 • 0 个评论 • 4 次浏览 • 23 小时前 • 来自相关话题

在大数据国产化替换迁移的过程中，基于国产芯片的大数据分析框架并行计算优化是一个关键的技术领域。本文将深入探讨如何通过优化并行计算框架，提升大数据分析的性能和效率，同时确保技术栈的自主可控。 1. 国产芯片与大数据分析框架的结合国产芯片的崛起为大数据分析框架... ...查看全部

Spark任务调度中小文件合并优化参数的影响与配置

知识百科 • 数栈君发表了文章 • 0 个评论 • 2 次浏览 • 23 小时前 • 来自相关话题

在Spark任务调度中，小文件合并优化参数的配置对性能有着显著的影响。本文将深入探讨这些参数的作用、影响以及如何进行合理配置。小文件问题的背景在大数据处理中，小文件问题是一个常见的挑战。小文件指的是那些远小于HDFS块大小（通常为128M... ...查看全部

Spark计算框架中小文件合并优化参数的系统性调优

知识百科 • 数栈君发表了文章 • 0 个评论 • 3 次浏览 • 23 小时前 • 来自相关话题

在Spark计算框架中，小文件合并优化参数的系统性调优是一个关键环节，直接影响到任务执行效率和资源利用率。本文将深入探讨如何通过调整相关参数来优化小文件处理性能。 1. 小文件问题的定义与影响在大数据场景中，小文件通常指那些远小于HDFS块大小（如128M... ...查看全部

基于国产硬件的大数据分析任务调度优化技术

知识百科 • 数栈君发表了文章 • 0 个评论 • 4 次浏览 • 23 小时前 • 来自相关话题

随着大数据技术的快速发展，国产化硬件逐渐成为企业实现数据处理和分析的重要选择。本文将深入探讨基于国产硬件的大数据分析任务调度优化技术，并结合实际案例，帮助企业在大数据国产化替换迁移过程中提升效率和性能。 1. 国产硬件在大数据分析中的优势国产硬件，例如鲲鹏... ...查看全部

请教一下，更新最新版本代码window部署好像有问题耶

Taier • 群内解答回复了问题 • 1 人关注 • 1 个回复 • 1711 次浏览 • 2023-03-24 11:26 • 来自相关话题

大佬，请教一下，怎么文件导入数据，支持local本地数据文件导入吗，我看现在界面上都是ftp的模式

Taier • 群内解答回复了问题 • 1 人关注 • 3 个回复 • 1656 次浏览 • 2023-03-24 11:25 • 来自相关话题

我在看调度的逻辑，生成调度实例的计划调度线程起来后，每隔10分种去生成调度实例，当日实例都生成完了，这个线程还会继续执行，是这样的吧？

Taier • 群内解答回复了问题 • 1 人关注 • 1 个回复 • 1721 次浏览 • 2023-03-24 11:22 • 来自相关话题

我换成了spark2.1.0又出现了个新问题，表可以查询但是不能插入数据，一插入数据就提示表或视图不存在

Taier • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 916 次浏览 • 2023-03-15 10:28 • 来自相关话题

请问有人知道taier1.3支持的spark得版本是多少啊

Taier • 群内解答回复了问题 • 1 人关注 • 1 个回复 • 739 次浏览 • 2023-03-15 10:27 • 来自相关话题

Taier这个补数据的场景是怎么样的呢？跟临时运行有啥区别吗？现在的感觉就是执行了多次的临时运行，不太理解

Taier • 群内解答回复了问题 • 1 人关注 • 2 个回复 • 706 次浏览 • 2023-03-15 10:25 • 来自相关话题

大佬，周期实例的界面，界面下边的按钮显示位置不太正常

Taier • 匿名用户发起了问题 • 1 人关注 • 0 个回复 • 851 次浏览 • 2023-03-15 10:23 • 来自相关话题

YARN Capacity Scheduler中跨队列权重配置的资源共享模式研究

知识百科 • 数栈君发表了文章 • 0 个评论 • 3 次浏览 • 19 小时前 • 来自相关话题

Hadoop存算分离架构中任务调度优先级算法设计

知识百科 • 数栈君发表了文章 • 0 个评论 • 3 次浏览 • 19 小时前 • 来自相关话题

基于AWS Data Pipeline的数据中台迁移自动化实践

知识百科 • 数栈君发表了文章 • 0 个评论 • 2 次浏览 • 22 小时前 • 来自相关话题

spark.sql.files.maxPartitionBytes

知识百科 • 数栈君发表了文章 • 0 个评论 • 4 次浏览 • 22 小时前 • 来自相关话题

Spark小文件合并优化参数在混合事务分析场景中的表现

知识百科 • 数栈君发表了文章 • 0 个评论 • 4 次浏览 • 22 小时前 • 来自相关话题

企业大数据国产化替换迁移中的数据迁移任务调度

知识百科 • 数栈君发表了文章 • 0 个评论 • 4 次浏览 • 23 小时前 • 来自相关话题

基于国产芯片的大数据分析框架并行计算优化

知识百科 • 数栈君发表了文章 • 0 个评论 • 4 次浏览 • 23 小时前 • 来自相关话题

Spark任务调度中小文件合并优化参数的影响与配置

知识百科 • 数栈君发表了文章 • 0 个评论 • 2 次浏览 • 23 小时前 • 来自相关话题

Spark计算框架中小文件合并优化参数的系统性调优

知识百科 • 数栈君发表了文章 • 0 个评论 • 3 次浏览 • 23 小时前 • 来自相关话题

基于国产硬件的大数据分析任务调度优化技术

知识百科 • 数栈君发表了文章 • 0 个评论 • 4 次浏览 • 23 小时前 • 来自相关话题

更多...

YARN Capacity Scheduler中跨队列权重配置的资源共享模式研究

Hadoop存算分离架构中任务调度优先级算法设计

基于AWS Data Pipeline的数据中台迁移自动化实践

spark.sql.files.maxPartitionBytes

Spark小文件合并优化参数在混合事务分析场景中的表现

企业大数据国产化替换迁移中的数据迁移任务调度

基于国产芯片的大数据分析框架并行计算优化

Spark任务调度中小文件合并优化参数的影响与配置

Spark计算框架中小文件合并优化参数的系统性调优

基于国产硬件的大数据分析任务调度优化技术

请教一下，更新最新版本代码window部署好像有问题耶

大佬，请教一下，怎么文件导入数据，支持local本地数据文件导入吗，我看现在界面上都是ftp的模式

我在看调度的逻辑，生成调度实例的计划调度线程起来后，每隔10分种去生成调度实例，当日实例都生成完了，这个线程还会继续执行，是这样的吧？

我换成了spark2.1.0又出现了个新问题，表可以查询但是不能插入数据，一插入数据就提示表或视图不存在

请问有人知道taier1.3支持的spark得版本是多少啊

Taier这个补数据的场景是怎么样的呢？跟临时运行有啥区别吗？现在的感觉就是执行了多次的临时运行，不太理解

大佬，周期实例的界面，界面下边的按钮显示位置不太正常

YARN Capacity Scheduler中跨队列权重配置的资源共享模式研究

Hadoop存算分离架构中任务调度优先级算法设计

基于AWS Data Pipeline的数据中台迁移自动化实践

spark.sql.files.maxPartitionBytes

Spark小文件合并优化参数在混合事务分析场景中的表现

企业大数据国产化替换迁移中的数据迁移任务调度

基于国产芯片的大数据分析框架并行计算优化

Spark任务调度中小文件合并优化参数的影响与配置

Spark计算框架中小文件合并优化参数的系统性调优

基于国产硬件的大数据分析任务调度优化技术

话题描述

相关话题

1 人关注该话题