小文件
Flink Job 执行流程
知识百科 • 数栈君 发表了文章 • 0 个评论 • 93 次浏览 • 2024-01-29 11:36
Apache Flink 是一款开源的流处理和批处理框架，它具有强大的实时计算能力。Flink Job 的执行流程可以概括为以下几个主要步骤：1. 作业提交 - 开发者编写的 Flink 应用程序通常包含一个或多个流处理或批处理作业。 - 作业通过 `... ...查看全部
MySQL排障实战（一）—— 连接异常中断丨运维实战
技术共享 • 数栈君 发表了文章 • 0 个评论 • 172 次浏览 • 2024-01-29 11:33
问题背景数栈数据质量模块，接入客户的数据源后，一执行就报错。报错信息：{"logInfo": {{"jobid":"1a4ebbbd","msg_info":"2021-12-20 14:23:54:submit job is success"}} "engi... ...查看全部
Hadoop集群小文件合并优化建议指导
技术共享 • 数栈君 发表了文章 • 0 个评论 • 117 次浏览 • 2024-01-29 11:31
1 综述1.1 综述本指导书旨在指导大数据集群使用者在大数据集群小文件较多的情况下，针对小文件进行优化处理，有效减小集群文件对象数目，减缓namenode所承载的压力，减少mapreduce任务扫描文件数。2 关于小文件2.1 什么是小文件小文件是指文件大小明... ...查看全部
Flink Job 执行流程
知识百科 • 数栈君 发表了文章 • 0 个评论 • 93 次浏览 • 2024-01-29 11:36
Apache Flink 是一款开源的流处理和批处理框架，它具有强大的实时计算能力。Flink Job 的执行流程可以概括为以下几个主要步骤：1. 作业提交 - 开发者编写的 Flink 应用程序通常包含一个或多个流处理或批处理作业。 - 作业通过 `... ...查看全部
MySQL排障实战（一）—— 连接异常中断丨运维实战
技术共享 • 数栈君 发表了文章 • 0 个评论 • 172 次浏览 • 2024-01-29 11:33
问题背景数栈数据质量模块，接入客户的数据源后，一执行就报错。报错信息：{"logInfo": {{"jobid":"1a4ebbbd","msg_info":"2021-12-20 14:23:54:submit job is success"}} "engi... ...查看全部
Hadoop集群小文件合并优化建议指导
技术共享 • 数栈君 发表了文章 • 0 个评论 • 117 次浏览 • 2024-01-29 11:31
1 综述1.1 综述本指导书旨在指导大数据集群使用者在大数据集群小文件较多的情况下，针对小文件进行优化处理，有效减小集群文件对象数目，减缓namenode所承载的压力，减少mapreduce任务扫描文件数。2 关于小文件2.1 什么是小文件小文件是指文件大小明... ...查看全部
