联通 Flink 实时计算平台化运维实践

基于flink-cdc实现监控数据源的实时变更数据捕获

知识百科 • 数栈君发表了文章 • 0 个评论 • 568 次浏览 • 2023-11-15 11:03 • 来自相关话题

CDC 技术：变化数据捕获

知识百科 • 数栈君发表了文章 • 0 个评论 • 589 次浏览 • 2023-11-15 11:02 • 来自相关话题

在YARN上运行Spark的常用配置参数讲解

网友分享 • 数栈君发表了文章 • 0 个评论 • 1550 次浏览 • 2023-11-15 10:57 • 来自相关话题

本文针对在YARN上运行Spark的常用配置参数进行讲解1. 在yarn上启动spark application确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录。这些configs用于写入HDFS并... ...查看全部

大数据篇--Yarn资源队列配置和使用

网友分享 • 数栈君发表了文章 • 0 个评论 • 2335 次浏览 • 2023-11-15 10:54 • 来自相关话题

文章目录一、前言二、调度器的选择 1.FIFO Scheduler： 2.Capacity Scheduler： 3.Fa... ...查看全部

YARN框架概述与集群部署

网友分享 • 数栈君发表了文章 • 0 个评论 • 1739 次浏览 • 2023-11-15 10:51 • 来自相关话题

文章目录 1 Apache Hadoop YARN框架概述 1.1 YARN产生和发展简史 1.2 Hadoop演进阶段 1.3 YARN简介 ... ...查看全部

Spark 在YARN上运行

网友分享 • 数栈君发表了文章 • 0 个评论 • 1649 次浏览 • 2023-11-15 10:48 • 来自相关话题

在YARN上运行Spark 安全在YARN上启动Spark 添加其他JAR准备工作组态调试您的应用程序 Spark特性重要笔记的Kerberos YARN特定的Kerberos配置Kerberos故障排除配置外部随机播放服务使用Apache... ...查看全部

Flink实时读取Kafka数据写入Clickhouse并实时展示

知识百科 • 数栈君发表了文章 • 0 个评论 • 687 次浏览 • 2023-11-13 14:08 • 来自相关话题

基于实时计算Flink版的场景解决方案demo

知识百科 • 数栈君发表了文章 • 0 个评论 • 654 次浏览 • 2023-11-13 14:07 • 来自相关话题

flink实战-模拟简易双11实时统计大屏

知识百科 • 数栈君发表了文章 • 0 个评论 • 814 次浏览 • 2023-11-13 14:06 • 来自相关话题

背景在大数据的实时处理中，实时的大屏展示已经成了一个很重要的展示项，比如最有名的双十一大屏实时销售总价展示。除了这个，还有一些其他场景的应用，比如我们在我们的后台系统实时的展示我们网站当前的pv、uv等等，其实做法都是类似的。今天我们就做一个最简单的模... ...查看全部

知识百科 • 数栈君发表了文章 • 0 个评论 • 829 次浏览 • 2023-11-13 14:05 • 来自相关话题

一、实时计算平台背景介绍1上图是实时计算平台的整体架构，最底层是数据源，由于一些敏感信息，没有将数据源的详细信息列出，它主要包含三部分，分别是业务数据库、用户行为日志、用户位置，联通的数据源非常多，业务数据库这一项就有几万张表；主要通过 Flink SQL 和... ...查看全部