基于 Kafka 开发 Ruby 应用的框架 — Karafka - 袋鼠社区-袋鼠云丨数栈丨数据中台丨数据治理丨湖仓一体丨数据开发丨基础软件

CDC 技术：变化数据捕获

知识百科 • 数栈君发表了文章 • 0 个评论 • 145 次浏览 • 2023-11-15 11:02 • 来自相关话题

在YARN上运行Spark的常用配置参数讲解

网友分享 • 数栈君发表了文章 • 0 个评论 • 183 次浏览 • 2023-11-15 10:57 • 来自相关话题

本文针对在YARN上运行Spark的常用配置参数进行讲解1. 在yarn上启动spark application确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录。这些configs用于写入HDFS并... ...查看全部

大数据篇--Yarn资源队列配置和使用

网友分享 • 数栈君发表了文章 • 0 个评论 • 287 次浏览 • 2023-11-15 10:54 • 来自相关话题

文章目录一、前言二、调度器的选择 1.FIFO Scheduler： 2.Capacity Scheduler： 3.Fa... ...查看全部

YARN框架概述与集群部署

网友分享 • 数栈君发表了文章 • 0 个评论 • 188 次浏览 • 2023-11-15 10:51 • 来自相关话题

文章目录 1 Apache Hadoop YARN框架概述 1.1 YARN产生和发展简史 1.2 Hadoop演进阶段 1.3 YARN简介 ... ...查看全部

联通 Flink 实时计算平台化运维实践

知识百科 • 数栈君发表了文章 • 0 个评论 • 163 次浏览 • 2023-11-13 14:05 • 来自相关话题

一、实时计算平台背景介绍1上图是实时计算平台的整体架构，最底层是数据源，由于一些敏感信息，没有将数据源的详细信息列出，它主要包含三部分，分别是业务数据库、用户行为日志、用户位置，联通的数据源非常多，业务数据库这一项就有几万张表；主要通过 Flink SQL 和... ...查看全部

大数据项目之Flink实时数仓(数据可视化接口实现)

知识百科 • 数栈君发表了文章 • 0 个评论 • 171 次浏览 • 2023-11-13 14:04 • 来自相关话题

尚硅谷大数据项目之Flink实时数仓---数据可视化接口实现

知识百科 • 数栈君发表了文章 • 0 个评论 • 162 次浏览 • 2023-11-13 14:03 • 来自相关话题

基于flinkcdc和superset的实时大屏实践

知识百科 • 数栈君发表了文章 • 0 个评论 • 173 次浏览 • 2023-11-13 14:02 • 来自相关话题

准备环境：1）EMR-Flink-Cluster3.36.1（HDFS2.8.5 YARN2.8.5 Flink1.12-vvr-3.0.2）2）Rds-Mysql 5.7.263）EMR-Hadoop-Cluster4.9.0（SuperSet0.36.0）... ...查看全部

大数据Flink大屏实时计算深度剖析

知识百科 • 数栈君发表了文章 • 0 个评论 • 127 次浏览 • 2023-11-13 14:02 • 来自相关话题

1. 实时计算应用场景1.1 智能推荐什么是智能推荐？定义：根据用户行为习惯所提供的数据，系统提供策略模型，自动推荐符合用户行为的信息。例举：比如根据用户对商品的点击数据（时间周期，点击频次），推荐类似的商品；根据用户的评价与满意度，推荐合适的品牌；根... ...查看全部

基于 Flink 的严选实时数仓实践

网友分享 • 数栈君发表了文章 • 0 个评论 • 167 次浏览 • 2023-11-13 13:55 • 来自相关话题

今天分享的内容主要分为四个部分，首先会介绍下严选实时数仓的背景、产生的一些问题。然后是针对这些背景和问题对实时数仓的整体设计和具体的实施方案，接着会介绍下在实时数仓的数据质量方面的工作，最后讲一下实时数仓在严选中的应用场景。 1. 背景严... ...查看全部