博客 实时化 实时计算应用的三大场景是什么?

实时化 实时计算应用的三大场景是什么?

   数栈君   发表于 2022-12-29 18:14  441  0

众所周知,现在大数据领域有三大实时计算框架应用较广:storm、flink、spark streaming,那么他们的应用场景如何呢?


实时计算广泛应用于大数据实时化的场景,从简单到详细,可以按照已有流处理系统、部门场景和技术领域进行划分。

已有流处理系统

通常您本地已安装Flink、Storm或Spark Streaming系统可以直接迁移到实时计算产品。具体的迁移细节请联系实时计算团队。
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/46dea70a510854eab8c9812fba331bc5..jpg

按照部门场景划分

从企业部门职能的角度可以将实时计算的划分为以下场景:
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/bcf8e404ae7fc552001bb35e433cef7b..jpg

  • 业务部门:实时风控、实时推荐、搜索引擎的实时索引构建等。

  • 数据部门:实时数仓、实时报表、实时大屏等。

  • 运维部门:实时监控、实时异常检测和预警、全链路Debug等。

按照技术领域划分

从技术领域来看,实时计算主要用于以下场景:

  • 实时ETL和数据流

    实时ETL和数据流的目的是实时的把数据从A点投递到B点。在投递的过程中可能添加数据清洗和集成的工作,例如实时构建搜索系统的索引,实时数仓中的ETL过程等。
    http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/e0707a219b7bd7dedf4172fff87edc88..jpg

  • 实时数据分析

    数据分析指的是根据业务目标从原始数据中抽取对应信息并整合的过程。例如查看每天销量前10的商品,仓库平均周转时间,文章平均点击率,推送打开率等等。实时数据分析则是上述过程的实时化,通常在终端体现为实时报表或实时大屏。
    http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/265fe00d8e16e4e4c1f6a7921806f66d..jpg

  • 事件驱动应用

    事件驱动应用是对一系列订阅事件进行处理或作出响应的系统。事件驱动应用通常需要依赖内部状态,例如点击欺诈检测,风控系统,运维异常检测系统等。当用户的行为触发某些风险控制点时,系统会捕获这个事件,并根据当前行为和用户之前的行为进行分析,决定是否对用户进行风险控制。
    http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/33eaebcd2d923ac2362c09f1051547a6..jpg




免责声明:本文来源大数据与架构,仅供读者交流学习,版权归原作者所有,且仅代表作者个人观点,侵删。


想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群