数据智能，让未来变成现在~

技术人天生就有一种紧迫感，对于技术热潮的追赶，对于新技术的渴求。

6月23日，袋鼠云联合养码场、3W举办了以数据智能实践为主题的线下技术沙龙。干货满满，一睹为快！

云计算、图像算法、大数据……这些技术点够吸引你吗？

丁先生是互金行业研发人员，9年工作经验，现在离职准备创业，他说：“技术这种东西，不用没关系，但是你一定要知道。”

梁先生，安恒信息高管，他参加技术沙龙的目的不外乎3点：认识人，知道大家对云计算的理解，学习。

孟先生是做市场的，但由于公司产品是大数据方面的，他最想知道的是目前云计算、大数据的产品落地。

还有一位程序媛，对数据算法情有独钟，再加上自家产品做的是数据中台，因此希望来学习借鉴。

他们收获了什么？

来自阿里云和袋鼠云的技术大佬的干货分享，了解大数据处理系统、数据中台和图像算法的技术理念和应用落地！

以下是干货关键点梳理

基于流计算构建实时大数据处理系统

主讲：阿里云流计算产品经理——付空

为什么要用流计算

• 数据是最重要的生产资料

用户使用系统，系统产生数据，数据处理决策，决策又影响用户，商业和数据形成闭环。

• 数据的价值随着时间延迟迅速降低

比如实时推荐，在用户点击的时候感受到用户兴趣所在，刷新的时候能够推送他感兴趣的内容，帮助平台的用户留存和活跃时间的提高。

异常&欺诈检测，检测到是否为异常用户、薅羊毛行为，及时制止，实时止损。

实时调度：譬如了解库存指标，便于限流、车辆调度等决策。

• 批计算：批量计算是一种批量、高时延、主动发起的计算任务。

由于是全计算，处理量大，耗时长，需要主动提交作业。

• 流计算是一种持续、低时延、事件触发的计算任务。

处理的是实时的数据流，计算是增量进行的，因此耗时短。

简单来说，批计算数据静态，计算动态；流计算数据动态，计算静态。

为什么要用阿里云流计算

2016年9月开始公测，2018年3月21日，阿里云流计算商业化。

优势

流式SQL

一站式平台

数据生态

 Blink引擎

如何使用流计算：场景落地

数据流（日志、LOT等）引入进行流计算过程，可以通过查询静态数据进行关联，结果输出可以是流式的也可以是静态的。

典型场景：实时推荐

而标签，是特征的一种表现形式：譬如豆瓣。

• 好处：实现简单，效果好预期，可解释性强

• 弊端：过于简单

流计算怎么做实时推荐？

通过设定长期兴趣标签（居住地、出生日期）和短期兴趣标签（5分钟内的点击率等）计算匹配度。

公式：

但以上公式中存在问题，因为马太效应会导致热门信息的数值特别大，使结果发生变化，因此，我们选择做一些修改，把热门的标签做一个惩罚，降低权值。

典型场景还有工业IoT、欺诈检测、实时报表等（具体流程图可见PPT课件）

企业数据中台体系案例解析

主讲：袋鼠云首席架构师—正风

企业的数据需求

做数据产品的时候往往会面对很多挑战，尤其是来自客户的质疑：你们“又”来了，都说大数据有价值，那么这个价值到底是什么？适合我们这样的传统企业吗？我们数据就这么一点怎么做，真的能实现出来价值吗？

事实上，数据对企业的实际价值是即便不能增量也能为其省下成本。

数据中台策略

我们经常谈到的“精准营销、智慧选址、智慧门店、销售预测、品牌舆情监控”等等，都属于数据应用的层面。很多企业做大数据，最开始都是从数据应用切入，企业的不同部门或者子公司，对数据应用的需求不同，所以以往企业每次做一个数据应用，都是竖烟囱似的，都把数据采集、数据治理、数据建模……重新做一遍，最终消耗了大量人力、物力、数据应用的效率却不高，数据价值备受质疑。

“数据中台”策略很好地解决了这一难题：

企业应从整体上构画数据应用，统一采集数据资源，进行集中治理，梳理自身数据资产，统一进行数据建模和数据指标规划。当企业需要做某一数据应用时，只需要统一到数据中台进行数据调用即可，如果自身数据不能满足数据应用的需求，再统一规划，进行外部数据补充。

所以，数据中台是一个战略思想，需要企业从战略层面构画和推动。

袋鼠云数据中台的七大服务：

数据资源规划及获取

数据质量分析及提升

基于中台策略的数据整体建模与数据资产管理

实体画像及标签引擎

数据指标体系梳理及计算（BI）

数据应用规划及实现（DI）

数据可视化大屏

数据中台核心—数栈

数据中台应用—国酒茅台

国酒茅台案例分析：基于数据中台打造的茅台数据智能应用

接手这个项目后，我们面对的现状是：数据不多。而客户希望获取面向企业内不同角色，输出不同数据指标助力茅台实现智能决策与管理。

最后，袋鼠云方面给出了以下解决方案

通过“品牌卫士”监控系统，快速实现对市场上茅台酒价格和品牌的时时监测和掌握，以及茅台电商购酒用户画像，通过这张画像，让茅台集团能够实时掌握电商平台的用户数、用户喜好、用户所在区域等情况，并通过大数据分析，不断完善自身平台建设、丰富产品、优化消费者购物体验。

• 用户画像，谁在喝茅台

图像算法应用—工业视觉分析

主讲：袋鼠云高级算法专家—胡丰

背景概述

常见工业视觉场景需求的理解

传统的制造业场景中，企业通过图像来进行缺陷识别，主要还是采用人工的方法进行处理，需要投入的人力多，工作量大，而且由于人工的主观原因，容易出现判错、判漏等情况发生。

在大数据和人工智能时代，制造企业可以通过图像识别算法模型自动对异常进行识别和分类，在满足精度的要求下，可以减少量测任务、图像识别模型的结果，也可以实时用于对异常产品的自动标定，通过对识别出来的故障产品实时警报进行生产干预，提高企业的生产效率和良品率。

实际工业视觉场景踩坑

1. 环境苛刻

2.客户需求不明确

3.业务\算法理解角度不统一

4. 样本随机\稀缺\比例失衡\特征杂乱\特征不全\干扰样本剔除不易

5. 模型选取难度大\模块过拟合不可控

端+云解决方案

此外，胡丰还分享了模型分类识别、图像场景分析、动态视频场景分析、算法流程，更有某半导体行业案例实战分析。