当互联网技术发展到今天，大数据和云计算早已渗透我们生活。大数据以“降低信息不对称和提高决策有效性”为目标，可广泛作用于几乎所有行业，必将掀起一场新的革命。目前，大数据已经迎来了高速发展的黄金成长期，作用正在日渐也凸显，我们看好其发展趋势，推荐投资者提高对其中孕育机会的关注度。

从源到流看，大数据涵盖数据入口、数据融合处理、数据应用三个过程;按照物理分层，大数据又可以分为硬件、基础软件、应用软件和信息服务四个维度。每一个细分领域都正在不断演进，存在不少问题也孕育着巨大的机会，万千创业者不断地寻找着新的突破口。

目前制约大数据更好更快发展的主要问题有以下几点：

一是数据的归属权不清晰，各家数据资产型企业私密占有平台数据，制约着大数据的融合及发展;

二是数据有效性将直接影响到大数据的应用水平，从源数据到分析样本的采集过程需要大量人工干预;

三是配套软硬件成熟度不够：适宜处理海量数据的数据库软件尚未成熟，私有云的普及程度也不高;

四是数据尚未获得真正意义上的定价和产业化。

大数据代表未来

1) 环境驱动

数据产生成本逐年下降，政府和企业对大数据的投资力量日益增强，新的数据源正不断产生并壮大，大数据蓬勃发展的外部环境因素已经成熟。

成本逐年下降

根据IDC的判断，数据产生成本是符合反摩尔定律的，即数据产生成本大概每两年下降一半;而这一趋势，最起码会持续到2015年。

大量新数据源

互联网世界完成从Web1.0到web2.0的过渡，移动互联网日趋成熟，物联网长足发展，高粘性、强(实时快速)互动性、去(弱)中心化、全民媒体等特征明显呈现，线上与线下深度融合，各种(人人、人机)交互的网状结构更加复杂与饱满，全新数据源层出不穷。

各种电商平台、O2O入口、电子支付平台等的发展，让我们可以捕捉到海量的商业交易活动行为痕迹;同时，SNS、自媒体、LBS

技术等的高速发展可以较好地呈现不同主体的关系链、偏好、兴趣、习惯等信息;前述两者共同让面向主体的识别与判定变得更加容易和精准;娱乐、媒体、医疗保健、视屏监控、物联网等则让我们进一步加深了对自己和环境的理解。

2) 需求驱动

我认为整个人类都一直并将继续面对和突破四个约束——能源约束、信息约束、智慧约束和审美约束。其中，能源约束指人类生存、改善、发展所需的材料和泛能量之总和，能源是一定的，总量取决于人类的活动半径，利用水平则依赖于智慧和信息;

信息约束指人类做决策所需要的非实物形态、非价值观和方法论的信息(具有一定一次性的特点)总和，信息正通过监测、取样、记录、保存而不断生成和更新迭代;

智慧约束指人类生产或决策所需要的价值观、方法论等信息综合处理研判能力及知识，智慧通过人类不断的探索、试错行为产生新信息并再处理、再研判、再探索的行为而更新完善，并指导未来的决策;而审美约束则指不同实体的亿万条效用曲线的共性和个性，在短期审美不易改变，很大程度作为人类思考和行为的指南针，长期则也会受智慧及信息影响而缓慢变迁。

在这四个约束条件的共同作用下，人类通过不断探索、试错去寻求改善，从一个个旧的稳态发展到一个个新的稳态和帕累托均衡，以终为始，周而复始。因此，大数据直接而深度的影响信息约束和智慧约束，并间接的影响到能源约束和审美约束，我们认为他非常深度的契合了人类发展的需求，从需求层面讲必然代表未来的方向。

大数据的源与流

大数据从源到流到汇聚应用，包含数据入口、数据融合处理、数据应用三个主要过程。从前到后看，这三个过程分别对应于数据资产领域、数据融合与处理相关领域、数据应用相关领域。

1) 数据资产领域

“数据正在成为一种(战略)资产”已经是行业的共识。大数据很大程度上是随着社会信息化程度提高而在近期产生的，即是以前没有或无法获取且正在不断生成的“新(fresh)”数据。不同的公司把握着各个数据入口，而把握数据资产的企业也必然成为大数据的首批和直接受益者。从公司业务模式上，数据资产公司可以区分为纯数据资产公司和兼数据资产公司;从数据类型上，数据可以区分为交易数据(含询价等)和交互数据。

纯数据资产公司指其产品和业务即为数据本身，代表企业如友盟和个信互动等。友盟(Umeng)将核心代码植入各种移动应用，向移动应用创业者提供应用统计分析、用户反馈等服务，目前，国内主流开发者大多是友盟的用户，超过18万的移动应用从友盟服务中获益。个信互动的个推平台，面向公众提供专业的手机推送解决方案，并向开发者提供推送的BI数据，目前的接入用户已经超过6.8亿。

不难看出，该类公司有几个特征：

一是处于数据流中某个基础性的控制节点;

二是在控制节点后聚集了一整类的兼数据资产型公司;

三是标的数量很少，一个具体领域(如手机的信息推送或者应用统计服务)只能容纳下1-2家企业;四是该类企业处于底层，较少为非业界人士所知。

兼数据资产公司相对纯数据资产公司显然更多，下表按照交易数据与交互数据对其进行分类整理。



表格中所列示的都是规模较大、有所成绩的明星企业，因为如果数据没有相当深度和广度的累积，价值将非常低。但是，我们看到不断有新的企业成长起来，百花齐放百家争鸣，抢夺已有的入口或者开辟全新的入口。

2) 数据融合与处理相关领域

在数据融合与处理相关的领域，主要解决包含两个方面的问题：一是数据标准化与有效性整理;二是面向过程(具体目的)的数据处理与粗提取。

典型的案例如征信数据库，商业银行与各信贷主体之间每天都在发生着海量交易，交易一旦发生则记录进入各商业银行数据库(录入人员通过人机交互过程完成数据的标准化和预处理)，每天晚上各商业银行后台对数据进行整理和加密，次日将信贷主体与信用数据加密通过专用接口将数据包提交到征信数据中心，然后征信中心将各数据包加成导入到征信数据总库进行更新，完成数据标准化和有效性整理并形成更新后的数据状态。而面向过程的数据处理与粗提取，比如对某信贷主体的征信数据进行查询后，可通过插件进行破产风险(企业)或信用评分(个人)的简单核算，不同金融机构可设置不同的标准，根据自身风险政策完成初步的可否授信、授信额度大小的批量化评估。

较成熟的类似机构包括彭博、万得、同花顺等，目前均局限于金融行业，但每个行业都有不同的数据整合入库的需求，而数据标准的制定及数据汇聚的执行是其难点所在。另外，在大数据的融合与处理相关领域，两个绕不开的点为基础软件(数据库软件)和云计算。

3) 数据应用相关领域

如上文所述，掌握数据资产的企业群是大数据的首批和直接受益者，因为他们会自然、方便的对大数据进行把玩、加工、消化、利用。而随着应用价值的逐步体现及大数据产业的发展，应用将必然扩张到生产生活的方方面面，广泛影响各行各业。

麦肯锡针对美国各个行业应用大数据的潜在价值提升做了一个评估(结论参见下表)，从其中我们可以看到，大数据的应用将使得金融保险、信息技术、公共管理、贸易物流等领域获得极大的价值提升。



大数据产业结构

首先我们按照从硬件-基础软件-应用软件-信息服务和数据生成-存储-处理-应用两条线各4个维度来划分大数据的产业结构，涉及11大类主要的产品和服务：采集设备、存储设备、服务器、数据库软件、采集监测软件、智能搜索与分析软件、系统集成、IT基础设施服务、咨询实施服务、信息安全以及云计算。



以上11种主要产品和服务都是大数据的重要构成，缺一不可，但其中基础软件(数据库软件和分布式文件系统)、应用软件是大数据产业价值转化变现的最关键部分，云计算对大数据的广泛应用有着举足轻重的意义，其他7种在某种意义上则是在原有基础上持续更新并与大数据发展配套的过程。

在此我向大家推荐一个大数据开发交流圈：658558542 （☛点击即可加入群聊）里面整理了一大份学习资料，全都是些干货，包括大数据技术入门，大数据离线处理、数据实时处理、Hadoop 、Spark、Flink、推荐系统算法以及源码解析等，送给每一位大数据小伙伴，让自学更轻松。这里不止是小白聚集地，还有大牛在线解答！欢迎初学和进阶中的小伙伴一起进群学习交流，共同进步！

在软硬件和信息服务领域的垂直划分中，我们认为商业智能带动的应用软件、云计算和信息安全是国内大数据发展的三家马车，也是更可能有所作为的地方。

大数据主要子行业

1) 硬件与基础软件

大数据爆炸增长带动硬件和基础软件发展。

存储和服务基础设施用于存储产生的数据，是数据周期的第一站。随着“新摩尔定律”逐步得到验证，预计大数据将呈现越来越快的增速，同时大数据中非结构化数据占比也将逐步提高，这直接推动着存储和服务器行业的大发展。如何更快、更好、更准确地把数据分门别类、按需存储，提高存储性能和计算能力，是存储器和服务器提供商面临的新问题。基础软件提供商主要是提供操作系统、数据库软件等，对已经存储好的数据资源进行高效管理，是存储器、服务器的下游环节。存储器、服务器等硬件设备的发展也将直接带动基础软件的升级。

国际巨头垄断上述领域，寡头格局已经形成。

EMC、IBM、HP、Sumsung、Oracle等国际巨头在硬件与基础软件领域精耕细作多年，市场竞争格局基本稳定，寡头竞争态势明显。因为其基础软件的优势，又逐步向更下游的应用软件等领域渗透，不断完善自身产品线，提升客户粘性。领先的技术优势、丰富的客户资源、强大的并购能力等构建了国际巨头的护城河，使得国内企业短期内很难超越。

2) 商业智能应用软件

商业智能的体系和意义

从数据的最终利用深度来区分，商业智能划分为数据报表、数据分析、数据挖掘三个层次。其中，报表系统只是简单地进行数据管理，描述企业已经发生的事件，比如Excel、水晶报表、Reporting Service等报表系统;数据分析师对数据进行优化分析，解析造成企业

目前状况的深层次原因，比如OLAP技术;数据挖掘则是对数据进行分析预测，发现知识、预测未来。商业智能的最终目的，是为了产生更好的商业决策。

商业智能的实现过程是通过收集来自企业内部和外部各种数据源的不同数据，提取有用信息，经过数据清洗、转换、重构进入数据仓库或数据集市，然后通过合适的查询和分析工具、数据挖掘工具、联机分析处理工具对数据进行加工处理，最终转化为知识。从商业智能系统建立的技术角度看，构建一个完整的商业智能系统涉及到的核心技术主要有数据仓库(DW)技术、联机分析处理(OLAP)技术、前端分析展示技术和数据挖掘(DM)技术等组成。

国内现状

国内供应商专注于报表软件、应用软件和解决方案等领域。国内BI厂商的共同特点是，产品线不全，厂商实力相对较弱，基本可以分为三类：第一类是从报表工具、展示工具软件等延伸而来的厂商，这类厂商占绝大多数，如润乾、尚南科技等;第二类是从ERP等管理软件延伸而来，如用友、浪潮、金蝶等，专注于战线工具和分析模型方面，并开始向应用软件和行业解决方案转型;第三类是专业BI厂商，如菲奈特融通、东方国信等，专注于BI应用软件和行业解决方案。国内厂商在数据仓库、数据集市、BI工具平台软件等方面，缺乏有竞争力的产品。

3) 云计算

云计算的三种服务交付模式：IaaS(基础设施即服务)、PaaS(平台即服务)和SaaS(软件即服务)。

IaaS

指的是以服务形式提供服务器、存储和网络硬件。这类基础架构一般是利用网格计算(GridComputing)架构建立虚拟化的环境，因此虚拟化、集群和动态配置软件也被涵盖在IssS中，这方面代表有亚马逊的弹性云服务，ServePath下的GoGrid等;

PaaS

指的是以服务形式提供给开发人员应用城市需开发及部署平台，让他们可利用此平台来开发、部署和管理SaaS应用程序;这种平台一般包含数据库、中间件及开发工具，所有都以服务形式通过互联网提供;PaaS也是SaaS 模式的一种应用，这一层面的代表有Google App、Force.com、MOSSO等;

SaaS

指的是通过浏览器，以服务形式提供给用户应用程序;SaaS是一种软件布局模型，其应用专为网络交付而设计，便于用户通过互联网托管、部署及介入;SaaS应用软件的价格通常为“全包”费用，囊括了通常的应用软件许可证费、软件维护费以及技术支持费，将其统一为每个用户的阅读租用费;SaaS可以通过浏览器把应用程序作为服务提供给成千上万的用户;这一层面的代表有Salesforce.com、google map、office live等;云计算厂商则可以细分为平台提供商、系统集成商和服务提供商。

平台提供商

云计算需要能够实现虚拟化、自动负载平衡、随需应变的软硬件平台，这部分的提供商主要是传统的软硬件生产商，如Vmware、Oracle、Sun、IBM、Cisco等;国内的相关公司包括浪潮信息、华胜天成、华为、中兴、方正科技等;

系统集成商

帮助用户搭建云计算的软硬件平台，尤其是企业私有云：代表厂商包括IBM、HP、Google、AT&T等;国内公司包括华胜天成、浪潮软件、东软集团等;

服务提供商

包括为企业和个人用户提供计算和存储资源的IaaS公司、为应用开发者提供开发平台的PaaS公司、SaaS应用服务提供商;代表厂商包括Amazon、Rackspace、GoGrid、Force.com、Google、Salesforce等;国内公司包括鹏博士、网宿科技、神州泰岳、用友、金蝶、焦点科技、生意宝等。

4) 信息安全

信息安全越发重要，迎来发展契机。信息安全产品覆盖硬件、软件及服务;细分领域众多，竞争激烈且龙头各异。

安全硬件主要包括防火墙/VPN、入侵检测/防御系统(IDS/IPS)、统一威胁管理(UTM);安全软件主要包括内容安全与威胁管理、身份管理、访问控制等;安全服务主要包括安全咨询、等级评测、风险评估、安全审计、运维管理、安全培训等方面。

感谢您的观看，如有不足之处，欢迎批评指正。最后祝福所有遇到瓶颈的大数据程序员们突破自己，祝福大家在往后的工作与面试中一切顺利。
————————————————
版权声明：本文为CSDN博主「程序の之道」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_44233163/article/details/88805469

免责申明：

本文系转载，版权归原作者所有，如若侵权请联系我们进行删除！