数据中台数据中台
申请试用
新闻动态
了解袋鼠云最新动态
新闻动态>企业数据采集类型与难点有哪些?>
企业数据采集类型与难点有哪些?
20191225|文章来源:-

企业数据采集类型与难点有哪些?传统的数据采集方法包括人工录入、调查问卷、电话随访等方式,大数据时代到来后,一个突出的变化是数据采集的方法有了质的飞跃,下面所介绍的数据采集方式的突破直接改变着大数据应用的场景。


一、企业数据采集类型
互联网的数据主要来自于互联网用户和服务器等网络设备,主要是大量的文本数据、社交数据以及多媒体数据等,而企业数据主要来源于机器设备数据、企业信息化数据和产业链相关数据。
从数据采集的类型上看,不仅要涵盖基础的数据,还将逐步包括半结构化的用户行为数据,网状的社交关系数据,文本或音频类型的用户意见和反馈数据,设备和传感器采集的周期性数据,网络爬虫获取的互联网数据,以及未来越来越多有潜在意义的各类数据。主要包括以下几种:
1、海量的Key-Value数据。在传感器技术飞速发展的今天,包括光电、热敏、气敏、力敏、磁敏、声敏、湿敏等不同类别的企业传感器在现场得到了大量应用,而且很多时候机器设备的数据大概要到ms的精度才能分析海量的企业数据,因此,这部分数据的特点是每条数据内容很少,但是频率极高。
2、文档数据。包括工程图纸、仿真数据、设计的CAD图纸等,还有大量的传统工程文档。
3、信息化数据。由企业信息系统产生的数据,一般是通过数据库形式存储的,这部分数据是最好采集的。
4、接口数据。由已经建成的企业自动化或信息系统提供的接口类型的数据,包括txt格式、JSON格式、XML格式等。
5、视频数据。企业现场会有大量的视频监控设备,这些设备会产生大量的视频数据。
6、图像数据。包括企业现场各类图像设备拍摄的图片(例如,巡检人员用手持设备拍摄的设备、环境信息图片)。
7、音频数据。包括语音及声音信息(例如,操作人员的通话、设备运转的音量等)。
8、其他数据。例如遥感遥测信息、三维高程信息等等。
二、数据采集技术难点
1、数据量巨大。任何系统,在不同的数据量面前,需要的技术难度都是完全不同的。
如果单纯是将数据采到,可能还比较好完成,但采集之后还需要处理,因为必须考虑数据的规范与清洗,因为大量的企业数据是“脏”数据,直接存储无法用于分析,在存储之前,必须进行处理,对海量的数据进行处理,从技术上又提高了难度。
2、企业数据的协议不标准。互联网数据采集一般都是我们常见的HTTP等协议,但在企业领域,会出现ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等等各类型的企业协议,而且各个自动化设备生产及集成商还会自己开发各种私有的企业协议,导致在企业协议的互联互通上,出现了极大地难度。
很多开发人员在企业现场实施综合自动化等项目时,遇到的最大问题及时面对众多的企业协议,无法有效的进行解析和采集。
3、视频传输所需带宽巨大。传统企业信息化由于都是在现场进行数据采集,视频数据传输主要在局域网中进行,因此,带宽不是主要的问题。
但随着云计算技术的普及及公有云的兴起,大数据需要大量的计算资源和存储资源,因此企业数据逐步迁移到公有云已经是大势所趋了。但是,一个企业企业可能会有几十路视频,成规模的企业会有上百路视频,这么大量的视频文件如何通过互联网顺畅到传输到云端,是开发人员需要面临的巨大挑战。
4、对原有系统的采集难度大。在企业企业实施大数据项目时,数据采集往往不是针对传感器或者PLC,而是采集已经完成部属的自动化系统上位机数据。
这些自动化系统在部署时厂商水平参差不齐,大部分系统是没有数据接口的,文档也大量缺失,大量的现场系统没有点表等基础设置数据,使得对于这部分数据采集的难度极大。
5、安全性考虑不足。原先的企业系统都是运行在局域网中,安全问题不是突出考虑的重点。
企业数据采集类型与难点有哪些?工厂互联是企业互联的基础,数字化工厂,产品配置,制造流程越复杂越多变,越需要人的参与;在数字化工厂当中,工人更多地是处理异常情况,调整设备。但数据采集一直是困扰着所有制造工厂的传统痛点,自动化设备品牌类型繁多,厂家和数据接口各异,国外厂家本地支持有限,不同采购年代。即便产量停机数据自动采集了,也不等于整个制造过程数据都获得了,只要还有其他人工参与环节,这些数据就不完整。

免费试用袋鼠云数字化基础软件,开启企业数字化增长之旅
免费试用袋鼠云数字化基础软件,开启企业数字化增长之旅
袋鼠云立体IP
在线咨询
在线咨询
电话咨询
电话咨询
微信社群
微信社群
资料下载
资料下载
返回顶部
返回顶部