数据中台数据中台
申请试用
新闻动态
了解袋鼠云最新动态
新闻动态>「数据可视化」大坝数据可视化数据的储存与管理方法>
「数据可视化」大坝数据可视化数据的储存与管理方法
20201218|文章来源:-

「数据可视化」大坝数据可视化数据的储存与管理方法,三十年来,世界各国就大坝观测材料的剖析已开展了各个方面的科学研究,大坝观测资料造成的数据量极大,尽管现阶段现有多种多样手机软件资金投入运作,但现有的大坝分析系统在具体工程项目测算时,只有运用已经知道的好多个操纵层主要参数,而不可以得到大坝在随意位置处相对的剖析数据;另外在剖析全过程中的电子计算机图像处理技术性关键对于二维数据的大数据可视化,而全部数据的大数据可视化大部分是以二维图型实际效果展现,欠缺立体式、形象化实际效果[1]。

「数据可视化」大坝数据可视化数据的储存与管理方法,大坝地应力成效剖析数据、仪器设备所测出的检测数据量十分巨大,地应力成效、特性和图型数据中间的关联非常复杂。采用哪种数据构造,完成对数据一致的存储系统,便捷数据检索和数据可视化必须开展灵便存储,完成其三维可视化表述,是对大坝地应力成效数据可视化检索、精确测量数据解决数据可视化的更为重要的阶段,文中就大坝数据数据可视化课题研究的数据存储系统做一讨论。

大坝观测数据储存和管理方法(Damsobservationdatastorageandmanagement)

「数据可视化」大坝数据可视化数据的储存与管理方法,大坝应力分析和观测数据是一个动态性的数据,并且数据量十分巨大,乃至是大量数据,相关大坝数据数据可视化中的信息内容不仅是由数据、文本构成的,另外也有一系列的数据图表等非文本特性的数据。大坝的剖析成效和检测到的数据一般具备比较平稳和动态更新二种状况,一般工程项目的特点信息内容、核心区信息内容、观测机器设备的座标、特性等材料不容易常常变化,是归属于比较平稳的数据;而地应力的检测数据、偏移检测数据和剖析的成效数据等是变化规律升级的。对比较平稳的数据,因数据容积并不大,系统软件解决中比较常定,以储放在平稳表格中解决;而对观测和剖析到的数据则是存储量大,检索頻率高,并且速率比较慢,因此 对这些的数据怎样储存和管理方法,立即危害到系统软件数据可视化检索的特性。

大坝数据储存方法

因为大坝有限元的工作状况连接点数据十分多,一个工作状况的连接点数据就做到20000好几个,而剖析的工作状况数一般做到40好几个,另外,大坝监管的检测项目类型多,必须采用各种监测仪器,一般大坝安装 的仪器设备少则十几种,多至几十种,为了更好地有利于数据库的管理方法和维护保养,有限元数据按工作状况类型分表储放,检测数据按仪器设备种类分表储放。那样,储放有限元分析地应力成效数据和检测数据的基本数据表就会有工作状况表、工作状况连接点表、仪器设备特点表、检测值表等。

就课程内容科学研究的某大坝中布局了近200个监测仪器,大坝一年的检测数据就会有几千条,伴随着時间的变化,表格中的数据将做到上干万,从该种类表格中检索一些时间范围和方向点的数据值,检索速率是一个问题。尽管当今时兴的数据库管理系统都出示迅速检索的索引作用,但不可以考虑大坝监管数据的检索速率和时间范围检索,为处理这个问题,本课程内容选用了下边解决方案。

(1)创建合理的索引体制。

(2)对表构造开展提升管理方法。表设计方案的规范规定做到3NF,信息冗余降。大坝观测数据表由训话、時间、上中下游水位线和观测值等特性字段名,其国训话和時间字段名组成为主导码,以维持数据一致性,工作状况连接点表有12个字段名:正应力3个字段名、剪应力3个字段名、偏移3个字段名、连接点座标3个字段名,以z和y轴字段名做为主键。

(3)应用主视图。

数据管理方式

数据检索

检索数据可根据SQL和缓冲区域快照更新二种方法。应用SQL是次序检索数据,而缓冲区域快照更新则是在额外检索标准下把数据表格中所有或一部分纪录映射到内存区,缓冲区域数据维持与原表数据完全一致的索引特性。根据该快照更新数据既能开展次序查看,又能根据索引值精准定位检索,载入一些独特数据。

数据实际操作

对数据库的关键实际操作是数据入录和查看。大坝检测数据一般是按收集時间依次顺序存储。在对大坝开展数据剖析时,必须对各测量点和各时间范围内的观测数据开展持续载入,若根据缓冲区域快照更新额外检索标准,具备一定的灵便度,但剖析实际效果比较慢,检索标准的更改将需经常联接数据库,再次形成快照更新,缓冲区域数据刷新频率高,这系统对高效率是一大严厉打击。因此可根据测量点时序检索表提升数据构造,以减少缓冲区域快照更新的屏幕刷新率[2-5]。endprint

测量点时序索引表

依据大坝对观测数据的检索是按测量点和时间查询的特性及其观测数据的储存特性,创建了测量点时序索引表。测量点时序索引表有按时间序列分析区划初始观测值表,从初始观测值表中寻找测量点时序的逻辑性行,存进测量点时序索引表格中。检索时以测量点时序索引表格中的测量点时序逻辑性号做为索引值,在初始观测表格中精准定位数据段。索引表具备测训话、时序起始点年和终点站年、观测点值在原表中的起止逻加行、观测值纪录总数等特性构成,在其中以测训话和时序起始点年做为主码。

在检索观测值时,先用缓冲区域快照更新方法形成所有观测数据的全投射。依据缓冲区域快照更新数据与初始表具备一致的次序规律性,索引值对缓冲区域的区划也同样。检索测量点观测数据时,先鉴别该数据的观测時间在测量点时序索引中所属的时序纪录;再从这种时序纪录中,查出该测量点时序的原数据纪录行号和纪录总数;随后从缓存快照更新区中相对纪录段中读取需要的数据,进而进行一次检索。在这类检索体制下,每一次检索不一样的测量点时序数据,仅仅更改一下索引值,就可以检索到所需观测数据,不需再次形成快照更新,而不用不断创新缓冲区域快照更新。进一步提高快照更新的利用率,提升了系统软件总体特性。

为确保索引表的准确性和实效性,测量点时序索引表与初始表应维持同歩升级管理方法。依据观测数据的储存是按時间顺序收集进库的,因此 在有观测点数据进库时,必须先在索引中提升这一新时序观测数据的索引纪录,随后依据提升的纪录数量,改动之后各索引纪录的起止行标值,以确保索引表各索引内容中纪录的初始数据起始点部位的准确性;删掉初始观测数据也用一样的基本原理,先寻找删掉数据在索引表格中的索引纪录,若跨好几条时序索引内容,则删掉前边的时序内容,改动最终一条索引内容纪录的起始点行标值,不然只改动寻找的第一条索引的起始点行标值,随后一样需改动后边各索引内容中纪录的起止行标值。

在原数据进库有先后顺序这一特点,索引的维护保养简易非常容易,可以迅速升级管理方法,可根据触发器原理完成索引全自动维护保养升级。

数据进库解决(Dataloadingandprocessing)

仪器设备测出的数据和有限元数据,历经前图像处理软件开展前解决以后,获得.txt种类文档和.out种类文档,依据系统软件数据的储存特性,这种数据进库储存的表名按照规定的文件格式取名,如:工作状况连接点表数据的文件夹名称文件格式:“y上下游数据_中下游数据”,若工作状况是上下游24m,中下游十米的连接点数据表名叫:y24_10;检测数据以监测仪器种类规格型号取名。每一个数据文档在进库前都务必依照一定的文件格式纪录数据。工作状况连接点数据和检测数据有全自动进库和手工制作进库(即编写)二种方式。

关键数据的进库方式是:

最先,客户明确进库数据的种类(地应力成效数据或观测数据)、文件路径和数据储存名字(工作状况表名或仪器设备种类规格型号)。

随后,系统软件在工作状况表或仪器设备特点表格中检索该数据材料:

(1)若找不到信息内容,则提醒客户再次键入详细材料,完成对工作状况表和监测仪特点表的数据的键入,运用recordset目标的addnew方式和update方式完成,随后系统软件自动生成新表,并把数据文档载入到库表中(用BULKINSERT…FROM…WITH完成)。

(2)若寻找信息内容,系统软件自动检索数据文档纪录是不是早已存有,若不会有,则载入进库。

结果(Conclusion)

文中就大坝数据可视化数据关键对于大坝地应力数据和观测数据的特性,在数据库储存方法和管理方法技术性层面开展了详尽的科学研究和阐述,依据大坝资询系统软件的要求,对数据库表的分组管理、数据构造及其数据的进库方式明确提出了详尽的解决方案。并对大坝数据量大而导致网站打开速度低、数据使用率低的现况,明确提出了选用测量点时序索引的数据管理方案,较切实解决了数据查看速度比较慢的难题,有益于迅速形成大坝数据大数据可视化主视图。

此刻起,和袋鼠云一起让数据产生更大价值
此刻起,和袋鼠云一起让数据产生更大价值