数栈君2023-03-16 45:25阅读次数:278
更多数据中台产品介绍: https://www.dtstack.com
一概述最近在做公司软件系统盘点时发现公司数据库服务器磁盘已满剩余空间非常小为了减少公司停机时长执行数据迁移工作记录一下执行的过程数据迁移的一般步骤对数据库管理人员来说数据库数据迁移极具挑战性一旦措施不当珍贵的数据资源将面临丢失的危险要成功地实现数据库数据平滑迁移需要周密计划和充分准备并按照一定的步骤来完成二数据迁移方案设计数据迁...
对于数据驱动的企业数据治理已不再是一种选择而是必需品企业越来越依赖数据治理来管理数据的策略数据合规性和数据质量由于这些原因企业的数据治理方法至关重要领导者必须考虑哪种类型的治理最适合业务需求和目标企业在数据治理方法方面有选择权常见的传统数据治理或称被动数据治理主要通过风险的视角来感知数据从而数据的合规性风险以及对数据质量进行预警...
一拼接多列数据的基本概念在中拼接多个列数据成为一列数据是很常见的问题要将多列合并成一列在语言中需要使用函数函数可以将多个字符串拼接成为一个字符串输出函数的格式为其中为需要拼接的字符串函数将按照所填写的参数顺序将各个参数字符串按照顺序拼接成为一个大字符串例如若输入那么输出为二使用函数拼接多列数据在语言中如果需要将多列数据合并为一列...
一列转行数据库中我们可能遇到将数据库中某一列的数据多个值按照英文逗号分隔转化为多行数据即一行转多行然后关联表再转化为一行数据如有两张表一用户表一张学科表需要查询学科表中的用户姓名用户表学科表数学语文英语我们首先需要把学科表中的拆分成多行数学数学数学语文语文英语英语二普通的实现方式需要依赖表三无权限处理办法的作用是对函数出来的数据...
数据就是生产力笔者两年前在袋鼠云做的国内某省一个交警项目上面对着海量的车辆轨迹数据时第一次感受到什么是数据的力量该项目是一个非常典型的数据中台项目主要数据资源有省内机动车辆数据驾驶员数据交通违章数据公安系统等相关数据核心数据是通过摄像头识别到的车辆轨迹数据包含车辆牌照数据采集时间和采集地点数据以及部分公路上获取到的移动电子设备数...
基本概念二进制日志以事件形式记录了对数据库执行更改的所有操作是记录所有数据库表结构变更例如等以及表数据修改等的二进制日志不会记录和这类操作因为这类操作对数据本身并没有修改但可以通过查询通用日志来查看执行过的所有语句有两个常用的使用场景主从复制节点开启把它的二进制日志传递给来达到数据一致的目的详见实操二主从同步实战醉酒的戈多的博客...
在大数据时代作为生态系统中不可或缺的数据仓库工具凭借其查询接口和大规模数据处理能力广受青睐然而面对海量数据的查询挑战如何优化查询性能成为一个关键课题本文将聚焦于的数据分区与桶表设计深入探讨这两种策略如何有效提升查询效率降低数据扫描范围实现对大数据的高效管理和分析一数据分区数据分区是中的一种物理数据组织策略通过将表中的数据划分为不...
反洗钱知识图谱构建打击金融犯罪的关键随着金融市场的快速发展和全球化的推进洗钱等金融犯罪活动日益猖獗反洗钱已成为全球范围内的共同任务而构建反洗钱知识图谱是打击金融犯罪的关键之一一反洗钱知识图谱的必要性反洗钱知识图谱是一种结构化的知识库包含了洗钱犯罪的各种信息和关系通过构建反洗钱知识图谱可以实现对洗钱犯罪的精准打击和预防具体而言反洗...
一查询表空间占用情况是一种经典的关系型数据库管理系统对于表占用空间大小的查询是数据库管理中的基本操作查询表空间占用情况可以通过以下代码实现表空间名表空间大小表空间剩余大小表占用空间大小已使用空间百分比通过以上代码可以得到数据库中所有表空间的大小信息包括表空间名表空间大小表空间剩余空间表占用空间大小和已使用空间百分比二查询表占用的...
一前言太久没用了今天想重新熟悉一下结果发现自己甚至忘记了怎么启动于是特此记录篇笔记便于以后忘记时查阅不会写的太细顺便从这篇文章开始改变自己文章的格式以前都是乱整想稍微更好看一点二的启动与连接启动以权限登录中心节点计算机亲测用户登录不能启动使用以下命令开启集群可以通过以下代码查看是否成功启动输出长这样这时候就可以访问网页了为你中心...