数据中台 数据中台

tel 400-002-1024
tel

数据架构师的基本功:掌握一种数据库

2021/04/13 袋鼠云 文章来源:.

对于数据架构师,必须要掌握一种数据库,同时要了解常见的数据库。建议通过Oracle来学习数据库,安装系统时选择Linux,也可以选CentOS。第一步你要模拟操作系统,也就会接触到虚拟机的概念。简单来说,也就是第一步模拟Linux系统,第二步再安装数据库。

为什么推荐Oracle数据库?因为Oracle的安装过程相对比较复杂,在过程中你会遇到各种各样的问题,遇到的问题越多,学习的就越多。整个过程中你要学习Linux系统的各种命令、网络、补丁包、防火墙等一系列问题,最后通过客户端可以访问数据库了,可以查看数据了,就会很有成就感。如果领悟能力和动手能力很好,这个步骤一般需要一周左右的时间去消化。但这只是第一步,记得一定要多装几次来加深理解。

后面就要开始学习SQL语句了,建表、插入、更改、查询,操作起来吧!理论也要跟上,“事务”的概念一定要看,数据库、实例名、表空间、段、块等概念要理解。

当然也要学习如何优化数据库。数据库底层无非是硬盘、内存、CPU在支撑,所以这些资源怎么分配很重要,在测试时一定要留意这三个重要参数的变化。操作系统层面的优化就是为了让操作系统和数据库软件更好地结合,可以去调系统的参数。这是统一的优化思想,后面的应用系统、大数据等技术也适用。

数据库层面的优化,也是一样的道理,留意、调整参数,原则就是“集中有限的资源做更多重要的事”。

基于数据的优化,我建议尽可能少消耗计算机的性能:硬盘的读写、网络的传输、数据的计算。如分表分区,索引等等都是为了用尽可能少的资源,尽可能快地完成尽可能多的事:就是提高效率。当然有的时候我们会牺牲时间换空间,也会牺牲空间换时间,所以对于优化,我们要综合考虑成本和效率的问题。

SQL调优中,执行计划是必须要会看的,每个数据库或者引擎都有自己的规则,我们优化过程中要了解SQL的执行逻辑,这样我们才知道如何优化。

要了解哪些数据库呢?关系型数据库中Oracle、MySQL、SQLServer、DB2、PostgreSQL是要去了解的,同时了解行存储和列存储的区别,当然了解越多越好。Nosql数据库的话,建议了解MongoDB、HBase、Redis。

其他数据库还很多,通过项目和ELT过程来熟悉更多的架构吧!