博客 【ShardingSphere】做优化上来就分库分表?请慎重分库分表

【ShardingSphere】做优化上来就分库分表?请慎重分库分表

   卓袋鼠   发表于 2022-04-21 14:26  790  0

分库分表、分区能解决很多的问题,这也是我们在优化的时候常常听到的一些可行的方案,不过提到优化就来分库分表是不是不太合适,本文所阐述的就是分库分表、分区,什么时候用,应该怎么用,怎么选择。

话题起点

最近听到一些学员的面试复述,基本很多的人去面试的时候都会碰到要对MySQL进行优化这样的题目,很多学员很有经验的学员也在这上面栽了跟头。基本回答有几种

  • 加索引
  • 分库分表
  • 分区
  • 读写分离
  • 冷热数据处理

采坑分析

上面的几点,其实能够想到的情况下,看似是不错的。而且很多人也觉得这是标准答案。从表面上看,确实没有很大的问题,实实在在的解决了一些性能问题。不过很多人对这些东西所带来的问题并没有高清楚,同时有些技术在数据库性能不同的阶段是否适合,这个是一个必须要考虑的问题。 采坑的几个点总结如下:

  • 笼统的去描述优化,根本不知道使用的优化策略到底是不是适合的。这个问题在商业开发中很容易出现重大事故
  • 如果只考虑这几点,其实是不太够的,我们还需要考虑磁盘、成本、IO等问题。这个问题商业开发中也是会出现,同时也会极大的增加投入成本
  • 对代码的优化也是必要的,很多的时候,代码、SQL的优化能给我们带来很好的效益,不过这一点对程序员的要求相对较高。商业开发中,很多地方是能跑的就不要动,要是搞不好会全面回归。

这几个点其实都是我们真正做优化的时候需要考虑的。

优化策略分析--索引

索引基本上是我们最常见的一个优化手段了,在单表数据量大的时候如果查询很慢,对我们的条件加一个索引基本是一个很常规的操作。

  • 相信对于重复度很低的字段建索引这错应该是没人犯的,不过很多人却会跳另外一个坑:索引过多、或者索引树过高。这个问题比较无奈,如果说多索引合并成为联合索引能解决根本问题吗?多数这种情况下不是说没有办法解决,而是历史遗留问题限制。如果强行合并,解决了索引过多的问题,代码的问题随之可能就会出现。因为你合并索引,可能导致原有逻辑产生索引失效的问题。

优化策略分析--分库分表

一上来就说分库分表一定要自信看看这一条。分库分表最大的问题在于对原有数据层的影响,基本这种影响是颠覆性的。如果你将分库分表加上,分库分表最直接的就是会让你对老代码的维护工作量暴增。当然,这里的前提是你是做老项目优化。

优化策略分析--分区

MySQL单表能做1024个分区,单库基本能存几十个亿的表。每个分区算一个表,把所有表都做成分区表看似都是可能的。

  • 确确实实,在商业开发当中,分区是一个很重要的优化手段。分区能给我们带来什么:用单表存储亿级的数据而不会产生查询时间过长,清理表也很方便。
  • 缺点:分区带来了很好的用户体验,但是随之而来的就是庞大的运维工作量。试想一下,假若我们一个项目核心表差不多100张,每张建365个分区。总共算下来,分区就会有36500个。相当于我每天要去维护100个表。

优化策略分析--读写分离

读写分离,基本是目前商业开发最可靠的手段了。让我们有了更好的数据查询效率。最大的缺陷在于读写分离会增加MySQL服务器的预算。同时MySQL在高并发的情况下,slave也会有延迟,错误等。

优化策略分析--冷热数据处理

冷热数据的分离,其实对于很多项目来讲,是减轻MySQL负担的一个很好的策略。能给保障MySQL数据库性能一直良好。 它的问题在于对于某些业务,不能区分冷热界限。同时冷热数据也会在某些场景下产生,人工维护的工作。


免责申明:

本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群