对于开发者来说,随时业务的复杂度越来越高,查询效率是值得深思的问题,特别是在多表关联查询且大数据量(百万级)的情况下,查询设计或者处理不好的话,查询时非常慢的,慢到你自己都嫌弃。
在优化查询效率的时候一般是通过2中方式去优化,一种是加索引一直是通过代码层面去优化。如果通过索引去优化,那么得需要了解MySQL的Explain解释了,不懂Explain可以先去这里Mysql中解释Explain 详解_HealerJean梦想博客-CSDN博客_mysql 解释看看别人的讲解,其实主要是通过type看索引是全部查询还是走索引等,性能排序如下:
性能:ALL < index < range ~ index_merge < ref < eq_ref < const < system
好了,了解了这些,下面就进入正题:
一、单表查询
select id from tableA
正常情况下,这种单表查询,如果数据量大,一般通过加索引就能解决的,具体哪个字段加索引,拉出Explain看就知道了。
二、多表查询
1、select from tableA a left join tableB b on =
2、select from tableA a ,tableB b where =
3、select from tableA a where exists (select from tableB b where = )
对于上面的三种查询方式,在数据量少的情况下,是可以用的,但是数据量大的话,只能加索引才能增加查询效率,表再多的话只能增加联合索引了。
三、单表查询(在SQL层处理)
SELECT , (SELECT FROM tableB b WHERE cu.sd_school_customer_id = ) as name FROM tableA a LIMIT 100;
对于这种方式,处理查询都在SQL中处理了,数据量大了也会有问题,比如查多少条记录就要执行多少次子查询。如果有多个子查询,查询次数就得继续增加,数据量少的时候可以通过加索引解决。
四、单表查询(在代码层处理多次处理)
List<TestVO> testVOList = baseMapper.queryPageList(page, testQueryBO);
for (int i=0;i<testVOList.size();i++) {
String id = testVOList.get(i).getId();
//拿到ID,再次查询数据库,获取值再次赋值(多次请求数据库)
}
这种方式,通过代码去实现,这样对数据库来说,只剩下单表查询了,那么优化SQL的时候,只需要优化单表索引就好了。
五、单表查询(在代码层处理一次处理)
List<TestVO> testVOList = baseMapper.queryPageList(page, testQueryBO);
for (int i=0;i<testVOList.size();i++) {
String id = testVOList.get(i).getId();
//拿到ID,放到list
}
拿到子集idList后再次查询数据库,获取值再次遍历赋值(一次请求数据库)
这种方式是拿到数据在内存处理,极大的加快了速度。
六、借助内存查询赋值
将基础数据存储在内存(Redis等),这样再获取单表业务数据后,再次赋值的时候就不用再请求数据库了,这样效率也可以得到提升。
总结:在一般的查询,业务处理复杂的场景下,先单表拿到对应的数据后再给子集赋值,而且尽量减少数据库操作,这样一般场景基本能满足了,在大数据量下基本要借助缓存实现了,再大只能上搜索引擎了。以上只是个人在业务实现中总结的一些坑,方案不一定是最优的,仅供参考。如有更好的方案,欢迎在评论区支出,感谢!