对于开发者来说,随时业务的复杂度越来越高,查询效率是值得深思的问题,特别是在多表关联查询且大数据量(百万级)的情况下,查询设计或者处理不好的话,查询时非常慢的,慢到你自己都嫌弃。

        在优化查询效率的时候一般是通过2中方式去优化,一种是加索引一直是通过代码层面去优化。如果通过索引去优化,那么得需要了解MySQL的Explain解释了,不懂Explain可以先去这里Mysql中解释Explain 详解_HealerJean梦想博客-CSDN博客_mysql 解释看看别人的讲解,其实主要是通过type看索引是全部查询还是走索引等,性能排序如下:

性能:ALL < index < range ~ index_merge < ref < eq_ref < const < system

好了,了解了这些,下面就进入正题:

一、单表查询

select id from tableA

正常情况下,这种单表查询,如果数据量大,一般通过加索引就能解决的,具体哪个字段加索引,拉出Explain看就知道了。

二、多表查询

1、select  from tableA a left join tableB b on =
2、select  from tableA a ,tableB b where =
3、select  from tableA a where exists (select  from tableB b where  =  )

对于上面的三种查询方式,在数据量少的情况下,是可以用的,但是数据量大的话,只能加索引才能增加查询效率,表再多的话只能增加联合索引了。

三、单表查询(在SQL层处理)

SELECT , (SELECT FROM tableB b WHERE cu.sd_school_customer_id = ) as name FROM tableA a LIMIT 100;

对于这种方式,处理查询都在SQL中处理了,数据量大了也会有问题,比如查多少条记录就要执行多少次子查询。如果有多个子查询,查询次数就得继续增加,数据量少的时候可以通过加索引解决。

四、单表查询(在代码层处理多次处理)


List<TestVO> testVOList = baseMapper.queryPageList(page, testQueryBO);
for (int i=0;i<testVOList.size();i++) {
String id = testVOList.get(i).getId(); 
//拿到ID,再次查询数据库,获取值再次赋值(多次请求数据库)
}


这种方式,通过代码去实现,这样对数据库来说,只剩下单表查询了,那么优化SQL的时候,只需要优化单表索引就好了。

五、单表查询(在代码层处理一次处理)

List<TestVO> testVOList = baseMapper.queryPageList(page, testQueryBO);
 for (int i=0;i<testVOList.size();i++) {
 String id = testVOList.get(i).getId();
 //拿到ID,放到list
 }

拿到子集idList后再次查询数据库,获取值再次遍历赋值(一次请求数据库)

这种方式是拿到数据在内存处理,极大的加快了速度。

六、借助内存查询赋值

将基础数据存储在内存(Redis等),这样再获取单表业务数据后,再次赋值的时候就不用再请求数据库了,这样效率也可以得到提升。

总结:在一般的查询,业务处理复杂的场景下,先单表拿到对应的数据后再给子集赋值,而且尽量减少数据库操作,这样一般场景基本能满足了,在大数据量下基本要借助缓存实现了,再大只能上搜索引擎了。以上只是个人在业务实现中总结的一些坑,方案不一定是最优的,仅供参考。如有更好的方案,欢迎在评论区支出,感谢!