今天不说没礼貌的故事了,今天换一个话题,等“没礼貌”的在来找,在继续写。 今天说SQL的问题,这个话题会一分为二

PostgreSQL 什么都能存,什么都能塞 --- 你能成熟一点吗?

PostgreSQL 迁移用户很简单 ---  我看你的好戏

PostgreSQL  用户胡作非为只能受着 --- 警告他

PostgreSQL  加索引系统OOM 怨我了--- 不怨你怨谁

PostgreSQL  “我怎么就连个数据库都不会建?”   --- 你还真不会!

1  丧心病狂的SQL 的分析

2  为什么会产生这个错误


开始说SQL,说一个丧心病狂的SQL,(认为本文是说SQL撰写的问题,那就大错特错了,咱们是另一个角度)先看这个SQL。

SELECT
   stage.id,
   stage.pipeline_id,
   stage.environment_id,
   stage.name,
   (
    SELECT EXISTS (
     SELECT 1 FROM task
     LEFT JOIN LATERAL (
      SELECT COALESCE(
       (SELECT
        task_run.status
       FROM task_run
       WHERE task_run.task_id = task.id
       ORDER BY task_run.id DESC
       LIMIT 1
       ), 'NOT_STARTED'
      ) AS status
     ) AS latest_task_run ON TRUE
     WHERE task.pipeline_id = stage.pipeline_id
     AND task.stage_id <= stage.id
     AND NOT (
      COALESCE((task.payload->>'skipped')::BOOLEAN, FALSE) IS TRUE
      OR latest_task_run.status = 'DONE'
     )
    )
   ) AS active
  FROM stage
  WHERE %s ORDER BY id ASC

在看完这个SQL后,我不知道各位看官怎么想,我的想法是,够狠,够虐,够聪明。从多年的SQL观察和优化的角度,这个SQL的撰写者并不一般,这是一个知名的软件中我们运行出现问题的SQL,执行中报错,报can not add sublink to placeholder_list。



PostgreSQL SQL写出变态味,可以!(附带两个哑谜)_sql

为什么说这个SQL是丧心病狂的 

1  这个SQL撰写成这样是有原因的,明显是为了软件不被破译而做的手段。

 2  撰写者非常的狡猾,利用了一个SQL完成了一个简单的业务逻辑的判断程序。

结论:现在SQL都能这么玩了,SQL现在有防盗,防贼,防闺蜜的能力了。

那么我们现在来破译一下,这个SQL的原理和他到底要干什么。

SELECT 1 FROM task
     LEFT JOIN LATERAL (
      SELECT COALESCE(
       (SELECT
        task_run.status
       FROM task_run
       WHERE task_run.task_id = task.id
       ORDER BY task_run.id DESC
       LIMIT 1
       ), 'NOT_STARTED'
      ) AS status
     ) AS latest_task_run ON TRUE
     WHERE task.pipeline_id = 106
     AND task.stage_id <= 106
     AND NOT (
      COALESCE((task.payload->>'skipped')::BOOLEAN, FALSE) IS TRUE
      OR latest_task_run.status = 'DONE'
     )

这段语句可能一般的人,一时半刻解不开这里面到底是什么意思,这里我先做一个解释。这段代码虽然是SQL,但不要把他当SQL看,一段程序,一段具有多个判断能力的程序。

我们逐级的将这段SQL拆开。

核心部分 1

先说这段,这段的意思是,从task_run 表中取值与另一个表task,将两者的id进行比对,然后得到task_run的status,然后取其中的最后一条数据,如果这条数据有,则通过coalesce将他的状态展示,如果根本就没有数据,那么就直接显示 not_started 作为状态。

SELECT COALESCE(
 (SELECT
 task_run.status
 FROM task_run
 WHERE task_run.task_id = task.id
 ORDER BY task_run.id DESC
 LIMIT 1
 ), 'NOT_STARTED'
 ) AS status

扩大部分 2

SELECT 1 FROM task
     LEFT JOIN LATERAL (
      SELECT COALESCE(
       (SELECT
        task_run.status
       FROM task_run
       WHERE task_run.task_id = task.id
       ORDER BY task_run.id DESC
       LIMIT 1
       ), 'NOT_STARTED'
      ) AS status
     ) AS latest_task_run ON TRUE

这里我看看到了主表 task,而 left join lateral 的意思为for each ,意思是task表中的每一行,与下面的子查询返回的值进行循环,ON TRUE 是建立无条件的连接。最终结果返回1。

继续扩大 3

这段是对执行的结果进行判断,如果表中的数据任务符合where条件的假设,

task.pipeline_id = stage.pipeline_id
task.stage_id <= stage.id
NOT (COALESCE((task.payload->>'skipped')::BOOLEAN, FALSE)
IS TRUE
OR latest_task_run.status = 'DONE'

那么select exists 就是 true,如果没有符合的记录出现,那么打印的就是 false。

SELECT EXISTS (
     SELECT 1 FROM task
     LEFT JOIN LATERAL (
      SELECT COALESCE(
       (SELECT
        task_run.status
       FROM task_run
       WHERE task_run.task_id = task.id
       ORDER BY task_run.id DESC
       LIMIT 1
       ), 'NOT_STARTED'
      ) AS status
     ) AS latest_task_run ON TRUE
     WHERE task.pipeline_id = stage.pipeline_id
     AND task.stage_id <= stage.id
     AND NOT (
      COALESCE((task.payload->>'skipped')::BOOLEAN, FALSE) IS TRUE
      OR latest_task_run.status = 'DONE'
     )
    )

所以这个语句最后呈现的影子应该是这样,与此同时SQL作者在这里还有一个where 带的变量条件,让这个SQL变换莫测。

SELECT
   stage.id,
   stage.pipeline_id,
   stage.environment_id,
   stage.name,
            (True/False)
            FROM stage
      WHERE %s ORDER BY id ASC

通过这个SQL是可以完全得出,这个软件的设计者很鸡贼,尽力保护自己的程序不被破译,这应该是这个软件流程方面核心的一部分。

Bravo, Bravo, Bravo !!!!

(因为程序员对SQL的理解并不清楚,所以这个程序员通过SQL来对自己的程序进行加密,程序员多会一门语言是多么的重要!! 明明可以写成程序,但不,他要用SQL来写他的程序)

说完这个SQL的巧妙,我们进入下一个话题,PostgreSQL报错了,且还是PG14.12 不报错,PG14.13报错(也没有这么简单,后面再说,实际上也不是纯种的开源PG)

错误的产生可能来自, “无法将子链接添加到占位符列表” 错误发生是因为在用 WHERE 子句中子链接(LATERAL连接内部的子查询),特别是在COALESCE函数内部。PostgreSQL 在这种情况下不允许子链接。

对于这样的问题,我们可以对这个SQL进行改写来改变其中的可能产生报错的问题,那么以上语句可以用修改语句的方式来解决遇到的问题,比如将子查询改为CTE

WITH latest_status AS (
    SELECT
        task.id AS task_id,
        COALESCE(
            (SELECT task_run.status
             FROM task_run
             WHERE task_run.task_id = task.id
             ORDER BY task_run.id DESC
             LIMIT 1), 'NOT_STARTED'
        ) AS status
    FROM task
)
SELECT task.*, latest_status.status
FROM task
LEFT JOIN latest_status ON task.id = latest_status.task_id
WHERE task.pipeline_id = $1
  AND task.stage_id <= $2
  AND NOT (
      COALESCE((task.payload->>'skipped')::BOOLEAN, FALSE) IS TRUE
      OR latest_status.status = 'DONE'
  );

这样可以解决问题,现实中,我仅仅动用了一个位置就解决了问题。将语句改为join 而不是left join,语句就顺利的运行了。这里提醒在修改这个部分的时候,要明确你修改后是否会影响业务的逻辑,这里简单的分析应该是不影响业务逻辑。

虽然修改了语句解决了问题,但还是觉得不妥,所以询问了这个数据库的出品方,然后在鬼使神差的情况下,这个问题就好了,修改了参数 lazy_process_sublink参数。

那么这篇文章出了两个谜语,这个SQL属于当今那个火热的软件,运行这个SQL的数据库又是那个?猜的出来吗?

总结:这样撰写SQL,只能是开发人员写出来的高阶预防程序软件被破译的门槛,正常的人员一般不会这样撰写SQL,不过今天也让我涨了见识。SQL 还可以这样写。

PostgreSQL SQL写出变态味,可以!(附带两个哑谜)_SQL_02