问题发现
1 前天大佬通过prometheus发现 tomcat http busy状态的线程这几天呈线性递增。每一天增加3个
排查问题
1：找到忙线程在哪。通过jvm自带的 jps 命令可以找到服务对应的进程ID： 66182 $>$top -Hp 66182
$pidstat -u -p 66182 1 5
大部分的线程都正常，cpu利用率不高，而且线程ID变动快，基本排除 死循环、CPU 空转的问题
2：既然不是死循环、CPU空转。那是不是代码阻塞的问题呢。
导出 66182 进程jvm的 stack 文件 jstack -l 66182 > block66182.jstack。因为知道是http 线程的问题。http 的开头一般都是 http-nio 。可以使用 grep -A 15 'http-nio' block66182.jstack 输出一些关键信息。找了很久，多数http 都是正常状态。然后还找到了项目代码 updateXYDVerifiedCodeByDate 之类的。定位到具体，发现是一个定时任务
3 查了下 xxl-task 调度日志。凌晨左右调度了十次，失败了三次，和在prometheus发现的 busy http线程增加的规律是一致的
4 查找代码发现是 CompletableFuture 调用get阻塞住了。后来改成 future.get(15, TimeUnit.SECONDS);。则每隔 15 秒报错一次。但是在promethues 监控到 verifiedCodeQueryExecutor 的线程队列是空的。
4.1 promethues 监控到的线程队列数为空
5 没有任务 CompletableFuture 的get方法还在执行，查看下 verifiedCodeQueryExecutor 的定义。发现，阻塞队列的拒绝策略 是 DiscardPolicy 丢弃。也就是任务丢弃了不被执行，而封装成的CompletableFuture 自然就不会有结果返回，因此一直会被阻塞，而改了代码则是超时返回。真相大白。。。。。
解决问题
1：队列无限，好像不太好，不接受
2：自定义拒绝策略
new RejectedExecutionHandler(){
@Override
public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {
throw new RuntimeException(" over size error ");
}
}
3：但考虑到任务必须被处理掉，任务不能被丢弃啊。so 暂时用 CallerRunsPolicy 策略，executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
4：后面再优化
