昨天有同事问我：“linux hungtask导致卡死了，是什么原因？”
我想了想回答说：“可能你对hungtask有什么误解...，你这句话有问题。”
如果读者看到这里也不清楚哪里有问题，那么这篇文章就有必要继续看下去了。
Linux的几种异常和处理方式
对linux异常挂死打印call trace的行为，很多人都说，linux死了、挂了。但是对熟悉内核问题的人来说，死了，挂了此类描述并不是完全准确。所以我们更多遇到这种对话
“哎，帮我看个linux问题，跑着跑着挂了”
“...给我日志我自己看吧”
为什么呢，因为linux挂了，有很多原因，异常原因常见有hungtask、panic、oom、咬狗、softlockup，下面逐一介绍。
hungtask
现象：
内核打印“INFO: task xxx:xxx blocked for more than 120 seconds.”
触发原因：
内核某进程/线程长期处于D状态，无法唤醒
说明：
1,.必须是内核线程（用户态任务无法触发）；但如果某用户态任务调度到内核态，内核态处理出现D，会触发。
2.默认hungtask是不会panic和挂掉，内核只是会打印hung住的堆栈，因为内核无法判断hung住是主观故意为之还是异常，所以内核认为此异常不必须挂掉。
接口：
hungtask默认开启，D时间超过120s会打印，修改时间和关闭开启的接口
hung_task_panic------------------------是否在检测到hung后panic，默认值0
hung_task_check_count---------------最大检查task数量，默认值32768
hung_task_timeout_secs--------------超时时间，默认值120
hung_task_warnings--------------------打印hung warning的次数，默认值10
panic
现象：
panic，英文意思即崩溃，linux走到崩溃之际，将尽可能把它此时能获取的全部信息都打印出来。
触发原因：
内核崩溃，错误原因很多，比如页表异常、硬件不可恢复错误、空指针访问等等。
oom
现象：
触发原因：
Linux内核有个机制叫OOM killer（Out-Of-Memory killer），该机制会监控那些占用内存过大，尤其是瞬间很快消耗大量内存的进程，为了防止内存耗尽内核会把该进程杀掉，同时打印信息。
说明：
1.OOM默认不会挂掉，会尝试kill耗费资源的进程，如果kill后恢复，则系统正常。如果没恢复，会一直kill；
2.Kill顺序首先根据/proc/PID/oom_score_adj设置优先级去kill，同优先级基本先kill耗费内存最大的进程；
设置进程kill优先级接口
/proc/PID/oom_score_adj（注意 points越小越不容易被杀）
softlockup
现象：
打印“[ 56.032356] NMI watchdog: BUG: soft lockup - CPU#0 stuck for 23s! [cat:153]“
说明：
softlockup 死锁，主要用于检测内核的进程调度是否正常，当发生softlockup时，内核不能被调度，
系统在每个cpu上创建一个内核线程，当hrtimer定期执行的回调后会尝试唤醒此线程，如果线程有被正常调度而被唤醒，
它会更新时间变量watchdog_touch_ts，如果没有则不会更新。在hrtimer的回调函数中会判断watchdog_touch_ts和当前
时间差，如果超过给定值，那就证明内核调度失败，接着就打印异常log。
接口
/proc/sys/kernel/nmi_watchdog-------------------------hard lockup开关，
/proc/sys/kernel/soft_watchdog------------------------soft lockup开关，
/proc/sys/kernel/watchdog-----------------------------watchdog总开关，
/proc/sys/kernel/watchdog_cpumask---------------------watchdog cpumaks，
/proc/sys/kernel/watchdog_thresh----------------------watchdog超时阈值设置总结
在linux异常问题定位时，首先判断异常类型，根据异常触发原理推断异常触发原因，可以极大缩短问题范围。
“linux hungtask导致卡死了，是什么原因？”
“hungtask不会导致卡死，后面应该有其他导致卡死的原因。”
