【线上问题】线上故障分析-故障分级，原因，分类，混沌工程，排除方法

原创

后端研发Marion 2022-11-06 00:21:39 ©著作权

文章标签 线上故障故障分析 log日志 文章分类 虚拟化云计算

©著作权归作者所有：来自51CTO博客作者后端研发Marion的原创作品，请联系作者获取转载授权，否则将追究法律责任

参考资料

因为一行Log日志导致的线上P1事故_xiangzhihong8的博客-

线上故障分析-故障分级，原因，分类，混沌工程，排除方法_架构_Ybb_studyRecord-DevPress官方社区

上一篇：【低危漏洞修复】Tomcat服务器版本号泄露-低危漏洞修复

下一篇：【代码覆盖率】JAVA好用的代码覆盖率工具有哪些？

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

线上生成问题排查

1、Gateway隔离问题导致CPU高负载多个服务请求报错。查看监控，一个服务产生大量请求，占用了gateway大部分CPU资源，其他服务请求占用很少，其他服务经常报错。添加机器，gateway进行隔离。每个模块服务应当隔离，各占固定的gateway资源，相互不影响。2、Gateway服务报错下发单子时，经常会有一些单子下发不下来，业务日志也没有。查看gateway日志时，发现报错信息。搜索资料，

死锁 sql mysql gateway 生产问题
线上问题诊断利器-Arthas

本文从实际开发工作中可能遇到的一些问题出发，介绍了Arthas的几个非常有用的命令，具体其他命令可以参考文章末尾贴出来的Arthas官方文档

jar 堆栈加载
IDC服务器故障排除思路

一、维修前准备1、工具准备笔记本电脑、拆机工具、DOS系统引导U盘、U盘Linux系统、万用表（主板或不开机故障）、防静电手环、网线、散热硅胶等。2、备件准备硬盘、内存、CPU、主板、电源模块等备件二、常规检查在不拆机、不断电的情况下检查故障服务器1、检查开机状态下服务器指示灯是否正常2、检查有无明显异味、有无明显异响3、检查外观有无明显磕碰、变形等物理损伤4、检查电源线、电源开关是否正常5、登录

服务器最小化 log日志
线上故障排查

线上故障排查完整套路 - 从 CPU、磁盘、内存、网络、GC CPU 磁盘内存 GC问题网络线上故障主要会包括cpu、磁盘、内存以及网络问题，而大多数故障可能会包含不止一个层面的问题，所以进行排查时候尽量四个方面依次排查一遍。同时例如jstack、jmap等工具也是不囿于一个方面的问题的，基

服务端 java 客户端全连接内存泄漏
线上故障与故障测试

引言在如今这个高度数字化的时代，互联网服务早已融入了人们的日常生活和商业运作之中。无论是在线购物、移动支付，还是社交媒体和云端办公，都依赖于稳定的线上系统。然而，随着系统规模的不断扩大和复杂度的提升，线上故障的发生频率也随之增加。一个看似微不足道的故障，可能会导致系统崩溃、用户数据丢失，甚至带来严重的经济损失，对企业品牌信誉造成长期影响。近年来，从大型互联网企业到初创公司，都曾因线上故障陷入麻

故障测试恢复能力验证系统
快速处理线上故障！

概述线上故障通常是指大规模的影响线上服务可用性的问题或者事件，通俗点讲就是：掉‘坑’里了，这个‘坑’就是线上故障！线上故障的处理过程可以形象地表达为：‘踩坑’、‘跳坑’、‘填坑’、‘避坑’。线上故障的处理不仅是一项技术活，更是对技术人员/技术团队反应能力、决策能力、判定能力、组织能力的考验。面对突发的生产故障，需要快速定位问题，找到解决方案，快速实施解决方案并不是一件容易的事情。本文主要包括如下内

解决方案动物可靠性优先级稳定性
JVM 线上故障排查

Linux，关注的是四个元素：内存，cpu，存储，网络。Linux1.1 CPU1.2 内存1.3 存储使用df -h查看系统磁盘使用概况lsblk 列出块设备信息du 查看目录或者文件大小1.4 网络一、CPU 飚高如何定位问题呢？思路：首先找到 CPU 飚高的那个 Java 进程，因为你的服务器会有多个 JVM 进程。然后找到那个进程中的 “问题线程”，最后根据线程堆栈信息找到问题代码。最后对

JVM
线上故障处理原则

墨菲定律任何事情都没有表面看起来那么简单所有事情的发展都会比你预计的时间长会出错的事情总会出错如果担心某个事

响应时间消息队列数据库
Java线上故障排查

Java线上故障主要会包括 CPU、磁盘、内存以及网络问题，而大多数故障可能会包含不止一个层面的问题，所以进行排查时候尽量四个方面依次排查一遍。同时例如 jstack、jmap 等工具也是不囿于一个方面的问题的，基本上出问题就是 df、free、top 三连，然后依次 jstack、jmap 伺候，具体问题具体分析。

内存溢出服务端 java
线上 Java 应用各种线上故障，如何应对？

作者：飒然Hang https://www.rowkey.me/blog/2018/11/22/online debug/ 线上运行的Java应用突然没有响应、响应缓慢，进程突然消失，遇到这些情况应该如何应对呢？推荐去我的博客阅读更多： 1. "Java JVM、集合、多线程、新特性系列教程" 2

Java
java排除线上问题

# Java排除线上问题的流程作为一名经验丰富的开发者，我将指导你如何排除Java线上问题。下面是整个流程的步骤表格。| 步骤 | 任务 || -------- | -------- || 步骤一 | 确认问题 || 步骤二 | 收集信息 || 步骤三 | 分析问题 || 步骤四 | 解决问题 || 步骤五 | 验证修复 |接下来，我将详细介绍每个步骤需要做的事情，以及相应

开发者 Java java
技术实践｜线上故障分析及解决方法（下）

线上故障通常是指大规模的影响线上服务可用性的问题或者事件，而对于线上故障的处理不仅是一项技术活，更是对技术人员/技术团队应急反应能力的考验。本文主要从线上故障的分类、应对思路、出现原因等方面入手，总结一些经验和问题解决方法，以求与各位同仁探讨交流。五、分析思路■　根据日志输出的异常信息定位问题，需要区分Tomcat中的catalina.out（标准输出和错误）和iocalhost.xx.log（应

数据堆内存初始化
技术实践｜线上故障分析及解决方法（上）

线上故障通常是指大规模的影响线上服务可用性的问题或者事件，而对于线上故障的处理不仅是一项技术活，更是对技术人员/技术团队应急反应能力的考验。本文主要从线上故障的分类、应对思路、出现原因等方面入手，总结一些经验和问题解决方法，以求与各位同仁探讨交流。一、在线故障分类■　意料之外的错误、无响应或响应缓慢■　服务中，影响用户体验■　不能停机或大面积停机■　需要尽快修复二、应对思路根据经验来分析，如果应急

java 服务器堆栈
如何快速处理线上故障

最近想总结这块，网上搜索到的，写的不错，有需求的朋友可以看下、学习总结下如何快速处理线上故障http://www.cnblogs.com/daoqidelv/p/6785372.html#_label1http://www.jianshu.com/p/08eae8ad08ac

如何快速处理线上故障
java线上故障分享 java线上问题定位

本文主要是以常见的线上问题进行模拟，然后介绍定位问题的方法。1.环境准备：基础环境 jdk1.8，采用 SpringBoot 框架来写几个接口来触发模拟场景，首先是模拟 CPU 占满情况2.问题列举2.1 cpu占用率较高模拟cpu占用率较高，实现方法较简单，用一个死循环占用cpu计算即可。代码模拟：/** * 模拟CPU占满 */ @GetMapping("/cpu/

java线上故障分享 java 线上问题排查内存泄漏堆内存
kafka 线上故障解析

kafka项目--所遇问题总结MySQL数据库系统默认系统时间批量插入（mybatis）1.mybatis中手写sql2.insertList数据去重（有主键约束或唯一索引）insert into ignore:upsertjson字符串->java对象->mysql(mybatis)json字符串->java对象(fastjson)日期字符串的格式化null值的流转MySQL

kafka 线上故障解析 kafka java mysql MySQL
zookeeper dubbo线上故障

我们讨论过Nginx+tomcat组成的集群，这已经是非常灵活的集群技术，但是当我们的系统遇到更大的瓶颈，全部应用的单点服务器已经不能满足我们的需求，这时，我们要考虑另外一种，我们熟悉的内容，就是分布式，而当下流行的Dubbo框架。一，背景以前我们需要远程调用他人的接口，我们是这么做的：

zookeeper dubbo线上故障 spring xml zookeeper
线上故障如何排查

前言说起线上故障，程序员应该都经历过，从故障处理恢复过程中我们能快速提高。踩坑多了，慢慢也就成了大牛。这道题也是大厂的面试官们特别喜欢问的问题之一，从候选人对这道题的回答过程中...

面试 java 重启回滚 sql
java线上故障排查工具有哪些 java线上问题定位

一个线上的问题是如何从定位到解决的?设计埋点埋点就是你要监控啥，你必须在程序开启时设置一些参数来辅助监控，例如把日志输出到哪里，便于另外的监控系统监控。例如 -XX:+PrintGCDetails -Xloggc:/home/xx.log 形成的LOG文件启动参数nohup java ${DEBUG_OPTS} ${JAVA_OPTS} -jar ${WORK_DIR}/abc-1.0-relea

java线上故障排查工具有哪些线上问题物理内存堆栈 jar
java线上诊断工具 java 线上故障排查

线上故障主要会包括 cpu、磁盘、内存以及网络问题，而大多数故障可能会包含不止一个层面的问题，所以进行排查时候尽量四个方面依次排查一遍。同时例如 jstack 、jmap 等工具也是不囿于一个方面的问题的，基本上出问题就是 df、free、top 三连，然后依次 jstack、jmap 伺候，具体问题具体分析即可。CPU一般来讲我们首先会排查cpu方面的问题。 cpu异常往往还是比较好定位的。

java线上诊断工具定位网络队列 jvm
es性能采集

Array Map Set 都是数组，那么它们之间有什么性能差别吗？下面我们来试试1、添加Array使用pushMap使用setSet使用add 分别取10000，100000，100000 3组随机字符串各测10次，取平均值let testAdd = (num) => { let demo_arr = []; let demo_map = new Map(); l

es性能采集数组返回键随机数
LVS 安装配置

linux我是最小化安装的mini,安装完成后搭建本地yum,首先安装Development Tools开发工具组1）在各服务器上修改主机名：[root@LVS1 ~]# hostname LVS1[root@RS1 ~]# hostname RS1[root@RS2 ~]# hostname RS22）在RS1 RS2上安装httpd服务[root@RS2 ~]#&

LVS 安装配置开发工具运维网络服务器
hive调度任务终止 hive任务调度平台有哪些

前面放完建设四个现代化大数据平台乌托邦理想的大卫星，接下来的文章得谈谈具体组件的生产大跃进了。第一篇，先来讨论一下大数据开发平台的核心组件之一：作业调度系统。作业调度系统是一个相对复杂的系统，涉及的内容繁杂，针对的场景多种多样，实现的方案千差万别，是一个需要理论和实践并重的系统。本文重点谈理论，会先从大的场景划分的角度对市面上的各种调度系统进行分类讨论，然后再针对具体的作业调度系统，探讨一下各自的

hive调度任务终止数据平台 workflow 调度系统作业调度
android ota升级去除某个应用

要做一个下载更新apk的功能，开始是从网上找的代码，用的原生的dialog和progress，很丑，后来用从网上找的自定义progress，但是无效，先把那不好调整样式的网上摘录贴上来：在drawable文件夹中建立如下旋转动画文件 <?xml version="1.0" encoding="utf-8"?> <animated-rotate xmlns: Androi

android ota升级去除某个应用 android xml d3
check_udp 监控dns

作者xpnsec，译文仅供参考，具体内容表达以及含义原文为准 0x00 前言Sysmon在最近更新中添加了一个功能，可以记录DNS事件。这一点对防御方非常有用（呼吁SysInternals团队继续免费添加并提供这类工具），但对攻击方而言，这意味着如果我们的植入后门或者payload尝试通过DNS进行通信，那么蓝队就有可能搜集到相关特征，用来检测攻击行为。容易受该功能影响的一种场景就是基

check_udp 监控dns windows如何添加本机dns记录头条的_signature这个如何如何把.exe的函数转成dll DNS

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯