linux高并发情况下容易出现哪些问题

系统资源耗尽
  • 文件描述符耗尽：每个进程的文件描述符数量有限，当并发连接数过多时，可能会导致文件描述符耗尽，从而无法建立新的连接。
  • 内存不足：高并发请求会导致内存使用量激增，尤其是当应用程序需要为每个连接分配内存时。
网络问题
  • 端口耗尽：如果系统配置的临时端口范围较小，高并发连接可能导致可用端口耗尽。
  • 网络拥塞：大量数据传输可能导致网络拥塞，影响数据包的传输速度和可靠性。
性能瓶颈
  • CPU 使用率过高：高并发请求会导致 CPU 负载增加，如果 CPU 资源不足，系统响应速度会变慢。
  • 磁盘 I/O 瓶颈：大量并发请求可能导致磁盘 I/O 操作频繁，影响系统的整体性能。
应用程序问题
  • 线程竞争：多线程环境下，线程之间的竞争可能导致资源争用，影响程序的执行效率。
  • 死锁和竞态条件：在高并发情况下，应用程序中可能出现死锁或竞态条件，导致程序异常。
系统负载过高
  • 系统负载增加：高并发请求会导致系统负载增加，系统负载过高可能导致系统响应变慢甚至崩溃

解决方案

文件描述符检查与设置
查看文件描述符限制

用户级限制

使用 ulimit -n 命令查看当前用户可以打开的最大文件描述符数量

系统级限制

查看系统允许的最大文件描述符数量：

cat /proc/sys/fs/file-max

或者使用 sysctl 命令：

sysctl fs.file-max
查看当前文件描述符使用情况

查看系统当前打开的文件描述符数量：

cat /proc/sys/fs/file-nr

这个命令会输出三个数字，第一个数字是当前打开的文件描述符数量

查看特定进程的文件描述符

使用 lsof 命令查看某个进程的文件描述符

lsof -p <PID>

其中 <PID> 是进程的 ID

查看进程的文件描述符目录

ls -l /proc/<PID>/fd

这个目录包含了进程打开的所有文件描述符的符号链接

分析是否使用完
  • 比较当前使用量和限制：如果当前打开的文件描述符数量接近或超过 ulimit -n 或 /proc/sys/fs/file-max 所设置的限制，说明文件描述符可能已经使用完。
  • 检查输出：如果 file-nr 的第一个数字接近 file-max，则可能需要增加文件描述符的限制
调整文件描述符
  • 通过ulimit命令修改软限制（仅对当前会话有效）：
  • 例如，要将文件描述符软限制增加到 10240，可以在终端中使用ulimit -n 10240命令。这会在当前会话中改变文件描述符软限制。需要注意的是，这个修改不会超过硬限制。如果设置的值超过硬限制，ulimit会将软限制设置为硬限制的值。
  • 修改硬限制（需要 root 权限，且仅对当前会话有效）：
  • 对于 root 用户，可以使用ulimit -Hn 20480命令来修改文件描述符硬限制。同样，这个修改只在当前会话中有效。如果希望在系统启动时就应用这些修改，可以将这些命令添加到启动脚本（如/etc/profile或~/.bashrc等）中，但这种方式仍然只是针对特定用户或所有用户的初始会话设置，不是系统全局的永久修改。
  • 修改/etc/security/limits.conf文件（对特定用户或用户组）：
  • 可以在/etc/security/limits.conf文件中添加或修改相关配置来永久改变文件描述符限制。例如，要为用户user1设置文件描述符软限制为 10240 和硬限制为 20480，可以在文件中添加以下两行内容：
  • user1 soft nofile 10240
  • user1 hard nofile 20480
  • 这里soft表示软限制，hard表示硬限制，nofile表示文件描述符数量限制。修改这个文件后，下次用户user1登录时，新的限制就会生效，建议重启系统。
  • 修改/proc/sys/fs/file-max（系统全局范围）：
  • 要永久修改系统全局的文件描述符最大数量，可以修改/proc/sys/fs/file-max的值。不过，/proc/sys下的文件是虚拟文件系统，它们的值在系统重启后会丢失。为了让修改在重启后仍然有效，可以在/etc/sysctl.conf文件中添加fs.file-max = [新的值]（例如fs.file-max = 50000），然后运行sysctl -p命令使配置生效。这样，系统在下次启动时就会按照新设置的文件描述符最大数量来运行。

linux临时端口如何判断是是否充足

查看系统最大端口范围

首先，需要明确 Linux 系统中临时端口的范围。在大多数情况下，可以通过查看/proc/sys/net/ipv4/ip_local_port_range文件来获取这个范围。例如，使用命令cat /proc/sys/net/ipv4/ip_local_port_range，它可能会返回两个数字，如32768 60999，这就表示临时端口的范围是从32768到60999，一共有60999 - 32768 + 1 = 28232个临时端口

查看已使用端口数量

netstat -an命令可以显示系统中所有的网络连接状态。可以通过一些管道操作来统计已使用的端口数量

netstat -an | grep -Eo ":[0-9]{1,5}" | grep -Eo "[0-9]{1,5}" | sort -n | uniq | wc -l
ss -tan | grep -Eo ":[0-9]{1,5}" | grep -Eo "[0-9]{1,5}" | sort -n | uniq | wc -l

具体步骤如下：

  • grep -Eo ":[0 - 9]{1,5}"：从netstat -an的输出中提取出类似:端口号的部分。
  • grep -Eo "[0 - 9]{1,5}"：进一步从提取的部分中获取纯数字形式的端口号。
  • sort -n：对这些端口号进行数字排序。
  • uniq：去除重复的端口号。
  • wc -l：统计剩余的端口号数量，也就是已使用的端口数量
判断临时端口是否充足
  • 计算出已使用端口数量（包括各种占用状态的端口）后，将其与临时端口的总数（通过第一步确定的范围计算得出）进行比较。
  • 如果已使用端口数量占临时端口总数的比例较低（例如低于 50%），那么可以认为临时端口是充足的；如果这个比例较高（例如超过 80%），尤其是在考虑到TIME - WAIT等占用状态的端口在短期内无法释放的情况下，可能就需要关注临时端口是否即将不足的情况了。
解决方案

调整端口范围

如果在高并发场景下发现端口耗尽，可以通过调整 ip_local_port_range 来增加可用的端口数量。例如，可以将其设置为 1024 65535，这样可以提供更多的端口用于连接：

sysctl -w net.ipv4.ip_local_port_range="1024 65535"

或者通过修改 /etc/sysctl.conf 文件来永久生效：

echo "net.ipv4.ip_local_port_range = 1024 65535" >> /etc/sysctl.conf
sysctl -p

 调整其他内核参数

  • net.ipv4.tcp_tw_reuse：允许将处于 TIME_WAIT 状态的套接字重用于新的 TCP 连接。设置为 1 可以减少 TIME_WAIT 状态的套接字数量。
  • net.ipv4.tcp_tw_recycle：快速回收 TIME_WAIT 状态的套接字。设置为 1 可以加快 TIME_WAIT 状态的清理。
  • net.ipv4.tcp_fin_timeout：减少 TIME_WAIT 状态的持续时间。默认值为 60 秒，可以调整为 30 秒
  • net.core.somaxconn：控制处于监听状态的套接字的最大连接队列长度。默认值通常为 128，对于高并发服务器，建议增加到 16384 或更高。
  • net.ipv4.tcp_max_syn_backlog：设置半连接队列的长度，即已经收到 SYN 包但尚未完成三次握手的连接数。默认值为 1024，建议增加到 8192
  • net.core.rmem_default 和 net.core.wmem_default：设置默认的接收和发送缓冲区大小。默认值通常为 256KB，可以根据需要适当增加。
  • net.core.rmem_max 和 net.core.wmem_max：设置最大接收和发送缓冲区大小。默认值通常为 256KB，可以增加到 873200 字节
  • net.ipv4.tcp_syncookies：启用 SYN Cookies，可以有效防止 SYN 攻击。
  • net.ipv4.tcp_syn_retries 和 net.ipv4.tcp_synack_retries：减少 SYN 和 SYN-ACK 重试次数，可以设置为 2 或 3